asaoka commited on
Commit
78c89fe
·
verified ·
1 Parent(s): c058642

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +4 -4
README.md CHANGED
@@ -50,13 +50,13 @@ print(tokenizer.decode(outputs[0], skip_special_tokens=True))
50
 
51
  使用方法は,[「Google Colab で Llama-2-7B のQLoRA ファインチューニングを試す」](https://note.com/npaka/n/na7c631175111#f2af0e53-4ef3-4288-b152-6524f1b940a7)を参照しました.
52
 
53
- # トークナイザーの日本語拡張
54
 
55
- ## 1. 日本語専用のトークナイザーを学習
56
 
57
- トークナイザー学習は,[ce-lery/japanese-mistral-300m-base](https://huggingface.co/ce-lery/japanese-mistral-300m-base)を参照しました.
58
 
59
- ## 2. 日本語専用トークナイザーとLlama-2-7b-hfのトークナイザーをマージ
60
 
61
  トークナイザーのマージは,[「日本語が話せるLlamaモデルをDIYする」](https://qiita.com/Taiyou2000/items/3229d320c252d6de33c7)を参照しました.
62
 
 
50
 
51
  使用方法は,[「Google Colab で Llama-2-7B のQLoRA ファインチューニングを試す」](https://note.com/npaka/n/na7c631175111#f2af0e53-4ef3-4288-b152-6524f1b940a7)を参照しました.
52
 
53
+ # トークナイザーの日本語への拡張
54
 
55
+ ### 1. 日本語のトークナイザーを学習
56
 
57
+ トークナイザーの学習は,[ce-lery/japanese-mistral-300m-base](https://huggingface.co/ce-lery/japanese-mistral-300m-base)を参照しました.
58
 
59
+ ### 2. 日本語のトークナイザーとLlama-2-7b-hfのトークナイザーをマージ
60
 
61
  トークナイザーのマージは,[「日本語が話せるLlamaモデルをDIYする」](https://qiita.com/Taiyou2000/items/3229d320c252d6de33c7)を参照しました.
62