Update README.md
Browse files
README.md
CHANGED
@@ -50,13 +50,13 @@ print(tokenizer.decode(outputs[0], skip_special_tokens=True))
|
|
50 |
|
51 |
使用方法は,[「Google Colab で Llama-2-7B のQLoRA ファインチューニングを試す」](https://note.com/npaka/n/na7c631175111#f2af0e53-4ef3-4288-b152-6524f1b940a7)を参照しました.
|
52 |
|
53 |
-
#
|
54 |
|
55 |
-
|
56 |
|
57 |
-
|
58 |
|
59 |
-
|
60 |
|
61 |
トークナイザーのマージは,[「日本語が話せるLlamaモデルをDIYする」](https://qiita.com/Taiyou2000/items/3229d320c252d6de33c7)を参照しました.
|
62 |
|
|
|
50 |
|
51 |
使用方法は,[「Google Colab で Llama-2-7B のQLoRA ファインチューニングを試す」](https://note.com/npaka/n/na7c631175111#f2af0e53-4ef3-4288-b152-6524f1b940a7)を参照しました.
|
52 |
|
53 |
+
# トークナイザーの日本語への拡張
|
54 |
|
55 |
+
### 1. 日本語のトークナイザーを学習
|
56 |
|
57 |
+
トークナイザーの学習は,[ce-lery/japanese-mistral-300m-base](https://huggingface.co/ce-lery/japanese-mistral-300m-base)を参照しました.
|
58 |
|
59 |
+
### 2. 日本語のトークナイザーとLlama-2-7b-hfのトークナイザーをマージ
|
60 |
|
61 |
トークナイザーのマージは,[「日本語が話せるLlamaモデルをDIYする」](https://qiita.com/Taiyou2000/items/3229d320c252d6de33c7)を参照しました.
|
62 |
|