Update README.md
Browse files
README.md
CHANGED
@@ -15,8 +15,8 @@ Swallow-MX-8x7b-NVE-v0.1は、コンテクスト長4096までの日本語継続
|
|
15 |
英語モデルのInstructベクトルをマージすることで、流暢な日本語機能を維持してコンテクスト長を32Kまで拡大、Instruct機能を大幅アップしました。
|
16 |
|
17 |
**注目すべき点**
|
18 |
-
4096token以上の部分のは日本語継続事前学習していないが、今回の英語モデルの差分マージのみで日本語機能が32Kまで維持出来ている点
|
19 |
-
|
20 |
|
21 |
詳細は以下文献を参照ください。
|
22 |
|
|
|
15 |
英語モデルのInstructベクトルをマージすることで、流暢な日本語機能を維持してコンテクスト長を32Kまで拡大、Instruct機能を大幅アップしました。
|
16 |
|
17 |
**注目すべき点**
|
18 |
+
1、4096token以上の部分のは日本語継続事前学習していないが、今回の英語モデルの差分マージのみで日本語機能が32Kまで維持出来ている点
|
19 |
+
2、英語モデルのInstruct機能が、差分マージのみで日本語モデルに簡単に移行できる点
|
20 |
|
21 |
詳細は以下文献を参照ください。
|
22 |
|