aixsatoshi commited on
Commit
e631a4b
·
verified ·
1 Parent(s): f55cee6

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +2 -2
README.md CHANGED
@@ -15,8 +15,8 @@ Swallow-MX-8x7b-NVE-v0.1は、コンテクスト長4096までの日本語継続
15
  英語モデルのInstructベクトルをマージすることで、流暢な日本語機能を維持してコンテクスト長を32Kまで拡大、Instruct機能を大幅アップしました。
16
 
17
  **注目すべき点**
18
- 4096token以上の部分のは日本語継続事前学習していないが、今回の英語モデルの差分マージのみで日本語機能が32Kまで維持出来ている点
19
- 英語モデルのInstruct機能が、差分マージのみで日本語モデルに簡単に移行できる点
20
 
21
  詳細は以下文献を参照ください。
22
 
 
15
  英語モデルのInstructベクトルをマージすることで、流暢な日本語機能を維持してコンテクスト長を32Kまで拡大、Instruct機能を大幅アップしました。
16
 
17
  **注目すべき点**
18
+  1、4096token以上の部分のは日本語継続事前学習していないが、今回の英語モデルの差分マージのみで日本語機能が32Kまで維持出来ている点
19
+  2、英語モデルのInstruct機能が、差分マージのみで日本語モデルに簡単に移行できる点
20
 
21
  詳細は以下文献を参照ください。
22