jingyaogong
/

minimind-v1

Model card Files Files and versions Community

jingyaogong commited on Aug 31

Commit

c0a5307

•

1 Parent(s): dccd429

Upload README.md

Files changed (1) hide show

README.md +1 -1

README.md CHANGED Viewed

@@ -167,7 +167,7 @@ python 2-eval.py
   强大的开源模型例如01万物、千问、chatglm、mistral、Llama3等，它们的tokenizer词表长度如下：
   | Tokenizer 模型       | 词表大小    | 来源         |
-                        |--------------------|---------|------------|
   | yi tokenizer       | 64,000  | 01万物（中国）   |
   | qwen2 tokenizer    | 151,643 | 阿里云（中国）    |
   | glm tokenizer      | 151,329 | 智谱AI（中国）   |

   强大的开源模型例如01万物、千问、chatglm、mistral、Llama3等，它们的tokenizer词表长度如下：
   | Tokenizer 模型       | 词表大小    | 来源         |
+  |--------------------|---------|------------|
   | yi tokenizer       | 64,000  | 01万物（中国）   |
   | qwen2 tokenizer    | 151,643 | 阿里云（中国）    |
   | glm tokenizer      | 151,329 | 智谱AI（中国）   |