Upload 7 files

README.md

@@ -1,3 +1,85 @@
 ---
-license: mit
+license: cc
+language:
+- zh
+library_name: transformers
+pipeline_tag: text-generation
+widget:
+- text: 问：什么是鹦鹉？
+- text: 问：什么是大象？
+- text: 问：谁是李白？
+- text: 问：什么是黑洞？
+- text: 从前有个胖鹦鹉，胖得飞不动。
+- text: 从前有个小姑娘从来不洗脸。孔子说：
+datasets:
+- adam89/TinyStoriesChinese
+- fzmnm/TinyStoriesAdv-zh
 ---
+
+### TinyStoriesAdv_v2_92M
+
+![alt text](README.files/pfp.png)
+
+keywords: grade school level, large language model, small language model, tiny language model, super tiny language model, 小学生知识水平，大语言模型，小语言模型，迷你语言模型, llm, slm.
+
+超迷你的玩具模型，只能讲中文，可以回答一些小学生的常识问题。幻觉严重。但是很有趣。
+受到[TinyStories](https://arxiv.org/abs/2305.07759)、[Phi2](https://arxiv.org/abs/2309.05463)等论文的启发，使用了自己制作的全合成的数据库 https://huggingface.co/datasets/fzmnm/TinyStoriesAdv-zh
+
+**版本v2更新:**
+根据PhysicsOfLLM [3.1](https://arxiv.org/abs/2309.14316),[3.2](https://arxiv.org/pdf/2309.14402),[3.3](https://arxiv.org/abs/2404.05405),的建议，优化了百科词条部分的训练数据，使得模型能够较好地掌握小学生百科全书里的知识。也根据PhysicsOfLLM [2.1](https://arxiv.org/abs/2407.20311),[2.2](https://arxiv.org/pdf/2408.16293) 加入了一些推理能力的训练。在92M的参数下达到了之前215M版本的水平，知识的掌握也更好了。
+
+
+采用了类似Qwen的Llama架构，包括了RoPE和GatedMLP。具体的超参数如下：
+```python
+vocab_size=6000
+dim=640;n_layers=20;n_heads=10;n_kv_heads=2;max_seq_len=1024;embedding_weight_tying=True;
+tokens_per_iteration=524288
+dropout=0.1
+warmup_iters=1000;stable_iters=9000
+```
+A100上10小时即可训练完毕。
+这个是预训练版本，没有进行偏好微调。
+
+#### 用法：
+
+```python
+from transformers import pipeline
+
+generator = pipeline('text-generation', model='fzmnm/TinyStoriesAdv_92M')
+story_prompt = "问：什么是鹦鹉？"
+generated_story = generator(story_prompt, max_length=256, truncation=True)
+
+print(generated_story[0]['generated_text'])
+```
+
+#### 试玩：
+
+>问：什么是鹦鹉？
+>
+>答：<span style="color:blue">鹦鹉是一种非常聪明的鸟类,它们能够学会很多事情,比如如何飞翔和说话。</span>
+
+>问：什么是大象？
+>
+>答：<span style="color:blue">大象是一种大型的动物,它们的身体很大,有长长的鼻子,非常灵活。</span>
+
+>问：谁是李白？
+>
+>答：<span style="color:blue">李白是唐代的著名诗人,他的诗作《静夜思》也是他的代表作之一。</span>
+
+>问：什么是黑洞？
+>
+>答：<span style="color:blue">黑洞是宇宙中的一种神秘天体,它们的引力非常强大,连光都无法逃脱。</span>
+
+>问：肚子疼怎么办
+>
+>答：<span style="color:blue">肚子疼可能是因为吃了太多的食物,或者吃了太多不健康的食物,或者吃了太多糖果和油炸食品。</span>
+
+>问：晚上睡不着怎么办？
+>
+>答：<span style="color:blue">晚上睡不着,可以试试做一些简单的睡眠,比如睡前喝一杯温水,醒来后再去睡觉。</span>
+
+>从前有个胖鹦鹉，胖得飞不动。
+>
+><span style="color:blue">有一天,胖鹦鹉在森林里散步。它看到一个小女孩在哭。“怎么了?”胖鹦鹉问。“我丢了我的玩具,”小女孩说。“别担心,我会帮你找到它的。”胖鹦鹉说。小女孩和胖鹦鹉一起寻找玩具。他们找遍了树下、灌木丛后面,还在上寻找。最后,他们在一个大箱子下找到了玩具。小女孩非常高兴,感谢了胖鹦鹉。“你是个好朋友,胖鹦鹉”她说。“我会永远记住你的。”从那天起,胖鹦鹉和小女孩成为了最好的朋友,每天一起玩耍。</span>
+
+>从前有个小姑娘从来不洗脸。孔子说：<span style="color:blue">“我每天都要洗脸,这样可以保持皮肤健康。”有一天,姑娘问孔子:“你为什么每天都洗脸?”孔子回答:“我每天都要洗脸。”姑娘问:“你为什么要洗脸?”孔子说:“我每天都要洗,我不会让你们的皮肤受苦。”姑娘生气地说:“你这样做不对,我不会帮你!”孔子只好把她关进屋子里,告诉她:“别再洗了!”姑娘生气地说:“我不会让你们的皮肤受苦!”孔子说:“你们应该听我的。你们要学会照顾自己的皮肤,不要让它受苦。”姑娘生气地说:“我不会!我不会!”</span>

config.json

@@ -0,0 +1,27 @@
+{
+  "architectures": [
+    "LlamaForCausalLM"
+  ],
+  "attention_bias": false,
+  "attention_dropout": 0.0,
+  "bos_token_id": 1,
+  "eos_token_id": 2,
+  "hidden_act": "silu",
+  "hidden_size": 640,
+  "initializer_range": 0.02,
+  "intermediate_size": 1728,
+  "max_position_embeddings": 1024,
+  "mlp_bias": false,
+  "model_type": "llama",
+  "num_attention_heads": 10,
+  "num_hidden_layers": 20,
+  "num_key_value_heads": 2,
+  "pretraining_tp": 1,
+  "rms_norm_eps": 1e-05,
+  "rope_scaling": null,
+  "rope_theta": 10000.0,
+  "tie_word_embeddings": true,
+  "transformers_version": "4.42.3",
+  "use_cache": true,
+  "vocab_size": 6000
+}

pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:2cf8a0d29e173005fd875f0a9995b5f058ac51923e30a641010ad7c5c0a25c5d
+size 179823458

special_tokens_map.json

@@ -0,0 +1,7 @@
+{
+  "bos_token": "<s>",
+  "eos_token": "</s>",
+  "mask_token": "<mask>",
+  "pad_token": "<pad>",
+  "unk_token": "<unk>"
+}

tokenizer_config.json

@@ -0,0 +1,52 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<pad>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "<s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "</s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "<unk>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "4": {
+      "content": "<mask>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "<s>",
+  "clean_up_tokenization_spaces": true,
+  "eos_token": "</s>",
+  "mask_token": "<mask>",
+  "model_max_length": 1000000000000000019884624838656,
+  "pad_token": "<pad>",
+  "tokenizer_class": "PreTrainedTokenizerFast",
+  "unk_token": "<unk>"
+}