applied very weak PPO

README.md

@@ -25,8 +25,8 @@ __本モデルは開発中のため、データセットの更新により逐次
 
 ユーザーの入力を"`相手は言いました。「（内容）」\n`"で括ってください。  
 モデルは"`あなたは言いました。「`"以降の文脈を生成します。  
-それ以降も続く場合があるので必要に応じて"`」`"の文字までで打ち切ってください。
-
+それ以降も続く場合があるので必要に応じて"`」`"の文字までで打ち切ってください。  
+長文を打つと口調が剥がれるのでご注意ください。
 ```python
 import torch
 from transformers import AutoTokenizer, AutoModelForCausalLM
@@ -53,6 +53,6 @@ print(output)
 ```
 
 ## Plan
-- RLHFとかに挑戦してみる。
+- RLHFとかに挑戦してみる。→23/05/30ごく小さいデータセットで試行
 - プロンプトの記述方法を、既存のチャットモデルのフォーマットに合わせるか検討中。
-- 指示をあまり受け付けない・物を知らない方が好みのため、instructモデルへ切り替える予定はありません。
+- 指示をあまり受け付けない・物を知らない方が好みのため、instructionモデルへ切り替える予定はありません。

config.json

@@ -1,5 +1,5 @@
 {
-  "_name_or_path": "rinna/japanese-gpt-neox-3.6b",
+  "_name_or_path": "./model",
   "architectures": [
     "GPTNeoXForCausalLM"
   ],
@@ -18,7 +18,7 @@
   "rotary_emb_base": 10000,
   "rotary_pct": 1.0,
   "tie_word_embeddings": false,
-  "torch_dtype": "float32",
+  "torch_dtype": "bfloat16",
   "transformers_version": "4.29.2",
   "use_cache": false,
   "use_parallel_residual": false,

generation_config.json

@@ -2,5 +2,6 @@
   "_from_model_config": true,
   "bos_token_id": 2,
   "eos_token_id": 3,
-  "transformers_version": "4.29.2"
+  "transformers_version": "4.29.2",
+  "use_cache": false
 }

pytorch_model-00001-of-00002.bin

@@ -1,3 +0,0 @@
-version https://git-lfs.github.com/spec/v1
-oid sha256:5e772cd62824a354b83ef5b9adaaf15c5318eb295a1a492f26fa71e3131dc629
-size 10084370522

pytorch_model-00002-of-00002.bin → pytorch_model.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:fb50e2da577968b14a719d3427a9e8b4c6903ecb9e75d3cae8fa7d31e3c04d33
-size 4495809824
+oid sha256:c671e9bffda9561d587ebea6c7db1e525f448c878f7161dc6afe4e5fa38a8f0e
+size 7365693557

training_args.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:7894a57ab5a12479f5b66c77c83da2d822478150971a3c88cd3e6d57d86dfe7d
+oid sha256:31f3c7a9f38deef824e2176f0bf4bf4c7366b8d80dc4ab54a0226cbdc004f351
 size 3899