Update README.md

README.md

@@ -26,6 +26,7 @@ https://huggingface.co/Qwen/Qwen2-7B-Instruct
 1. REILX/neo_sft_phase2_conversations
 2. REILX/neo_sft_phase2_multi
 3. REILX/neo_sft_phase2_single
+4. REILX/neo_sft_phase2_all_pair
 
 ### 数据集构建规则
 
@@ -56,6 +57,15 @@ https://huggingface.co/Qwen/Qwen2-7B-Instruct
     4. 将该“conversation”的“gpt”的“value”作为“output”。
     5. “input”可为空白，亦可注入适当的提示信息。
 
+**REILX/neo_sft_phase2_all_pair**
+
+* **具体步骤：**
+1. 输入为一个json文件，遍历每一个conversations
+2. conversations包含多轮对话，需要按照对应的轮数构成新数据集
+3. 比如1、2轮构成一个jsonl的一行，3、4构成一行，5、6构成一行等等等，直到完整的使用结束conversations
+4. 将该“conversation”的“human”的“value”作为“instruction”
+5. 将该“conversation”的“gpt”的“value”作为“output”
+4. “input”可为空白，亦可注入适当的提示信息。
 
 ### 训练参数
 REILX/neo_sft_phase2_conversations</br>
@@ -106,6 +116,23 @@ REILX/neo_sft_phase2_single</br>
 - lr_scheduler_warmup_ratio: 0.1
 - num_epochs: 5.0
 
+REILX/neo_sft_phase2_all_pair</br>
+- learning_rate: 2e-05
+- train_batch_size: 1
+- eval_batch_size: 8
+- cutoff_len:4096
+- seed: 42
+- distributed_type: multi-GPU
+- num_devices: 8
+- gradient_accumulation_steps: 8
+- total_train_batch_size: 64
+- total_eval_batch_size: 64
+- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
+- lr_scheduler_type: cosine
+- lr_scheduler_warmup_ratio: 0.1
+- num_epochs: 5.0
+
+
 ### 损失图
 REILX/neo_sft_phase2_conversations</br>
 <!-- ![neo_sft_phase2_conversations_loss](./neo_sft_phase2_conversations/training_loss.png) -->
@@ -117,4 +144,8 @@ REILX/neo_sft_phase2_multi</br>
 
 REILX/neo_sft_phase2_single</br>
 <!-- ![neo_sft_phase2_single_loss](./neo_sft_phase2_single/training_loss.png) -->
-<img src="./neo_sft_phase2_single/training_loss.png" alt="neo_sft_phase2_single_loss" width="60%">
+<img src="./neo_sft_phase2_single/training_loss.png" alt="neo_sft_phase2_single_loss" width="60%">
+
+REILX/neo_sft_phase2_all_pair</br>
+<!-- ![neo_sft_phase2_single_loss](./neo_sft_phase2_single/training_loss.png) -->
+<img src="./neo_sft_phase2_all_pair/training_loss.png" alt="neo_sft_phase2_all_pair_loss" width="60%">