Violet0203
/

hw-midm-7B-nsmc

Model card Files Files and versions Community

Violet0203 commited on Dec 17, 2023

Commit

c4b6439

•

1 Parent(s): 9d15ef3

Update README.md

Files changed (1) hide show

README.md +3 -3

README.md CHANGED Viewed

@@ -16,9 +16,9 @@ base_model: KT-AI/midm-bitext-S-7B-inst-v1
 - 일반적으로 1900스텝에서는 정확도 accuracy가 80후반대(약 85%)가 도출, 2000스텝이상부터 90%에 근접한 수치를 보였다.
 - seq length를 312로 줄인 결과, seq length 384보다 훈련시간trainer.train이 적게 걸리지만 정확도도 감소
 - gradient_accumulation steps을 2로 설정하여 미니배치를 통해 구해진 gradient값을 n step동안
-global gradient에 누적시킨 후 한번에 업뎃->배치를 여러개 사용한 효과를 주는 등 노력함.
-##Accuracy 정확도 분석
-###valid_dataset(test dataset 1000개에 대한 정확도)
 *********************************
 |               | TP    | TN   |
 |:-------------:|:-----:|:----:|

 - 일반적으로 1900스텝에서는 정확도 accuracy가 80후반대(약 85%)가 도출, 2000스텝이상부터 90%에 근접한 수치를 보였다.
 - seq length를 312로 줄인 결과, seq length 384보다 훈련시간trainer.train이 적게 걸리지만 정확도도 감소
 - gradient_accumulation steps을 2로 설정하여 미니배치를 통해 구해진 gradient값을 n step동안
+global gradient에 누적시킨 후 한번에 업뎃->배치를 여러개 사용한 효과를 주는 등 노력함.
+## Accuracy 정확도 분석
+##### valid_dataset(test dataset 1000개에 대한 정확도)
 *********************************
 |               | TP    | TN   |
 |:-------------:|:-----:|:----:|