guguwon
/

hw-midm-7B-nsmc

Model card Files Files and versions Community

Edit model card

You need to agree to share your contact information to access this model

This repository is publicly accessible, but you have to accept the conditions to access its files and content.

Log in or Sign Up to review the conditions and access this model content.

Model Card for Model ID

Model Details

KT-AI/midm-bitext-S-7B-inst-v1를 미세튜닝하여 글의 긍정과 부정을 구분하는 모델

Model Description

Developed by: 성신여자대학교 20211421 황규원
Finetuned from model: KT-AI/midm-bitext-S-7B-inst-v1

Uses

NSMC 데이터셋으로 글의 긍정과 부정을 구분하는 모델을 미세튜닝함이 목적
문장의 감정이 긍정이면 '1'로, 그 외는 '0'으로 레이블을 함

Training Details

Training Data

NSMC 데이터셋의 train 스플릿 앞쪽 3,000개의 샘플을 학습에 사용

Training Procedure

384 시퀀스 길이
300 step의 학습

Testing Data, Factors & Metrics

Testing Data

NSMC 데이터셋의 test 스플릿 앞쪽 1,000개의 샘플을 학습에 사용

Metrics

Midm 정확도	Llama2 정확도	정밀도	재현율
0.9	0.874	0.938	0.860

믿음 모델을 미세튜닝한 것이 더 나은 정확도를 보여줌

Results

Summary

정답률을 올리기 위해 2,000개의 데이터셋이 아닌 3,000개의 학습 데이터를 넣어봄
steps수도 올려 더 낮은 loss값이 나오길 기대했음

Training procedure

The following bitsandbytes quantization config was used during training:

quant_method: bitsandbytes
load_in_8bit: False
load_in_4bit: True
llm_int8_threshold: 6.0
llm_int8_skip_modules: None
llm_int8_enable_fp32_cpu_offload: False
llm_int8_has_fp16_weight: False
bnb_4bit_quant_type: nf4
bnb_4bit_use_double_quant: False
bnb_4bit_compute_dtype: bfloat16

Framework versions

PEFT 0.7.0

Downloads last month: 0

Inference API

Unable to determine this model’s pipeline type. Check the docs .

Model tree for guguwon/hw-midm-7B-nsmc

Base model

KT-AI/midm-bitext-S-7B-inst-v1

Adapter

(16)

this model