yiyang0101
commited on
Commit
•
62c7480
1
Parent(s):
c4ba368
feat: 학습 결과 저장 경로 변경 및 모델 푸시 추가
Browse files
train.py
CHANGED
@@ -24,14 +24,13 @@ tokenized_datasets = datasets_split.map(tokenize_function, batched=True)
|
|
24 |
|
25 |
# 학습 설정
|
26 |
training_args = TrainingArguments(
|
27 |
-
output_dir="./
|
28 |
evaluation_strategy="epoch",
|
29 |
learning_rate=2e-5,
|
30 |
per_device_train_batch_size=16,
|
31 |
per_device_eval_batch_size=16,
|
32 |
num_train_epochs=3,
|
33 |
weight_decay=0.01,
|
34 |
-
push_to_hub=False # push_to_hub 설정을 False로 설정하여 자동 푸시 방지
|
35 |
)
|
36 |
|
37 |
# Trainer 설정
|
@@ -45,9 +44,12 @@ trainer = Trainer(
|
|
45 |
# 모델 학습
|
46 |
trainer.train()
|
47 |
|
48 |
-
# 모델 저장
|
49 |
-
trainer.save_model("./")
|
|
|
|
|
|
|
|
|
|
|
|
|
50 |
|
51 |
-
# 모델 및 토크나이저를 직접 지정한 경로로 푸시
|
52 |
-
trainer.push_to_hub(repo_id="yiyang0101/yiyang-test", use_temp_dir=True) # 임시 폴더 사용으로 경로 문제 방지
|
53 |
-
tokenizer.push_to_hub(repo_id="yiyang0101/yiyang-test")
|
|
|
24 |
|
25 |
# 학습 설정
|
26 |
training_args = TrainingArguments(
|
27 |
+
output_dir="./yiyang-test", # 학습 결과 저장 경로
|
28 |
evaluation_strategy="epoch",
|
29 |
learning_rate=2e-5,
|
30 |
per_device_train_batch_size=16,
|
31 |
per_device_eval_batch_size=16,
|
32 |
num_train_epochs=3,
|
33 |
weight_decay=0.01,
|
|
|
34 |
)
|
35 |
|
36 |
# Trainer 설정
|
|
|
44 |
# 모델 학습
|
45 |
trainer.train()
|
46 |
|
47 |
+
# 모델 저장
|
48 |
+
trainer.save_model("./")
|
49 |
+
|
50 |
+
# 모델 푸시
|
51 |
+
trainer.push_to_hub("yiyang0101/yiyang-test")
|
52 |
+
|
53 |
+
# 토크나이저 푸시
|
54 |
+
tokenizer.push_to_hub("yiyang0101/yiyang-test")
|
55 |
|
|
|
|
|
|