yiyang0101
commited on
Commit
•
c4ba368
1
Parent(s):
87ac9f2
feat: 모델 푸시 및 학습 설정 수정
Browse files- 학습 결과 저장 경로 주석을 명확하게 수정하여 모델 푸시와의 관련성을 강조함.
- 'push_to_hub' 설정을 False로 변경하여 자동 푸시를 방지함.
- 모델 저장 경로에 대한 주석을 추가하여 루트 경로에 저장됨을 명시함.
- 모델 및 토크나이저를 직접 지정한 경로로 푸시하도록 설정하고, 임시 폴더 사용으로 경로 문제를 방지함.
train.py
CHANGED
@@ -24,13 +24,14 @@ tokenized_datasets = datasets_split.map(tokenize_function, batched=True)
|
|
24 |
|
25 |
# 학습 설정
|
26 |
training_args = TrainingArguments(
|
27 |
-
output_dir="./results", # 학습 결과 저장 경로
|
28 |
evaluation_strategy="epoch",
|
29 |
learning_rate=2e-5,
|
30 |
per_device_train_batch_size=16,
|
31 |
per_device_eval_batch_size=16,
|
32 |
num_train_epochs=3,
|
33 |
weight_decay=0.01,
|
|
|
34 |
)
|
35 |
|
36 |
# Trainer 설정
|
@@ -44,12 +45,9 @@ trainer = Trainer(
|
|
44 |
# 모델 학습
|
45 |
trainer.train()
|
46 |
|
47 |
-
# 모델 저장
|
48 |
-
trainer.save_model("./")
|
49 |
-
|
50 |
-
# 모델 푸시
|
51 |
-
trainer.push_to_hub("yiyang0101/yiyang-test")
|
52 |
-
|
53 |
-
# 토크나이저 푸시
|
54 |
-
tokenizer.push_to_hub("yiyang0101/yiyang-test")
|
55 |
|
|
|
|
|
|
|
|
24 |
|
25 |
# 학습 설정
|
26 |
training_args = TrainingArguments(
|
27 |
+
output_dir="./results", # 학습 결과 저장 경로 (모델 푸시와는 관련 없음)
|
28 |
evaluation_strategy="epoch",
|
29 |
learning_rate=2e-5,
|
30 |
per_device_train_batch_size=16,
|
31 |
per_device_eval_batch_size=16,
|
32 |
num_train_epochs=3,
|
33 |
weight_decay=0.01,
|
34 |
+
push_to_hub=False # push_to_hub 설정을 False로 설정하여 자동 푸시 방지
|
35 |
)
|
36 |
|
37 |
# Trainer 설정
|
|
|
45 |
# 모델 학습
|
46 |
trainer.train()
|
47 |
|
48 |
+
# 모델 저장 (루트 경로에 저장)
|
49 |
+
trainer.save_model("./") # 모델 파일은 루트 경로에 저장
|
|
|
|
|
|
|
|
|
|
|
|
|
50 |
|
51 |
+
# 모델 및 토크나이저를 직접 지정한 경로로 푸시
|
52 |
+
trainer.push_to_hub(repo_id="yiyang0101/yiyang-test", use_temp_dir=True) # 임시 폴더 사용으로 경로 문제 방지
|
53 |
+
tokenizer.push_to_hub(repo_id="yiyang0101/yiyang-test")
|