yiyang0101 commited on
Commit
c4ba368
1 Parent(s): 87ac9f2

feat: 모델 푸시 및 학습 설정 수정

Browse files

- 학습 결과 저장 경로 주석을 명확하게 수정하여 모델 푸시와의 관련성을 강조함.
- 'push_to_hub' 설정을 False로 변경하여 자동 푸시를 방지함.
- 모델 저장 경로에 대한 주석을 추가하여 루트 경로에 저장됨을 명시함.
- 모델 및 토크나이저를 직접 지정한 경로로 푸시하도록 설정하고, 임시 폴더 사용으로 경로 문제를 방지함.

Files changed (1) hide show
  1. train.py +7 -9
train.py CHANGED
@@ -24,13 +24,14 @@ tokenized_datasets = datasets_split.map(tokenize_function, batched=True)
24
 
25
  # 학습 설정
26
  training_args = TrainingArguments(
27
- output_dir="./results", # 학습 결과 저장 경로
28
  evaluation_strategy="epoch",
29
  learning_rate=2e-5,
30
  per_device_train_batch_size=16,
31
  per_device_eval_batch_size=16,
32
  num_train_epochs=3,
33
  weight_decay=0.01,
 
34
  )
35
 
36
  # Trainer 설정
@@ -44,12 +45,9 @@ trainer = Trainer(
44
  # 모델 학습
45
  trainer.train()
46
 
47
- # 모델 저장
48
- trainer.save_model("./")
49
-
50
- # 모델 푸시
51
- trainer.push_to_hub("yiyang0101/yiyang-test")
52
-
53
- # 토크나이저 푸시
54
- tokenizer.push_to_hub("yiyang0101/yiyang-test")
55
 
 
 
 
 
24
 
25
  # 학습 설정
26
  training_args = TrainingArguments(
27
+ output_dir="./results", # 학습 결과 저장 경로 (모델 푸시와는 관련 없음)
28
  evaluation_strategy="epoch",
29
  learning_rate=2e-5,
30
  per_device_train_batch_size=16,
31
  per_device_eval_batch_size=16,
32
  num_train_epochs=3,
33
  weight_decay=0.01,
34
+ push_to_hub=False # push_to_hub 설정을 False로 설정하여 자동 푸시 방지
35
  )
36
 
37
  # Trainer 설정
 
45
  # 모델 학습
46
  trainer.train()
47
 
48
+ # 모델 저장 (루트 경로에 저장)
49
+ trainer.save_model("./") # 모델 파일은 루트 경로에 저장
 
 
 
 
 
 
50
 
51
+ # 모델 및 토크나이저를 직접 지정한 경로로 푸시
52
+ trainer.push_to_hub(repo_id="yiyang0101/yiyang-test", use_temp_dir=True) # 임시 폴더 사용으로 경로 문제 방지
53
+ tokenizer.push_to_hub(repo_id="yiyang0101/yiyang-test")