README.md

어느정도 이제는 말을 조금 알아 듣는다.

8bit 학습 기준

{ "_name_or_path": "saltlux/Ko-Llama3-Luxia-8B", "architectures": [ "LlamaForCausalLM" ], "attention_bias": false, "attention_dropout": 0.0, "bos_token_id": 128000, "eos_token_id": 128001, "hidden_act": "silu", "hidden_size": 4096, "initializer_range": 0.02, "intermediate_size": 14336, "max_position_embeddings": 8192, "model_type": "llama", "num_attention_heads": 32, "num_hidden_layers": 32, "num_key_value_heads": 8, "pretraining_tp": 1, "rms_norm_eps": 1e-05, "rope_scaling": null, "rope_theta": 500000.0, "tie_word_embeddings": false, "torch_dtype": "float16", "transformers_version": "4.39.1", "use_cache": false, "vocab_size": 145792 }

batch_size = 16 num_epochs = 1 micro_batch = 1 gradient_accumulation_steps = batch_size

훈련 방법에 대한 하이퍼 파라미터

cutoff_len = model.config.hidden_size lr_scheduler = 'cosine' warmup_ratio = 0.06 # warmup_steps = 100 learning_rate = 2e-4 optimizer = 'adamw_torch' weight_decay = 0.01 max_grad_norm = 0.8 # 모델이 너무 과적합되는거같거나 이상한 방향으로 학습이 되는거같으면 값을 줄여보자.

LoRA config

lora_r = 16 lora_alpha = 16 lora_dropout = 0.05 lora_target_modules = ["gate_proj", "down_proj", "up_proj"]

Tokenizer에서 나오는 input값 설정 옵션

train_on_inputs = False add_eos_token = True

val_data = None

Others

resume_from_checkpoint = False # !! 만약 모델을 이어서 훈련하고 싶다면, './custom_LLM/checkpoint-[xxx]'와 같이 파일 경로를 입력해야 합니다! output_dir = './custom_LLM'