Hugging Face's logo

Zannatul
/
google-vit-base-patch16-384-in21k-batch_16_epoch_4_classes_24_final_withAug_12th_May

Image Classification
Transformers
TensorBoard
Safetensors
vit
Generated from Trainer
Eval Results
Inference Endpoints
Model card Files Metrics Community
Zannatul commited on
Commit
78fc5f2
·
verified ·
1 Parent(s): c0fccc9

🍻 cheers

Browse files
Files changed (6) hide show
  1. README.md +3 -2
  2. all_results.json +13 -0
  3. eval_results.json +8 -0
  4. runs/May11_19-53-00_9479ebf6a298/events.out.tfevents.1715466479.9479ebf6a298.34.1 +3 -0
  5. train_results.json +8 -0
  6. trainer_state.json +3727 -0
README.md CHANGED
@@ -2,6 +2,7 @@
2
  license: apache-2.0
3
  base_model: google/vit-base-patch16-384
4
  tags:
 
5
  - generated_from_trainer
6
  datasets:
7
  - imagefolder
@@ -14,7 +15,7 @@ model-index:
14
  name: Image Classification
15
  type: image-classification
16
  dataset:
17
- name: imagefolder
18
  type: imagefolder
19
  config: default
20
  split: train
@@ -30,7 +31,7 @@ should probably proofread and complete it, then remove this comment. -->
30
 
31
  # google-vit-base-patch16-384-in21k-batch_16_epoch_4_classes_24_final_withAug_12th_May
32
 
33
- This model is a fine-tuned version of [google/vit-base-patch16-384](https://huggingface.co/google/vit-base-patch16-384) on the imagefolder dataset.
34
  It achieves the following results on the evaluation set:
35
  - Loss: 0.0282
36
  - Accuracy: 0.9905
 
2
  license: apache-2.0
3
  base_model: google/vit-base-patch16-384
4
  tags:
5
+ - image-classification
6
  - generated_from_trainer
7
  datasets:
8
  - imagefolder
 
15
  name: Image Classification
16
  type: image-classification
17
  dataset:
18
+ name: bengali_food_images
19
  type: imagefolder
20
  config: default
21
  split: train
 
31
 
32
  # google-vit-base-patch16-384-in21k-batch_16_epoch_4_classes_24_final_withAug_12th_May
33
 
34
+ This model is a fine-tuned version of [google/vit-base-patch16-384](https://huggingface.co/google/vit-base-patch16-384) on the bengali_food_images dataset.
35
  It achieves the following results on the evaluation set:
36
  - Loss: 0.0282
37
  - Accuracy: 0.9905
all_results.json ADDED
@@ -0,0 +1,13 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "epoch": 4.0,
3
+ "eval_accuracy": 0.9904891304347826,
4
+ "eval_loss": 0.02818419598042965,
5
+ "eval_runtime": 37.6338,
6
+ "eval_samples_per_second": 19.557,
7
+ "eval_steps_per_second": 2.445,
8
+ "total_flos": 1.715138644229908e+19,
9
+ "train_loss": 0.04991757846501284,
10
+ "train_runtime": 7931.4156,
11
+ "train_samples_per_second": 9.462,
12
+ "train_steps_per_second": 0.592
13
+ }
eval_results.json ADDED
@@ -0,0 +1,8 @@
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "epoch": 4.0,
3
+ "eval_accuracy": 0.9904891304347826,
4
+ "eval_loss": 0.02818419598042965,
5
+ "eval_runtime": 37.6338,
6
+ "eval_samples_per_second": 19.557,
7
+ "eval_steps_per_second": 2.445
8
+ }
runs/May11_19-53-00_9479ebf6a298/events.out.tfevents.1715466479.9479ebf6a298.34.1 ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:79fd1ecbec4d8be65136aac06c403dc6ba03fc90a57ca9f92195dda9fd49c426
3
+ size 411
train_results.json ADDED
@@ -0,0 +1,8 @@
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "epoch": 4.0,
3
+ "total_flos": 1.715138644229908e+19,
4
+ "train_loss": 0.04991757846501284,
5
+ "train_runtime": 7931.4156,
6
+ "train_samples_per_second": 9.462,
7
+ "train_steps_per_second": 0.592
8
+ }
trainer_state.json ADDED
@@ -0,0 +1,3727 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "best_metric": 0.02818419598042965,
3
+ "best_model_checkpoint": "/kaggle/working/Model/google-vit-base-patch16-384-in21k-batch_16_epoch_4_classes_24_final_withAug_12th_May/checkpoint-4600",
4
+ "epoch": 4.0,
5
+ "eval_steps": 100,
6
+ "global_step": 4692,
7
+ "is_hyper_param_search": false,
8
+ "is_local_process_zero": true,
9
+ "is_world_process_zero": true,
10
+ "log_history": [
11
+ {
12
+ "epoch": 0.01,
13
+ "grad_norm": 7.906991004943848,
14
+ "learning_rate": 0.00019957374254049446,
15
+ "loss": 2.6333,
16
+ "step": 10
17
+ },
18
+ {
19
+ "epoch": 0.02,
20
+ "grad_norm": 3.6195640563964844,
21
+ "learning_rate": 0.00019914748508098894,
22
+ "loss": 1.188,
23
+ "step": 20
24
+ },
25
+ {
26
+ "epoch": 0.03,
27
+ "grad_norm": 6.639026641845703,
28
+ "learning_rate": 0.00019872122762148339,
29
+ "loss": 0.574,
30
+ "step": 30
31
+ },
32
+ {
33
+ "epoch": 0.03,
34
+ "grad_norm": 3.0548319816589355,
35
+ "learning_rate": 0.00019829497016197784,
36
+ "loss": 0.5497,
37
+ "step": 40
38
+ },
39
+ {
40
+ "epoch": 0.04,
41
+ "grad_norm": 4.425312519073486,
42
+ "learning_rate": 0.00019786871270247228,
43
+ "loss": 0.3116,
44
+ "step": 50
45
+ },
46
+ {
47
+ "epoch": 0.05,
48
+ "grad_norm": 6.9624152183532715,
49
+ "learning_rate": 0.00019744245524296676,
50
+ "loss": 0.189,
51
+ "step": 60
52
+ },
53
+ {
54
+ "epoch": 0.06,
55
+ "grad_norm": 3.1430420875549316,
56
+ "learning_rate": 0.0001970161977834612,
57
+ "loss": 0.2623,
58
+ "step": 70
59
+ },
60
+ {
61
+ "epoch": 0.07,
62
+ "grad_norm": 3.863529682159424,
63
+ "learning_rate": 0.0001965899403239557,
64
+ "loss": 0.2368,
65
+ "step": 80
66
+ },
67
+ {
68
+ "epoch": 0.08,
69
+ "grad_norm": 3.1321828365325928,
70
+ "learning_rate": 0.00019616368286445014,
71
+ "loss": 0.2392,
72
+ "step": 90
73
+ },
74
+ {
75
+ "epoch": 0.09,
76
+ "grad_norm": 3.542583703994751,
77
+ "learning_rate": 0.0001957374254049446,
78
+ "loss": 0.269,
79
+ "step": 100
80
+ },
81
+ {
82
+ "epoch": 0.09,
83
+ "eval_accuracy": 0.8722826086956522,
84
+ "eval_loss": 0.40010249614715576,
85
+ "eval_runtime": 38.5928,
86
+ "eval_samples_per_second": 19.071,
87
+ "eval_steps_per_second": 2.384,
88
+ "step": 100
89
+ },
90
+ {
91
+ "epoch": 0.09,
92
+ "grad_norm": 1.091883897781372,
93
+ "learning_rate": 0.00019531116794543904,
94
+ "loss": 0.2591,
95
+ "step": 110
96
+ },
97
+ {
98
+ "epoch": 0.1,
99
+ "grad_norm": 0.6820523738861084,
100
+ "learning_rate": 0.00019488491048593351,
101
+ "loss": 0.276,
102
+ "step": 120
103
+ },
104
+ {
105
+ "epoch": 0.11,
106
+ "grad_norm": 3.8274409770965576,
107
+ "learning_rate": 0.00019445865302642796,
108
+ "loss": 0.1666,
109
+ "step": 130
110
+ },
111
+ {
112
+ "epoch": 0.12,
113
+ "grad_norm": 3.5986907482147217,
114
+ "learning_rate": 0.00019403239556692244,
115
+ "loss": 0.314,
116
+ "step": 140
117
+ },
118
+ {
119
+ "epoch": 0.13,
120
+ "grad_norm": 1.7001522779464722,
121
+ "learning_rate": 0.0001936061381074169,
122
+ "loss": 0.2925,
123
+ "step": 150
124
+ },
125
+ {
126
+ "epoch": 0.14,
127
+ "grad_norm": 2.005779981613159,
128
+ "learning_rate": 0.00019317988064791134,
129
+ "loss": 0.2421,
130
+ "step": 160
131
+ },
132
+ {
133
+ "epoch": 0.14,
134
+ "grad_norm": 5.918694496154785,
135
+ "learning_rate": 0.0001927536231884058,
136
+ "loss": 0.2631,
137
+ "step": 170
138
+ },
139
+ {
140
+ "epoch": 0.15,
141
+ "grad_norm": 8.725202560424805,
142
+ "learning_rate": 0.00019232736572890027,
143
+ "loss": 0.2363,
144
+ "step": 180
145
+ },
146
+ {
147
+ "epoch": 0.16,
148
+ "grad_norm": 1.6118396520614624,
149
+ "learning_rate": 0.00019190110826939472,
150
+ "loss": 0.127,
151
+ "step": 190
152
+ },
153
+ {
154
+ "epoch": 0.17,
155
+ "grad_norm": 6.456448554992676,
156
+ "learning_rate": 0.0001914748508098892,
157
+ "loss": 0.1829,
158
+ "step": 200
159
+ },
160
+ {
161
+ "epoch": 0.17,
162
+ "eval_accuracy": 0.9728260869565217,
163
+ "eval_loss": 0.0928073525428772,
164
+ "eval_runtime": 35.1241,
165
+ "eval_samples_per_second": 20.954,
166
+ "eval_steps_per_second": 2.619,
167
+ "step": 200
168
+ },
169
+ {
170
+ "epoch": 0.18,
171
+ "grad_norm": 1.9948309659957886,
172
+ "learning_rate": 0.00019104859335038364,
173
+ "loss": 0.0722,
174
+ "step": 210
175
+ },
176
+ {
177
+ "epoch": 0.19,
178
+ "grad_norm": 4.800300121307373,
179
+ "learning_rate": 0.0001906223358908781,
180
+ "loss": 0.1305,
181
+ "step": 220
182
+ },
183
+ {
184
+ "epoch": 0.2,
185
+ "grad_norm": 5.83320951461792,
186
+ "learning_rate": 0.00019019607843137254,
187
+ "loss": 0.1848,
188
+ "step": 230
189
+ },
190
+ {
191
+ "epoch": 0.2,
192
+ "grad_norm": 3.1153628826141357,
193
+ "learning_rate": 0.00018976982097186702,
194
+ "loss": 0.0525,
195
+ "step": 240
196
+ },
197
+ {
198
+ "epoch": 0.21,
199
+ "grad_norm": 4.322732448577881,
200
+ "learning_rate": 0.00018934356351236147,
201
+ "loss": 0.1815,
202
+ "step": 250
203
+ },
204
+ {
205
+ "epoch": 0.22,
206
+ "grad_norm": 1.0198371410369873,
207
+ "learning_rate": 0.00018891730605285594,
208
+ "loss": 0.0529,
209
+ "step": 260
210
+ },
211
+ {
212
+ "epoch": 0.23,
213
+ "grad_norm": 12.497954368591309,
214
+ "learning_rate": 0.0001884910485933504,
215
+ "loss": 0.2785,
216
+ "step": 270
217
+ },
218
+ {
219
+ "epoch": 0.24,
220
+ "grad_norm": 8.491466522216797,
221
+ "learning_rate": 0.00018806479113384484,
222
+ "loss": 0.1566,
223
+ "step": 280
224
+ },
225
+ {
226
+ "epoch": 0.25,
227
+ "grad_norm": 0.5412869453430176,
228
+ "learning_rate": 0.0001876385336743393,
229
+ "loss": 0.0762,
230
+ "step": 290
231
+ },
232
+ {
233
+ "epoch": 0.26,
234
+ "grad_norm": 4.8113322257995605,
235
+ "learning_rate": 0.00018721227621483377,
236
+ "loss": 0.1737,
237
+ "step": 300
238
+ },
239
+ {
240
+ "epoch": 0.26,
241
+ "eval_accuracy": 0.9456521739130435,
242
+ "eval_loss": 0.16146068274974823,
243
+ "eval_runtime": 35.2099,
244
+ "eval_samples_per_second": 20.903,
245
+ "eval_steps_per_second": 2.613,
246
+ "step": 300
247
+ },
248
+ {
249
+ "epoch": 0.26,
250
+ "grad_norm": 3.4217417240142822,
251
+ "learning_rate": 0.00018678601875532822,
252
+ "loss": 0.1649,
253
+ "step": 310
254
+ },
255
+ {
256
+ "epoch": 0.27,
257
+ "grad_norm": 5.795102596282959,
258
+ "learning_rate": 0.0001863597612958227,
259
+ "loss": 0.1752,
260
+ "step": 320
261
+ },
262
+ {
263
+ "epoch": 0.28,
264
+ "grad_norm": 1.3124635219573975,
265
+ "learning_rate": 0.00018593350383631715,
266
+ "loss": 0.1436,
267
+ "step": 330
268
+ },
269
+ {
270
+ "epoch": 0.29,
271
+ "grad_norm": 2.955580949783325,
272
+ "learning_rate": 0.0001855072463768116,
273
+ "loss": 0.102,
274
+ "step": 340
275
+ },
276
+ {
277
+ "epoch": 0.3,
278
+ "grad_norm": 2.491114616394043,
279
+ "learning_rate": 0.00018508098891730605,
280
+ "loss": 0.0966,
281
+ "step": 350
282
+ },
283
+ {
284
+ "epoch": 0.31,
285
+ "grad_norm": 5.680546283721924,
286
+ "learning_rate": 0.00018465473145780052,
287
+ "loss": 0.1507,
288
+ "step": 360
289
+ },
290
+ {
291
+ "epoch": 0.32,
292
+ "grad_norm": 1.0036741495132446,
293
+ "learning_rate": 0.00018422847399829497,
294
+ "loss": 0.106,
295
+ "step": 370
296
+ },
297
+ {
298
+ "epoch": 0.32,
299
+ "grad_norm": 9.161335945129395,
300
+ "learning_rate": 0.00018380221653878945,
301
+ "loss": 0.1634,
302
+ "step": 380
303
+ },
304
+ {
305
+ "epoch": 0.33,
306
+ "grad_norm": 1.424228310585022,
307
+ "learning_rate": 0.0001833759590792839,
308
+ "loss": 0.2556,
309
+ "step": 390
310
+ },
311
+ {
312
+ "epoch": 0.34,
313
+ "grad_norm": 0.27238574624061584,
314
+ "learning_rate": 0.00018294970161977835,
315
+ "loss": 0.2096,
316
+ "step": 400
317
+ },
318
+ {
319
+ "epoch": 0.34,
320
+ "eval_accuracy": 0.9021739130434783,
321
+ "eval_loss": 0.41383373737335205,
322
+ "eval_runtime": 35.2087,
323
+ "eval_samples_per_second": 20.904,
324
+ "eval_steps_per_second": 2.613,
325
+ "step": 400
326
+ },
327
+ {
328
+ "epoch": 0.35,
329
+ "grad_norm": 3.9731991291046143,
330
+ "learning_rate": 0.0001825234441602728,
331
+ "loss": 0.159,
332
+ "step": 410
333
+ },
334
+ {
335
+ "epoch": 0.36,
336
+ "grad_norm": 1.442360281944275,
337
+ "learning_rate": 0.00018209718670076727,
338
+ "loss": 0.0725,
339
+ "step": 420
340
+ },
341
+ {
342
+ "epoch": 0.37,
343
+ "grad_norm": 1.8118956089019775,
344
+ "learning_rate": 0.00018167092924126172,
345
+ "loss": 0.1007,
346
+ "step": 430
347
+ },
348
+ {
349
+ "epoch": 0.38,
350
+ "grad_norm": 0.04008404538035393,
351
+ "learning_rate": 0.0001812446717817562,
352
+ "loss": 0.1467,
353
+ "step": 440
354
+ },
355
+ {
356
+ "epoch": 0.38,
357
+ "grad_norm": 1.182392954826355,
358
+ "learning_rate": 0.00018081841432225065,
359
+ "loss": 0.1886,
360
+ "step": 450
361
+ },
362
+ {
363
+ "epoch": 0.39,
364
+ "grad_norm": 0.017091387882828712,
365
+ "learning_rate": 0.0001803921568627451,
366
+ "loss": 0.1205,
367
+ "step": 460
368
+ },
369
+ {
370
+ "epoch": 0.4,
371
+ "grad_norm": 3.4202051162719727,
372
+ "learning_rate": 0.00017996589940323955,
373
+ "loss": 0.0578,
374
+ "step": 470
375
+ },
376
+ {
377
+ "epoch": 0.41,
378
+ "grad_norm": 0.2947380542755127,
379
+ "learning_rate": 0.00017953964194373403,
380
+ "loss": 0.1209,
381
+ "step": 480
382
+ },
383
+ {
384
+ "epoch": 0.42,
385
+ "grad_norm": 0.019774317741394043,
386
+ "learning_rate": 0.00017911338448422848,
387
+ "loss": 0.1035,
388
+ "step": 490
389
+ },
390
+ {
391
+ "epoch": 0.43,
392
+ "grad_norm": 0.02473970502614975,
393
+ "learning_rate": 0.00017868712702472295,
394
+ "loss": 0.1855,
395
+ "step": 500
396
+ },
397
+ {
398
+ "epoch": 0.43,
399
+ "eval_accuracy": 0.9510869565217391,
400
+ "eval_loss": 0.18139685690402985,
401
+ "eval_runtime": 35.3047,
402
+ "eval_samples_per_second": 20.847,
403
+ "eval_steps_per_second": 2.606,
404
+ "step": 500
405
+ },
406
+ {
407
+ "epoch": 0.43,
408
+ "grad_norm": 5.77871036529541,
409
+ "learning_rate": 0.0001782608695652174,
410
+ "loss": 0.1413,
411
+ "step": 510
412
+ },
413
+ {
414
+ "epoch": 0.44,
415
+ "grad_norm": 2.2217156887054443,
416
+ "learning_rate": 0.00017783461210571185,
417
+ "loss": 0.2021,
418
+ "step": 520
419
+ },
420
+ {
421
+ "epoch": 0.45,
422
+ "grad_norm": 1.3217977285385132,
423
+ "learning_rate": 0.0001774083546462063,
424
+ "loss": 0.0737,
425
+ "step": 530
426
+ },
427
+ {
428
+ "epoch": 0.46,
429
+ "grad_norm": 12.503950119018555,
430
+ "learning_rate": 0.00017698209718670078,
431
+ "loss": 0.1672,
432
+ "step": 540
433
+ },
434
+ {
435
+ "epoch": 0.47,
436
+ "grad_norm": 9.1078519821167,
437
+ "learning_rate": 0.00017655583972719523,
438
+ "loss": 0.2553,
439
+ "step": 550
440
+ },
441
+ {
442
+ "epoch": 0.48,
443
+ "grad_norm": 0.4439474940299988,
444
+ "learning_rate": 0.0001761295822676897,
445
+ "loss": 0.1189,
446
+ "step": 560
447
+ },
448
+ {
449
+ "epoch": 0.49,
450
+ "grad_norm": 0.04978885501623154,
451
+ "learning_rate": 0.00017570332480818415,
452
+ "loss": 0.0918,
453
+ "step": 570
454
+ },
455
+ {
456
+ "epoch": 0.49,
457
+ "grad_norm": 4.984426498413086,
458
+ "learning_rate": 0.0001752770673486786,
459
+ "loss": 0.1974,
460
+ "step": 580
461
+ },
462
+ {
463
+ "epoch": 0.5,
464
+ "grad_norm": 0.05325145274400711,
465
+ "learning_rate": 0.00017485080988917305,
466
+ "loss": 0.1798,
467
+ "step": 590
468
+ },
469
+ {
470
+ "epoch": 0.51,
471
+ "grad_norm": 6.239779949188232,
472
+ "learning_rate": 0.00017442455242966753,
473
+ "loss": 0.0901,
474
+ "step": 600
475
+ },
476
+ {
477
+ "epoch": 0.51,
478
+ "eval_accuracy": 0.9578804347826086,
479
+ "eval_loss": 0.14351356029510498,
480
+ "eval_runtime": 35.7344,
481
+ "eval_samples_per_second": 20.596,
482
+ "eval_steps_per_second": 2.575,
483
+ "step": 600
484
+ },
485
+ {
486
+ "epoch": 0.52,
487
+ "grad_norm": 0.050971053540706635,
488
+ "learning_rate": 0.00017399829497016198,
489
+ "loss": 0.2124,
490
+ "step": 610
491
+ },
492
+ {
493
+ "epoch": 0.53,
494
+ "grad_norm": 3.303232192993164,
495
+ "learning_rate": 0.00017357203751065646,
496
+ "loss": 0.0349,
497
+ "step": 620
498
+ },
499
+ {
500
+ "epoch": 0.54,
501
+ "grad_norm": 1.1450140476226807,
502
+ "learning_rate": 0.0001731457800511509,
503
+ "loss": 0.1135,
504
+ "step": 630
505
+ },
506
+ {
507
+ "epoch": 0.55,
508
+ "grad_norm": 5.032433986663818,
509
+ "learning_rate": 0.00017271952259164536,
510
+ "loss": 0.1014,
511
+ "step": 640
512
+ },
513
+ {
514
+ "epoch": 0.55,
515
+ "grad_norm": 0.12293048948049545,
516
+ "learning_rate": 0.0001722932651321398,
517
+ "loss": 0.0874,
518
+ "step": 650
519
+ },
520
+ {
521
+ "epoch": 0.56,
522
+ "grad_norm": 3.784557342529297,
523
+ "learning_rate": 0.00017190963341858485,
524
+ "loss": 0.3172,
525
+ "step": 660
526
+ },
527
+ {
528
+ "epoch": 0.57,
529
+ "grad_norm": 0.070284403860569,
530
+ "learning_rate": 0.0001714833759590793,
531
+ "loss": 0.0471,
532
+ "step": 670
533
+ },
534
+ {
535
+ "epoch": 0.58,
536
+ "grad_norm": 1.204810380935669,
537
+ "learning_rate": 0.00017105711849957375,
538
+ "loss": 0.1632,
539
+ "step": 680
540
+ },
541
+ {
542
+ "epoch": 0.59,
543
+ "grad_norm": 2.527963638305664,
544
+ "learning_rate": 0.0001706308610400682,
545
+ "loss": 0.0425,
546
+ "step": 690
547
+ },
548
+ {
549
+ "epoch": 0.6,
550
+ "grad_norm": 4.840771198272705,
551
+ "learning_rate": 0.00017020460358056267,
552
+ "loss": 0.1406,
553
+ "step": 700
554
+ },
555
+ {
556
+ "epoch": 0.6,
557
+ "eval_accuracy": 0.9619565217391305,
558
+ "eval_loss": 0.1468360275030136,
559
+ "eval_runtime": 35.3013,
560
+ "eval_samples_per_second": 20.849,
561
+ "eval_steps_per_second": 2.606,
562
+ "step": 700
563
+ },
564
+ {
565
+ "epoch": 0.61,
566
+ "grad_norm": 5.921713829040527,
567
+ "learning_rate": 0.00016977834612105712,
568
+ "loss": 0.146,
569
+ "step": 710
570
+ },
571
+ {
572
+ "epoch": 0.61,
573
+ "grad_norm": 1.3161861896514893,
574
+ "learning_rate": 0.0001693520886615516,
575
+ "loss": 0.0994,
576
+ "step": 720
577
+ },
578
+ {
579
+ "epoch": 0.62,
580
+ "grad_norm": 0.975315272808075,
581
+ "learning_rate": 0.00016892583120204605,
582
+ "loss": 0.0713,
583
+ "step": 730
584
+ },
585
+ {
586
+ "epoch": 0.63,
587
+ "grad_norm": 2.5411438941955566,
588
+ "learning_rate": 0.0001684995737425405,
589
+ "loss": 0.1335,
590
+ "step": 740
591
+ },
592
+ {
593
+ "epoch": 0.64,
594
+ "grad_norm": 3.4745705127716064,
595
+ "learning_rate": 0.00016807331628303495,
596
+ "loss": 0.1297,
597
+ "step": 750
598
+ },
599
+ {
600
+ "epoch": 0.65,
601
+ "grad_norm": 7.845597267150879,
602
+ "learning_rate": 0.00016764705882352942,
603
+ "loss": 0.1963,
604
+ "step": 760
605
+ },
606
+ {
607
+ "epoch": 0.66,
608
+ "grad_norm": 0.8821056485176086,
609
+ "learning_rate": 0.00016722080136402387,
610
+ "loss": 0.034,
611
+ "step": 770
612
+ },
613
+ {
614
+ "epoch": 0.66,
615
+ "grad_norm": 9.454300880432129,
616
+ "learning_rate": 0.00016679454390451835,
617
+ "loss": 0.0799,
618
+ "step": 780
619
+ },
620
+ {
621
+ "epoch": 0.67,
622
+ "grad_norm": 0.8250120282173157,
623
+ "learning_rate": 0.0001663682864450128,
624
+ "loss": 0.0692,
625
+ "step": 790
626
+ },
627
+ {
628
+ "epoch": 0.68,
629
+ "grad_norm": 6.947498321533203,
630
+ "learning_rate": 0.00016594202898550725,
631
+ "loss": 0.136,
632
+ "step": 800
633
+ },
634
+ {
635
+ "epoch": 0.68,
636
+ "eval_accuracy": 0.9565217391304348,
637
+ "eval_loss": 0.15317288041114807,
638
+ "eval_runtime": 35.4081,
639
+ "eval_samples_per_second": 20.786,
640
+ "eval_steps_per_second": 2.598,
641
+ "step": 800
642
+ },
643
+ {
644
+ "epoch": 0.69,
645
+ "grad_norm": 5.202281951904297,
646
+ "learning_rate": 0.0001655157715260017,
647
+ "loss": 0.1312,
648
+ "step": 810
649
+ },
650
+ {
651
+ "epoch": 0.7,
652
+ "grad_norm": 1.957801342010498,
653
+ "learning_rate": 0.00016508951406649618,
654
+ "loss": 0.0791,
655
+ "step": 820
656
+ },
657
+ {
658
+ "epoch": 0.71,
659
+ "grad_norm": 0.21069864928722382,
660
+ "learning_rate": 0.00016466325660699063,
661
+ "loss": 0.0677,
662
+ "step": 830
663
+ },
664
+ {
665
+ "epoch": 0.72,
666
+ "grad_norm": 5.757635593414307,
667
+ "learning_rate": 0.0001642369991474851,
668
+ "loss": 0.0362,
669
+ "step": 840
670
+ },
671
+ {
672
+ "epoch": 0.72,
673
+ "grad_norm": 0.5154548287391663,
674
+ "learning_rate": 0.00016381074168797955,
675
+ "loss": 0.0376,
676
+ "step": 850
677
+ },
678
+ {
679
+ "epoch": 0.73,
680
+ "grad_norm": 0.27015453577041626,
681
+ "learning_rate": 0.000163384484228474,
682
+ "loss": 0.0713,
683
+ "step": 860
684
+ },
685
+ {
686
+ "epoch": 0.74,
687
+ "grad_norm": 3.8011927604675293,
688
+ "learning_rate": 0.00016295822676896845,
689
+ "loss": 0.0737,
690
+ "step": 870
691
+ },
692
+ {
693
+ "epoch": 0.75,
694
+ "grad_norm": 0.022304391488432884,
695
+ "learning_rate": 0.00016253196930946293,
696
+ "loss": 0.1347,
697
+ "step": 880
698
+ },
699
+ {
700
+ "epoch": 0.76,
701
+ "grad_norm": 2.486687421798706,
702
+ "learning_rate": 0.00016210571184995738,
703
+ "loss": 0.0316,
704
+ "step": 890
705
+ },
706
+ {
707
+ "epoch": 0.77,
708
+ "grad_norm": 0.04768240451812744,
709
+ "learning_rate": 0.00016167945439045185,
710
+ "loss": 0.0666,
711
+ "step": 900
712
+ },
713
+ {
714
+ "epoch": 0.77,
715
+ "eval_accuracy": 0.967391304347826,
716
+ "eval_loss": 0.11767712980508804,
717
+ "eval_runtime": 35.2067,
718
+ "eval_samples_per_second": 20.905,
719
+ "eval_steps_per_second": 2.613,
720
+ "step": 900
721
+ },
722
+ {
723
+ "epoch": 0.78,
724
+ "grad_norm": 0.006724517792463303,
725
+ "learning_rate": 0.0001612531969309463,
726
+ "loss": 0.0386,
727
+ "step": 910
728
+ },
729
+ {
730
+ "epoch": 0.78,
731
+ "grad_norm": 10.303292274475098,
732
+ "learning_rate": 0.00016082693947144075,
733
+ "loss": 0.0667,
734
+ "step": 920
735
+ },
736
+ {
737
+ "epoch": 0.79,
738
+ "grad_norm": 0.029503727331757545,
739
+ "learning_rate": 0.0001604006820119352,
740
+ "loss": 0.1628,
741
+ "step": 930
742
+ },
743
+ {
744
+ "epoch": 0.8,
745
+ "grad_norm": 0.09929509460926056,
746
+ "learning_rate": 0.00015997442455242968,
747
+ "loss": 0.0552,
748
+ "step": 940
749
+ },
750
+ {
751
+ "epoch": 0.81,
752
+ "grad_norm": 1.7176109552383423,
753
+ "learning_rate": 0.00015954816709292413,
754
+ "loss": 0.1002,
755
+ "step": 950
756
+ },
757
+ {
758
+ "epoch": 0.82,
759
+ "grad_norm": 0.25865957140922546,
760
+ "learning_rate": 0.0001591219096334186,
761
+ "loss": 0.0576,
762
+ "step": 960
763
+ },
764
+ {
765
+ "epoch": 0.83,
766
+ "grad_norm": 0.06099778786301613,
767
+ "learning_rate": 0.00015869565217391306,
768
+ "loss": 0.0031,
769
+ "step": 970
770
+ },
771
+ {
772
+ "epoch": 0.84,
773
+ "grad_norm": 0.08257748931646347,
774
+ "learning_rate": 0.0001582693947144075,
775
+ "loss": 0.047,
776
+ "step": 980
777
+ },
778
+ {
779
+ "epoch": 0.84,
780
+ "grad_norm": 2.76910138130188,
781
+ "learning_rate": 0.00015784313725490196,
782
+ "loss": 0.1426,
783
+ "step": 990
784
+ },
785
+ {
786
+ "epoch": 0.85,
787
+ "grad_norm": 5.632607936859131,
788
+ "learning_rate": 0.00015741687979539643,
789
+ "loss": 0.1145,
790
+ "step": 1000
791
+ },
792
+ {
793
+ "epoch": 0.85,
794
+ "eval_accuracy": 0.9497282608695652,
795
+ "eval_loss": 0.1794203668832779,
796
+ "eval_runtime": 35.4699,
797
+ "eval_samples_per_second": 20.75,
798
+ "eval_steps_per_second": 2.594,
799
+ "step": 1000
800
+ },
801
+ {
802
+ "epoch": 0.86,
803
+ "grad_norm": 3.2017662525177,
804
+ "learning_rate": 0.00015699062233589088,
805
+ "loss": 0.1359,
806
+ "step": 1010
807
+ },
808
+ {
809
+ "epoch": 0.87,
810
+ "grad_norm": 1.1852585077285767,
811
+ "learning_rate": 0.00015656436487638536,
812
+ "loss": 0.0522,
813
+ "step": 1020
814
+ },
815
+ {
816
+ "epoch": 0.88,
817
+ "grad_norm": 2.903183698654175,
818
+ "learning_rate": 0.0001561381074168798,
819
+ "loss": 0.0893,
820
+ "step": 1030
821
+ },
822
+ {
823
+ "epoch": 0.89,
824
+ "grad_norm": 0.20862096548080444,
825
+ "learning_rate": 0.00015571184995737426,
826
+ "loss": 0.0487,
827
+ "step": 1040
828
+ },
829
+ {
830
+ "epoch": 0.9,
831
+ "grad_norm": 0.12325622886419296,
832
+ "learning_rate": 0.0001552855924978687,
833
+ "loss": 0.0734,
834
+ "step": 1050
835
+ },
836
+ {
837
+ "epoch": 0.9,
838
+ "grad_norm": 0.027238862589001656,
839
+ "learning_rate": 0.00015485933503836318,
840
+ "loss": 0.1244,
841
+ "step": 1060
842
+ },
843
+ {
844
+ "epoch": 0.91,
845
+ "grad_norm": 0.05954383313655853,
846
+ "learning_rate": 0.00015443307757885763,
847
+ "loss": 0.0357,
848
+ "step": 1070
849
+ },
850
+ {
851
+ "epoch": 0.92,
852
+ "grad_norm": 3.9473464488983154,
853
+ "learning_rate": 0.0001540068201193521,
854
+ "loss": 0.1167,
855
+ "step": 1080
856
+ },
857
+ {
858
+ "epoch": 0.93,
859
+ "grad_norm": 0.054384492337703705,
860
+ "learning_rate": 0.00015358056265984656,
861
+ "loss": 0.0712,
862
+ "step": 1090
863
+ },
864
+ {
865
+ "epoch": 0.94,
866
+ "grad_norm": 1.4992036819458008,
867
+ "learning_rate": 0.000153154305200341,
868
+ "loss": 0.0865,
869
+ "step": 1100
870
+ },
871
+ {
872
+ "epoch": 0.94,
873
+ "eval_accuracy": 0.96875,
874
+ "eval_loss": 0.11128566414117813,
875
+ "eval_runtime": 35.307,
876
+ "eval_samples_per_second": 20.846,
877
+ "eval_steps_per_second": 2.606,
878
+ "step": 1100
879
+ },
880
+ {
881
+ "epoch": 0.95,
882
+ "grad_norm": 1.1278241872787476,
883
+ "learning_rate": 0.00015272804774083546,
884
+ "loss": 0.0666,
885
+ "step": 1110
886
+ },
887
+ {
888
+ "epoch": 0.95,
889
+ "grad_norm": 0.008853895589709282,
890
+ "learning_rate": 0.00015230179028132994,
891
+ "loss": 0.0446,
892
+ "step": 1120
893
+ },
894
+ {
895
+ "epoch": 0.96,
896
+ "grad_norm": 0.18212011456489563,
897
+ "learning_rate": 0.0001518755328218244,
898
+ "loss": 0.0386,
899
+ "step": 1130
900
+ },
901
+ {
902
+ "epoch": 0.97,
903
+ "grad_norm": 0.1280270516872406,
904
+ "learning_rate": 0.00015144927536231886,
905
+ "loss": 0.0545,
906
+ "step": 1140
907
+ },
908
+ {
909
+ "epoch": 0.98,
910
+ "grad_norm": 0.9832583665847778,
911
+ "learning_rate": 0.0001510230179028133,
912
+ "loss": 0.016,
913
+ "step": 1150
914
+ },
915
+ {
916
+ "epoch": 0.99,
917
+ "grad_norm": 0.5265651345252991,
918
+ "learning_rate": 0.00015059676044330776,
919
+ "loss": 0.0177,
920
+ "step": 1160
921
+ },
922
+ {
923
+ "epoch": 1.0,
924
+ "grad_norm": 7.077823638916016,
925
+ "learning_rate": 0.0001501705029838022,
926
+ "loss": 0.0924,
927
+ "step": 1170
928
+ },
929
+ {
930
+ "epoch": 1.01,
931
+ "grad_norm": 7.029810905456543,
932
+ "learning_rate": 0.0001497442455242967,
933
+ "loss": 0.0864,
934
+ "step": 1180
935
+ },
936
+ {
937
+ "epoch": 1.01,
938
+ "grad_norm": 0.7946345806121826,
939
+ "learning_rate": 0.00014931798806479114,
940
+ "loss": 0.0113,
941
+ "step": 1190
942
+ },
943
+ {
944
+ "epoch": 1.02,
945
+ "grad_norm": 1.7585835456848145,
946
+ "learning_rate": 0.00014889173060528562,
947
+ "loss": 0.0612,
948
+ "step": 1200
949
+ },
950
+ {
951
+ "epoch": 1.02,
952
+ "eval_accuracy": 0.96875,
953
+ "eval_loss": 0.1270022839307785,
954
+ "eval_runtime": 35.4385,
955
+ "eval_samples_per_second": 20.768,
956
+ "eval_steps_per_second": 2.596,
957
+ "step": 1200
958
+ },
959
+ {
960
+ "epoch": 1.03,
961
+ "grad_norm": 4.02322244644165,
962
+ "learning_rate": 0.00014846547314578007,
963
+ "loss": 0.0694,
964
+ "step": 1210
965
+ },
966
+ {
967
+ "epoch": 1.04,
968
+ "grad_norm": 0.1861138790845871,
969
+ "learning_rate": 0.00014803921568627451,
970
+ "loss": 0.0589,
971
+ "step": 1220
972
+ },
973
+ {
974
+ "epoch": 1.05,
975
+ "grad_norm": 0.013929170556366444,
976
+ "learning_rate": 0.00014761295822676896,
977
+ "loss": 0.032,
978
+ "step": 1230
979
+ },
980
+ {
981
+ "epoch": 1.06,
982
+ "grad_norm": 0.7604354619979858,
983
+ "learning_rate": 0.00014718670076726344,
984
+ "loss": 0.003,
985
+ "step": 1240
986
+ },
987
+ {
988
+ "epoch": 1.07,
989
+ "grad_norm": 0.11580263823270798,
990
+ "learning_rate": 0.0001467604433077579,
991
+ "loss": 0.0921,
992
+ "step": 1250
993
+ },
994
+ {
995
+ "epoch": 1.07,
996
+ "grad_norm": 0.5570498108863831,
997
+ "learning_rate": 0.00014633418584825237,
998
+ "loss": 0.0694,
999
+ "step": 1260
1000
+ },
1001
+ {
1002
+ "epoch": 1.08,
1003
+ "grad_norm": 0.014709889888763428,
1004
+ "learning_rate": 0.00014590792838874682,
1005
+ "loss": 0.1376,
1006
+ "step": 1270
1007
+ },
1008
+ {
1009
+ "epoch": 1.09,
1010
+ "grad_norm": 5.309992790222168,
1011
+ "learning_rate": 0.00014548167092924127,
1012
+ "loss": 0.0667,
1013
+ "step": 1280
1014
+ },
1015
+ {
1016
+ "epoch": 1.1,
1017
+ "grad_norm": 2.8405873775482178,
1018
+ "learning_rate": 0.00014505541346973572,
1019
+ "loss": 0.0101,
1020
+ "step": 1290
1021
+ },
1022
+ {
1023
+ "epoch": 1.11,
1024
+ "grad_norm": 0.09988798946142197,
1025
+ "learning_rate": 0.0001446291560102302,
1026
+ "loss": 0.0038,
1027
+ "step": 1300
1028
+ },
1029
+ {
1030
+ "epoch": 1.11,
1031
+ "eval_accuracy": 0.9782608695652174,
1032
+ "eval_loss": 0.07244057208299637,
1033
+ "eval_runtime": 35.5518,
1034
+ "eval_samples_per_second": 20.702,
1035
+ "eval_steps_per_second": 2.588,
1036
+ "step": 1300
1037
+ },
1038
+ {
1039
+ "epoch": 1.12,
1040
+ "grad_norm": 6.244915008544922,
1041
+ "learning_rate": 0.00014420289855072464,
1042
+ "loss": 0.0365,
1043
+ "step": 1310
1044
+ },
1045
+ {
1046
+ "epoch": 1.13,
1047
+ "grad_norm": 0.004242677241563797,
1048
+ "learning_rate": 0.00014377664109121912,
1049
+ "loss": 0.0497,
1050
+ "step": 1320
1051
+ },
1052
+ {
1053
+ "epoch": 1.13,
1054
+ "grad_norm": 6.292332649230957,
1055
+ "learning_rate": 0.00014335038363171357,
1056
+ "loss": 0.0263,
1057
+ "step": 1330
1058
+ },
1059
+ {
1060
+ "epoch": 1.14,
1061
+ "grad_norm": 0.0060243159532547,
1062
+ "learning_rate": 0.00014292412617220802,
1063
+ "loss": 0.0013,
1064
+ "step": 1340
1065
+ },
1066
+ {
1067
+ "epoch": 1.15,
1068
+ "grad_norm": 0.15038518607616425,
1069
+ "learning_rate": 0.00014249786871270247,
1070
+ "loss": 0.0339,
1071
+ "step": 1350
1072
+ },
1073
+ {
1074
+ "epoch": 1.16,
1075
+ "grad_norm": 0.007978633977472782,
1076
+ "learning_rate": 0.00014207161125319695,
1077
+ "loss": 0.0007,
1078
+ "step": 1360
1079
+ },
1080
+ {
1081
+ "epoch": 1.17,
1082
+ "grad_norm": 0.002196653513237834,
1083
+ "learning_rate": 0.0001416453537936914,
1084
+ "loss": 0.0082,
1085
+ "step": 1370
1086
+ },
1087
+ {
1088
+ "epoch": 1.18,
1089
+ "grad_norm": 0.002195573877543211,
1090
+ "learning_rate": 0.00014121909633418587,
1091
+ "loss": 0.0471,
1092
+ "step": 1380
1093
+ },
1094
+ {
1095
+ "epoch": 1.18,
1096
+ "grad_norm": 0.007308514788746834,
1097
+ "learning_rate": 0.00014079283887468032,
1098
+ "loss": 0.0012,
1099
+ "step": 1390
1100
+ },
1101
+ {
1102
+ "epoch": 1.19,
1103
+ "grad_norm": 0.06914997845888138,
1104
+ "learning_rate": 0.00014036658141517477,
1105
+ "loss": 0.0006,
1106
+ "step": 1400
1107
+ },
1108
+ {
1109
+ "epoch": 1.19,
1110
+ "eval_accuracy": 0.9850543478260869,
1111
+ "eval_loss": 0.07148104906082153,
1112
+ "eval_runtime": 35.5936,
1113
+ "eval_samples_per_second": 20.678,
1114
+ "eval_steps_per_second": 2.585,
1115
+ "step": 1400
1116
+ },
1117
+ {
1118
+ "epoch": 1.2,
1119
+ "grad_norm": 0.0030923793092370033,
1120
+ "learning_rate": 0.00013994032395566922,
1121
+ "loss": 0.0311,
1122
+ "step": 1410
1123
+ },
1124
+ {
1125
+ "epoch": 1.21,
1126
+ "grad_norm": 0.003851505694910884,
1127
+ "learning_rate": 0.0001395140664961637,
1128
+ "loss": 0.0209,
1129
+ "step": 1420
1130
+ },
1131
+ {
1132
+ "epoch": 1.22,
1133
+ "grad_norm": 4.583674430847168,
1134
+ "learning_rate": 0.00013908780903665815,
1135
+ "loss": 0.0419,
1136
+ "step": 1430
1137
+ },
1138
+ {
1139
+ "epoch": 1.23,
1140
+ "grad_norm": 0.0060944948345422745,
1141
+ "learning_rate": 0.00013866155157715262,
1142
+ "loss": 0.0104,
1143
+ "step": 1440
1144
+ },
1145
+ {
1146
+ "epoch": 1.24,
1147
+ "grad_norm": 0.3952249586582184,
1148
+ "learning_rate": 0.00013823529411764707,
1149
+ "loss": 0.0081,
1150
+ "step": 1450
1151
+ },
1152
+ {
1153
+ "epoch": 1.24,
1154
+ "grad_norm": 0.054922040551900864,
1155
+ "learning_rate": 0.00013780903665814152,
1156
+ "loss": 0.004,
1157
+ "step": 1460
1158
+ },
1159
+ {
1160
+ "epoch": 1.25,
1161
+ "grad_norm": 0.5767747759819031,
1162
+ "learning_rate": 0.00013738277919863597,
1163
+ "loss": 0.0032,
1164
+ "step": 1470
1165
+ },
1166
+ {
1167
+ "epoch": 1.26,
1168
+ "grad_norm": 0.004362504463642836,
1169
+ "learning_rate": 0.00013695652173913045,
1170
+ "loss": 0.0503,
1171
+ "step": 1480
1172
+ },
1173
+ {
1174
+ "epoch": 1.27,
1175
+ "grad_norm": 0.007160673383623362,
1176
+ "learning_rate": 0.0001365302642796249,
1177
+ "loss": 0.0065,
1178
+ "step": 1490
1179
+ },
1180
+ {
1181
+ "epoch": 1.28,
1182
+ "grad_norm": 0.13416601717472076,
1183
+ "learning_rate": 0.00013610400682011938,
1184
+ "loss": 0.0007,
1185
+ "step": 1500
1186
+ },
1187
+ {
1188
+ "epoch": 1.28,
1189
+ "eval_accuracy": 0.9796195652173914,
1190
+ "eval_loss": 0.06163864955306053,
1191
+ "eval_runtime": 35.8396,
1192
+ "eval_samples_per_second": 20.536,
1193
+ "eval_steps_per_second": 2.567,
1194
+ "step": 1500
1195
+ },
1196
+ {
1197
+ "epoch": 1.29,
1198
+ "grad_norm": 6.056341171264648,
1199
+ "learning_rate": 0.00013567774936061383,
1200
+ "loss": 0.0324,
1201
+ "step": 1510
1202
+ },
1203
+ {
1204
+ "epoch": 1.3,
1205
+ "grad_norm": 0.002421529032289982,
1206
+ "learning_rate": 0.00013525149190110828,
1207
+ "loss": 0.0089,
1208
+ "step": 1520
1209
+ },
1210
+ {
1211
+ "epoch": 1.3,
1212
+ "grad_norm": 0.023262590169906616,
1213
+ "learning_rate": 0.00013482523444160273,
1214
+ "loss": 0.0124,
1215
+ "step": 1530
1216
+ },
1217
+ {
1218
+ "epoch": 1.31,
1219
+ "grad_norm": 0.015889374539256096,
1220
+ "learning_rate": 0.0001343989769820972,
1221
+ "loss": 0.0055,
1222
+ "step": 1540
1223
+ },
1224
+ {
1225
+ "epoch": 1.32,
1226
+ "grad_norm": 1.7687301635742188,
1227
+ "learning_rate": 0.00013397271952259165,
1228
+ "loss": 0.0065,
1229
+ "step": 1550
1230
+ },
1231
+ {
1232
+ "epoch": 1.33,
1233
+ "grad_norm": 0.013485108502209187,
1234
+ "learning_rate": 0.00013354646206308613,
1235
+ "loss": 0.0204,
1236
+ "step": 1560
1237
+ },
1238
+ {
1239
+ "epoch": 1.34,
1240
+ "grad_norm": 0.0032094900961965322,
1241
+ "learning_rate": 0.00013312020460358058,
1242
+ "loss": 0.0568,
1243
+ "step": 1570
1244
+ },
1245
+ {
1246
+ "epoch": 1.35,
1247
+ "grad_norm": 3.2661609649658203,
1248
+ "learning_rate": 0.00013269394714407503,
1249
+ "loss": 0.0174,
1250
+ "step": 1580
1251
+ },
1252
+ {
1253
+ "epoch": 1.36,
1254
+ "grad_norm": 0.01120584737509489,
1255
+ "learning_rate": 0.00013226768968456948,
1256
+ "loss": 0.0243,
1257
+ "step": 1590
1258
+ },
1259
+ {
1260
+ "epoch": 1.36,
1261
+ "grad_norm": 0.002038970123976469,
1262
+ "learning_rate": 0.00013184143222506395,
1263
+ "loss": 0.0579,
1264
+ "step": 1600
1265
+ },
1266
+ {
1267
+ "epoch": 1.36,
1268
+ "eval_accuracy": 0.9714673913043478,
1269
+ "eval_loss": 0.1259184330701828,
1270
+ "eval_runtime": 35.7203,
1271
+ "eval_samples_per_second": 20.605,
1272
+ "eval_steps_per_second": 2.576,
1273
+ "step": 1600
1274
+ },
1275
+ {
1276
+ "epoch": 1.37,
1277
+ "grad_norm": 0.5598017573356628,
1278
+ "learning_rate": 0.0001314151747655584,
1279
+ "loss": 0.0026,
1280
+ "step": 1610
1281
+ },
1282
+ {
1283
+ "epoch": 1.38,
1284
+ "grad_norm": 0.02395728975534439,
1285
+ "learning_rate": 0.00013098891730605288,
1286
+ "loss": 0.0031,
1287
+ "step": 1620
1288
+ },
1289
+ {
1290
+ "epoch": 1.39,
1291
+ "grad_norm": 0.12281103432178497,
1292
+ "learning_rate": 0.00013056265984654733,
1293
+ "loss": 0.0012,
1294
+ "step": 1630
1295
+ },
1296
+ {
1297
+ "epoch": 1.4,
1298
+ "grad_norm": 0.0021667671389877796,
1299
+ "learning_rate": 0.00013013640238704178,
1300
+ "loss": 0.0217,
1301
+ "step": 1640
1302
+ },
1303
+ {
1304
+ "epoch": 1.41,
1305
+ "grad_norm": 0.01249703485518694,
1306
+ "learning_rate": 0.00012971014492753623,
1307
+ "loss": 0.0148,
1308
+ "step": 1650
1309
+ },
1310
+ {
1311
+ "epoch": 1.42,
1312
+ "grad_norm": 0.001891128602437675,
1313
+ "learning_rate": 0.0001292838874680307,
1314
+ "loss": 0.0247,
1315
+ "step": 1660
1316
+ },
1317
+ {
1318
+ "epoch": 1.42,
1319
+ "grad_norm": 0.03076539747416973,
1320
+ "learning_rate": 0.00012885763000852516,
1321
+ "loss": 0.056,
1322
+ "step": 1670
1323
+ },
1324
+ {
1325
+ "epoch": 1.43,
1326
+ "grad_norm": 0.006363812834024429,
1327
+ "learning_rate": 0.00012843137254901963,
1328
+ "loss": 0.0583,
1329
+ "step": 1680
1330
+ },
1331
+ {
1332
+ "epoch": 1.44,
1333
+ "grad_norm": 0.024970410391688347,
1334
+ "learning_rate": 0.00012800511508951408,
1335
+ "loss": 0.0022,
1336
+ "step": 1690
1337
+ },
1338
+ {
1339
+ "epoch": 1.45,
1340
+ "grad_norm": 0.11185500770807266,
1341
+ "learning_rate": 0.00012757885763000853,
1342
+ "loss": 0.0009,
1343
+ "step": 1700
1344
+ },
1345
+ {
1346
+ "epoch": 1.45,
1347
+ "eval_accuracy": 0.9755434782608695,
1348
+ "eval_loss": 0.10284683108329773,
1349
+ "eval_runtime": 35.3836,
1350
+ "eval_samples_per_second": 20.801,
1351
+ "eval_steps_per_second": 2.6,
1352
+ "step": 1700
1353
+ },
1354
+ {
1355
+ "epoch": 1.46,
1356
+ "grad_norm": 0.001679188571870327,
1357
+ "learning_rate": 0.00012715260017050298,
1358
+ "loss": 0.0055,
1359
+ "step": 1710
1360
+ },
1361
+ {
1362
+ "epoch": 1.47,
1363
+ "grad_norm": 0.006215417757630348,
1364
+ "learning_rate": 0.00012672634271099746,
1365
+ "loss": 0.0338,
1366
+ "step": 1720
1367
+ },
1368
+ {
1369
+ "epoch": 1.47,
1370
+ "grad_norm": 5.586231231689453,
1371
+ "learning_rate": 0.0001263000852514919,
1372
+ "loss": 0.0299,
1373
+ "step": 1730
1374
+ },
1375
+ {
1376
+ "epoch": 1.48,
1377
+ "grad_norm": 0.4323924779891968,
1378
+ "learning_rate": 0.00012587382779198638,
1379
+ "loss": 0.0814,
1380
+ "step": 1740
1381
+ },
1382
+ {
1383
+ "epoch": 1.49,
1384
+ "grad_norm": 0.01729062758386135,
1385
+ "learning_rate": 0.00012544757033248083,
1386
+ "loss": 0.0034,
1387
+ "step": 1750
1388
+ },
1389
+ {
1390
+ "epoch": 1.5,
1391
+ "grad_norm": 0.008044210262596607,
1392
+ "learning_rate": 0.00012502131287297528,
1393
+ "loss": 0.0172,
1394
+ "step": 1760
1395
+ },
1396
+ {
1397
+ "epoch": 1.51,
1398
+ "grad_norm": 1.2299610376358032,
1399
+ "learning_rate": 0.00012459505541346973,
1400
+ "loss": 0.0154,
1401
+ "step": 1770
1402
+ },
1403
+ {
1404
+ "epoch": 1.52,
1405
+ "grad_norm": 0.0019144455436617136,
1406
+ "learning_rate": 0.0001241687979539642,
1407
+ "loss": 0.0212,
1408
+ "step": 1780
1409
+ },
1410
+ {
1411
+ "epoch": 1.53,
1412
+ "grad_norm": 9.939857482910156,
1413
+ "learning_rate": 0.00012374254049445866,
1414
+ "loss": 0.2078,
1415
+ "step": 1790
1416
+ },
1417
+ {
1418
+ "epoch": 1.53,
1419
+ "grad_norm": 0.006784502416849136,
1420
+ "learning_rate": 0.00012331628303495314,
1421
+ "loss": 0.0295,
1422
+ "step": 1800
1423
+ },
1424
+ {
1425
+ "epoch": 1.53,
1426
+ "eval_accuracy": 0.9823369565217391,
1427
+ "eval_loss": 0.0636792704463005,
1428
+ "eval_runtime": 35.9452,
1429
+ "eval_samples_per_second": 20.476,
1430
+ "eval_steps_per_second": 2.559,
1431
+ "step": 1800
1432
+ },
1433
+ {
1434
+ "epoch": 1.54,
1435
+ "grad_norm": 0.021205879747867584,
1436
+ "learning_rate": 0.0001228900255754476,
1437
+ "loss": 0.0022,
1438
+ "step": 1810
1439
+ },
1440
+ {
1441
+ "epoch": 1.55,
1442
+ "grad_norm": 0.004019047133624554,
1443
+ "learning_rate": 0.00012246376811594204,
1444
+ "loss": 0.0167,
1445
+ "step": 1820
1446
+ },
1447
+ {
1448
+ "epoch": 1.56,
1449
+ "grad_norm": 0.009964291006326675,
1450
+ "learning_rate": 0.0001220375106564365,
1451
+ "loss": 0.0501,
1452
+ "step": 1830
1453
+ },
1454
+ {
1455
+ "epoch": 1.57,
1456
+ "grad_norm": 0.008543290197849274,
1457
+ "learning_rate": 0.00012161125319693096,
1458
+ "loss": 0.0005,
1459
+ "step": 1840
1460
+ },
1461
+ {
1462
+ "epoch": 1.58,
1463
+ "grad_norm": 0.001487872563302517,
1464
+ "learning_rate": 0.00012118499573742541,
1465
+ "loss": 0.0033,
1466
+ "step": 1850
1467
+ },
1468
+ {
1469
+ "epoch": 1.59,
1470
+ "grad_norm": 0.005636855494230986,
1471
+ "learning_rate": 0.00012075873827791986,
1472
+ "loss": 0.0028,
1473
+ "step": 1860
1474
+ },
1475
+ {
1476
+ "epoch": 1.59,
1477
+ "grad_norm": 0.0020758220925927162,
1478
+ "learning_rate": 0.00012033248081841433,
1479
+ "loss": 0.0004,
1480
+ "step": 1870
1481
+ },
1482
+ {
1483
+ "epoch": 1.6,
1484
+ "grad_norm": 0.015278986655175686,
1485
+ "learning_rate": 0.00011990622335890877,
1486
+ "loss": 0.0013,
1487
+ "step": 1880
1488
+ },
1489
+ {
1490
+ "epoch": 1.61,
1491
+ "grad_norm": 0.003281915793195367,
1492
+ "learning_rate": 0.00011947996589940325,
1493
+ "loss": 0.0214,
1494
+ "step": 1890
1495
+ },
1496
+ {
1497
+ "epoch": 1.62,
1498
+ "grad_norm": 0.010990927927196026,
1499
+ "learning_rate": 0.00011905370843989769,
1500
+ "loss": 0.0484,
1501
+ "step": 1900
1502
+ },
1503
+ {
1504
+ "epoch": 1.62,
1505
+ "eval_accuracy": 0.9782608695652174,
1506
+ "eval_loss": 0.08926977962255478,
1507
+ "eval_runtime": 35.2888,
1508
+ "eval_samples_per_second": 20.856,
1509
+ "eval_steps_per_second": 2.607,
1510
+ "step": 1900
1511
+ },
1512
+ {
1513
+ "epoch": 1.63,
1514
+ "grad_norm": 0.0031577609479427338,
1515
+ "learning_rate": 0.00011862745098039216,
1516
+ "loss": 0.0003,
1517
+ "step": 1910
1518
+ },
1519
+ {
1520
+ "epoch": 1.64,
1521
+ "grad_norm": 0.0015481531154364347,
1522
+ "learning_rate": 0.00011820119352088661,
1523
+ "loss": 0.0002,
1524
+ "step": 1920
1525
+ },
1526
+ {
1527
+ "epoch": 1.65,
1528
+ "grad_norm": 0.012322927825152874,
1529
+ "learning_rate": 0.00011777493606138108,
1530
+ "loss": 0.0016,
1531
+ "step": 1930
1532
+ },
1533
+ {
1534
+ "epoch": 1.65,
1535
+ "grad_norm": 0.027145786210894585,
1536
+ "learning_rate": 0.00011734867860187553,
1537
+ "loss": 0.0328,
1538
+ "step": 1940
1539
+ },
1540
+ {
1541
+ "epoch": 1.66,
1542
+ "grad_norm": 7.930657386779785,
1543
+ "learning_rate": 0.00011692242114237,
1544
+ "loss": 0.0697,
1545
+ "step": 1950
1546
+ },
1547
+ {
1548
+ "epoch": 1.67,
1549
+ "grad_norm": 0.024966897442936897,
1550
+ "learning_rate": 0.00011649616368286444,
1551
+ "loss": 0.0366,
1552
+ "step": 1960
1553
+ },
1554
+ {
1555
+ "epoch": 1.68,
1556
+ "grad_norm": 0.006519176997244358,
1557
+ "learning_rate": 0.00011606990622335892,
1558
+ "loss": 0.0346,
1559
+ "step": 1970
1560
+ },
1561
+ {
1562
+ "epoch": 1.69,
1563
+ "grad_norm": 0.0036061250139027834,
1564
+ "learning_rate": 0.00011564364876385337,
1565
+ "loss": 0.0003,
1566
+ "step": 1980
1567
+ },
1568
+ {
1569
+ "epoch": 1.7,
1570
+ "grad_norm": 0.32742467522621155,
1571
+ "learning_rate": 0.00011521739130434783,
1572
+ "loss": 0.0007,
1573
+ "step": 1990
1574
+ },
1575
+ {
1576
+ "epoch": 1.71,
1577
+ "grad_norm": 0.006401886697858572,
1578
+ "learning_rate": 0.00011479113384484228,
1579
+ "loss": 0.0371,
1580
+ "step": 2000
1581
+ },
1582
+ {
1583
+ "epoch": 1.71,
1584
+ "eval_accuracy": 0.9836956521739131,
1585
+ "eval_loss": 0.06366284191608429,
1586
+ "eval_runtime": 35.2728,
1587
+ "eval_samples_per_second": 20.866,
1588
+ "eval_steps_per_second": 2.608,
1589
+ "step": 2000
1590
+ },
1591
+ {
1592
+ "epoch": 1.71,
1593
+ "grad_norm": 0.005329111125320196,
1594
+ "learning_rate": 0.00011436487638533676,
1595
+ "loss": 0.0023,
1596
+ "step": 2010
1597
+ },
1598
+ {
1599
+ "epoch": 1.72,
1600
+ "grad_norm": 0.15500983595848083,
1601
+ "learning_rate": 0.00011393861892583119,
1602
+ "loss": 0.021,
1603
+ "step": 2020
1604
+ },
1605
+ {
1606
+ "epoch": 1.73,
1607
+ "grad_norm": 0.04823674261569977,
1608
+ "learning_rate": 0.00011351236146632567,
1609
+ "loss": 0.0012,
1610
+ "step": 2030
1611
+ },
1612
+ {
1613
+ "epoch": 1.74,
1614
+ "grad_norm": 0.0023863280657678843,
1615
+ "learning_rate": 0.00011308610400682012,
1616
+ "loss": 0.0135,
1617
+ "step": 2040
1618
+ },
1619
+ {
1620
+ "epoch": 1.75,
1621
+ "grad_norm": 0.008456870913505554,
1622
+ "learning_rate": 0.00011265984654731458,
1623
+ "loss": 0.0061,
1624
+ "step": 2050
1625
+ },
1626
+ {
1627
+ "epoch": 1.76,
1628
+ "grad_norm": 0.001964428462088108,
1629
+ "learning_rate": 0.00011223358908780903,
1630
+ "loss": 0.0121,
1631
+ "step": 2060
1632
+ },
1633
+ {
1634
+ "epoch": 1.76,
1635
+ "grad_norm": 0.002651037648320198,
1636
+ "learning_rate": 0.00011180733162830351,
1637
+ "loss": 0.0441,
1638
+ "step": 2070
1639
+ },
1640
+ {
1641
+ "epoch": 1.77,
1642
+ "grad_norm": 1.0449827909469604,
1643
+ "learning_rate": 0.00011138107416879794,
1644
+ "loss": 0.0035,
1645
+ "step": 2080
1646
+ },
1647
+ {
1648
+ "epoch": 1.78,
1649
+ "grad_norm": 0.005107446573674679,
1650
+ "learning_rate": 0.00011095481670929242,
1651
+ "loss": 0.0465,
1652
+ "step": 2090
1653
+ },
1654
+ {
1655
+ "epoch": 1.79,
1656
+ "grad_norm": 1.879646897315979,
1657
+ "learning_rate": 0.00011052855924978687,
1658
+ "loss": 0.0359,
1659
+ "step": 2100
1660
+ },
1661
+ {
1662
+ "epoch": 1.79,
1663
+ "eval_accuracy": 0.9877717391304348,
1664
+ "eval_loss": 0.038947634398937225,
1665
+ "eval_runtime": 35.3019,
1666
+ "eval_samples_per_second": 20.849,
1667
+ "eval_steps_per_second": 2.606,
1668
+ "step": 2100
1669
+ },
1670
+ {
1671
+ "epoch": 1.8,
1672
+ "grad_norm": 0.03196950629353523,
1673
+ "learning_rate": 0.00011010230179028133,
1674
+ "loss": 0.0575,
1675
+ "step": 2110
1676
+ },
1677
+ {
1678
+ "epoch": 1.81,
1679
+ "grad_norm": 0.018430249765515327,
1680
+ "learning_rate": 0.00010967604433077578,
1681
+ "loss": 0.0004,
1682
+ "step": 2120
1683
+ },
1684
+ {
1685
+ "epoch": 1.82,
1686
+ "grad_norm": 0.0045145428739488125,
1687
+ "learning_rate": 0.00010924978687127026,
1688
+ "loss": 0.0003,
1689
+ "step": 2130
1690
+ },
1691
+ {
1692
+ "epoch": 1.82,
1693
+ "grad_norm": 0.019347038120031357,
1694
+ "learning_rate": 0.0001088235294117647,
1695
+ "loss": 0.0049,
1696
+ "step": 2140
1697
+ },
1698
+ {
1699
+ "epoch": 1.83,
1700
+ "grad_norm": 0.0023944175336509943,
1701
+ "learning_rate": 0.00010839727195225917,
1702
+ "loss": 0.0281,
1703
+ "step": 2150
1704
+ },
1705
+ {
1706
+ "epoch": 1.84,
1707
+ "grad_norm": 0.018436182290315628,
1708
+ "learning_rate": 0.00010797101449275362,
1709
+ "loss": 0.0007,
1710
+ "step": 2160
1711
+ },
1712
+ {
1713
+ "epoch": 1.85,
1714
+ "grad_norm": 0.02079106867313385,
1715
+ "learning_rate": 0.00010754475703324809,
1716
+ "loss": 0.0781,
1717
+ "step": 2170
1718
+ },
1719
+ {
1720
+ "epoch": 1.86,
1721
+ "grad_norm": 0.0022807365749031305,
1722
+ "learning_rate": 0.00010711849957374254,
1723
+ "loss": 0.0144,
1724
+ "step": 2180
1725
+ },
1726
+ {
1727
+ "epoch": 1.87,
1728
+ "grad_norm": 0.0020325591322034597,
1729
+ "learning_rate": 0.00010669224211423701,
1730
+ "loss": 0.0022,
1731
+ "step": 2190
1732
+ },
1733
+ {
1734
+ "epoch": 1.88,
1735
+ "grad_norm": 0.0036507395561784506,
1736
+ "learning_rate": 0.00010626598465473145,
1737
+ "loss": 0.0006,
1738
+ "step": 2200
1739
+ },
1740
+ {
1741
+ "epoch": 1.88,
1742
+ "eval_accuracy": 0.9823369565217391,
1743
+ "eval_loss": 0.07500635832548141,
1744
+ "eval_runtime": 35.3987,
1745
+ "eval_samples_per_second": 20.792,
1746
+ "eval_steps_per_second": 2.599,
1747
+ "step": 2200
1748
+ },
1749
+ {
1750
+ "epoch": 1.88,
1751
+ "grad_norm": 0.0012559212045744061,
1752
+ "learning_rate": 0.00010583972719522593,
1753
+ "loss": 0.0005,
1754
+ "step": 2210
1755
+ },
1756
+ {
1757
+ "epoch": 1.89,
1758
+ "grad_norm": 0.0018393185455352068,
1759
+ "learning_rate": 0.00010541346973572037,
1760
+ "loss": 0.0077,
1761
+ "step": 2220
1762
+ },
1763
+ {
1764
+ "epoch": 1.9,
1765
+ "grad_norm": 0.006080774124711752,
1766
+ "learning_rate": 0.00010498721227621484,
1767
+ "loss": 0.0003,
1768
+ "step": 2230
1769
+ },
1770
+ {
1771
+ "epoch": 1.91,
1772
+ "grad_norm": 0.004452521912753582,
1773
+ "learning_rate": 0.00010456095481670929,
1774
+ "loss": 0.006,
1775
+ "step": 2240
1776
+ },
1777
+ {
1778
+ "epoch": 1.92,
1779
+ "grad_norm": 0.008074764162302017,
1780
+ "learning_rate": 0.00010413469735720376,
1781
+ "loss": 0.0011,
1782
+ "step": 2250
1783
+ },
1784
+ {
1785
+ "epoch": 1.93,
1786
+ "grad_norm": 0.005144124384969473,
1787
+ "learning_rate": 0.0001037084398976982,
1788
+ "loss": 0.0012,
1789
+ "step": 2260
1790
+ },
1791
+ {
1792
+ "epoch": 1.94,
1793
+ "grad_norm": 0.0021739054936915636,
1794
+ "learning_rate": 0.00010328218243819268,
1795
+ "loss": 0.016,
1796
+ "step": 2270
1797
+ },
1798
+ {
1799
+ "epoch": 1.94,
1800
+ "grad_norm": 0.005759551655501127,
1801
+ "learning_rate": 0.00010285592497868713,
1802
+ "loss": 0.0031,
1803
+ "step": 2280
1804
+ },
1805
+ {
1806
+ "epoch": 1.95,
1807
+ "grad_norm": 0.0022709094919264317,
1808
+ "learning_rate": 0.00010242966751918159,
1809
+ "loss": 0.0469,
1810
+ "step": 2290
1811
+ },
1812
+ {
1813
+ "epoch": 1.96,
1814
+ "grad_norm": 0.0021238611079752445,
1815
+ "learning_rate": 0.00010200341005967604,
1816
+ "loss": 0.0189,
1817
+ "step": 2300
1818
+ },
1819
+ {
1820
+ "epoch": 1.96,
1821
+ "eval_accuracy": 0.9850543478260869,
1822
+ "eval_loss": 0.04511374980211258,
1823
+ "eval_runtime": 35.4524,
1824
+ "eval_samples_per_second": 20.76,
1825
+ "eval_steps_per_second": 2.595,
1826
+ "step": 2300
1827
+ },
1828
+ {
1829
+ "epoch": 1.97,
1830
+ "grad_norm": 0.035481926053762436,
1831
+ "learning_rate": 0.00010157715260017052,
1832
+ "loss": 0.0028,
1833
+ "step": 2310
1834
+ },
1835
+ {
1836
+ "epoch": 1.98,
1837
+ "grad_norm": 0.0017244711052626371,
1838
+ "learning_rate": 0.00010115089514066495,
1839
+ "loss": 0.0003,
1840
+ "step": 2320
1841
+ },
1842
+ {
1843
+ "epoch": 1.99,
1844
+ "grad_norm": 0.005300660151988268,
1845
+ "learning_rate": 0.00010072463768115943,
1846
+ "loss": 0.0011,
1847
+ "step": 2330
1848
+ },
1849
+ {
1850
+ "epoch": 1.99,
1851
+ "grad_norm": 0.07476931810379028,
1852
+ "learning_rate": 0.00010029838022165388,
1853
+ "loss": 0.0141,
1854
+ "step": 2340
1855
+ },
1856
+ {
1857
+ "epoch": 2.0,
1858
+ "grad_norm": 0.0013850871473550797,
1859
+ "learning_rate": 9.987212276214834e-05,
1860
+ "loss": 0.0316,
1861
+ "step": 2350
1862
+ },
1863
+ {
1864
+ "epoch": 2.01,
1865
+ "grad_norm": 0.01931070163846016,
1866
+ "learning_rate": 9.94458653026428e-05,
1867
+ "loss": 0.0434,
1868
+ "step": 2360
1869
+ },
1870
+ {
1871
+ "epoch": 2.02,
1872
+ "grad_norm": 0.1971992552280426,
1873
+ "learning_rate": 9.901960784313727e-05,
1874
+ "loss": 0.0005,
1875
+ "step": 2370
1876
+ },
1877
+ {
1878
+ "epoch": 2.03,
1879
+ "grad_norm": 0.2410838007926941,
1880
+ "learning_rate": 9.859335038363172e-05,
1881
+ "loss": 0.0511,
1882
+ "step": 2380
1883
+ },
1884
+ {
1885
+ "epoch": 2.04,
1886
+ "grad_norm": 0.003502428298816085,
1887
+ "learning_rate": 9.816709292412618e-05,
1888
+ "loss": 0.0162,
1889
+ "step": 2390
1890
+ },
1891
+ {
1892
+ "epoch": 2.05,
1893
+ "grad_norm": 0.0009001785656437278,
1894
+ "learning_rate": 9.774083546462064e-05,
1895
+ "loss": 0.0442,
1896
+ "step": 2400
1897
+ },
1898
+ {
1899
+ "epoch": 2.05,
1900
+ "eval_accuracy": 0.9796195652173914,
1901
+ "eval_loss": 0.07724236696958542,
1902
+ "eval_runtime": 35.5168,
1903
+ "eval_samples_per_second": 20.723,
1904
+ "eval_steps_per_second": 2.59,
1905
+ "step": 2400
1906
+ },
1907
+ {
1908
+ "epoch": 2.05,
1909
+ "grad_norm": 0.0027264945674687624,
1910
+ "learning_rate": 9.73145780051151e-05,
1911
+ "loss": 0.0453,
1912
+ "step": 2410
1913
+ },
1914
+ {
1915
+ "epoch": 2.06,
1916
+ "grad_norm": 0.005730016622692347,
1917
+ "learning_rate": 9.688832054560956e-05,
1918
+ "loss": 0.0038,
1919
+ "step": 2420
1920
+ },
1921
+ {
1922
+ "epoch": 2.07,
1923
+ "grad_norm": 0.0037351311184465885,
1924
+ "learning_rate": 9.646206308610402e-05,
1925
+ "loss": 0.0209,
1926
+ "step": 2430
1927
+ },
1928
+ {
1929
+ "epoch": 2.08,
1930
+ "grad_norm": 0.0017955221701413393,
1931
+ "learning_rate": 9.603580562659847e-05,
1932
+ "loss": 0.0569,
1933
+ "step": 2440
1934
+ },
1935
+ {
1936
+ "epoch": 2.09,
1937
+ "grad_norm": 0.12098924070596695,
1938
+ "learning_rate": 9.560954816709293e-05,
1939
+ "loss": 0.0007,
1940
+ "step": 2450
1941
+ },
1942
+ {
1943
+ "epoch": 2.1,
1944
+ "grad_norm": 0.0016344174509868026,
1945
+ "learning_rate": 9.51832907075874e-05,
1946
+ "loss": 0.0004,
1947
+ "step": 2460
1948
+ },
1949
+ {
1950
+ "epoch": 2.11,
1951
+ "grad_norm": 0.0016071271384134889,
1952
+ "learning_rate": 9.475703324808185e-05,
1953
+ "loss": 0.0069,
1954
+ "step": 2470
1955
+ },
1956
+ {
1957
+ "epoch": 2.11,
1958
+ "grad_norm": 0.012789487838745117,
1959
+ "learning_rate": 9.433077578857631e-05,
1960
+ "loss": 0.0003,
1961
+ "step": 2480
1962
+ },
1963
+ {
1964
+ "epoch": 2.12,
1965
+ "grad_norm": 0.002755184657871723,
1966
+ "learning_rate": 9.390451832907077e-05,
1967
+ "loss": 0.0027,
1968
+ "step": 2490
1969
+ },
1970
+ {
1971
+ "epoch": 2.13,
1972
+ "grad_norm": 0.001110222190618515,
1973
+ "learning_rate": 9.347826086956522e-05,
1974
+ "loss": 0.0006,
1975
+ "step": 2500
1976
+ },
1977
+ {
1978
+ "epoch": 2.13,
1979
+ "eval_accuracy": 0.9619565217391305,
1980
+ "eval_loss": 0.19875623285770416,
1981
+ "eval_runtime": 35.2652,
1982
+ "eval_samples_per_second": 20.87,
1983
+ "eval_steps_per_second": 2.609,
1984
+ "step": 2500
1985
+ },
1986
+ {
1987
+ "epoch": 2.14,
1988
+ "grad_norm": 0.0037218218203634024,
1989
+ "learning_rate": 9.305200341005969e-05,
1990
+ "loss": 0.023,
1991
+ "step": 2510
1992
+ },
1993
+ {
1994
+ "epoch": 2.15,
1995
+ "grad_norm": 0.0025667762383818626,
1996
+ "learning_rate": 9.262574595055415e-05,
1997
+ "loss": 0.0159,
1998
+ "step": 2520
1999
+ },
2000
+ {
2001
+ "epoch": 2.16,
2002
+ "grad_norm": 8.974613189697266,
2003
+ "learning_rate": 9.21994884910486e-05,
2004
+ "loss": 0.066,
2005
+ "step": 2530
2006
+ },
2007
+ {
2008
+ "epoch": 2.17,
2009
+ "grad_norm": 0.004758073017001152,
2010
+ "learning_rate": 9.177323103154306e-05,
2011
+ "loss": 0.0002,
2012
+ "step": 2540
2013
+ },
2014
+ {
2015
+ "epoch": 2.17,
2016
+ "grad_norm": 0.002444899408146739,
2017
+ "learning_rate": 9.134697357203753e-05,
2018
+ "loss": 0.0266,
2019
+ "step": 2550
2020
+ },
2021
+ {
2022
+ "epoch": 2.18,
2023
+ "grad_norm": 0.0825042575597763,
2024
+ "learning_rate": 9.092071611253197e-05,
2025
+ "loss": 0.0008,
2026
+ "step": 2560
2027
+ },
2028
+ {
2029
+ "epoch": 2.19,
2030
+ "grad_norm": 0.008311850018799305,
2031
+ "learning_rate": 9.049445865302644e-05,
2032
+ "loss": 0.0034,
2033
+ "step": 2570
2034
+ },
2035
+ {
2036
+ "epoch": 2.2,
2037
+ "grad_norm": 0.0031178677454590797,
2038
+ "learning_rate": 9.00682011935209e-05,
2039
+ "loss": 0.0002,
2040
+ "step": 2580
2041
+ },
2042
+ {
2043
+ "epoch": 2.21,
2044
+ "grad_norm": 0.013823499903082848,
2045
+ "learning_rate": 8.964194373401535e-05,
2046
+ "loss": 0.0034,
2047
+ "step": 2590
2048
+ },
2049
+ {
2050
+ "epoch": 2.22,
2051
+ "grad_norm": 0.005909046158194542,
2052
+ "learning_rate": 8.921568627450981e-05,
2053
+ "loss": 0.006,
2054
+ "step": 2600
2055
+ },
2056
+ {
2057
+ "epoch": 2.22,
2058
+ "eval_accuracy": 0.9864130434782609,
2059
+ "eval_loss": 0.06588361412286758,
2060
+ "eval_runtime": 35.1548,
2061
+ "eval_samples_per_second": 20.936,
2062
+ "eval_steps_per_second": 2.617,
2063
+ "step": 2600
2064
+ },
2065
+ {
2066
+ "epoch": 2.23,
2067
+ "grad_norm": 0.1148420125246048,
2068
+ "learning_rate": 8.878942881500428e-05,
2069
+ "loss": 0.0033,
2070
+ "step": 2610
2071
+ },
2072
+ {
2073
+ "epoch": 2.23,
2074
+ "grad_norm": 0.1661941260099411,
2075
+ "learning_rate": 8.836317135549873e-05,
2076
+ "loss": 0.0004,
2077
+ "step": 2620
2078
+ },
2079
+ {
2080
+ "epoch": 2.24,
2081
+ "grad_norm": 0.4073266386985779,
2082
+ "learning_rate": 8.793691389599319e-05,
2083
+ "loss": 0.0012,
2084
+ "step": 2630
2085
+ },
2086
+ {
2087
+ "epoch": 2.25,
2088
+ "grad_norm": 0.0015085344202816486,
2089
+ "learning_rate": 8.751065643648765e-05,
2090
+ "loss": 0.0072,
2091
+ "step": 2640
2092
+ },
2093
+ {
2094
+ "epoch": 2.26,
2095
+ "grad_norm": 0.0480346716940403,
2096
+ "learning_rate": 8.70843989769821e-05,
2097
+ "loss": 0.0327,
2098
+ "step": 2650
2099
+ },
2100
+ {
2101
+ "epoch": 2.27,
2102
+ "grad_norm": 0.0015394511865451932,
2103
+ "learning_rate": 8.665814151747657e-05,
2104
+ "loss": 0.0049,
2105
+ "step": 2660
2106
+ },
2107
+ {
2108
+ "epoch": 2.28,
2109
+ "grad_norm": 0.0018810660112649202,
2110
+ "learning_rate": 8.623188405797103e-05,
2111
+ "loss": 0.0216,
2112
+ "step": 2670
2113
+ },
2114
+ {
2115
+ "epoch": 2.28,
2116
+ "grad_norm": 0.003445707494392991,
2117
+ "learning_rate": 8.580562659846548e-05,
2118
+ "loss": 0.0002,
2119
+ "step": 2680
2120
+ },
2121
+ {
2122
+ "epoch": 2.29,
2123
+ "grad_norm": 0.0024161450564861298,
2124
+ "learning_rate": 8.537936913895993e-05,
2125
+ "loss": 0.0003,
2126
+ "step": 2690
2127
+ },
2128
+ {
2129
+ "epoch": 2.3,
2130
+ "grad_norm": 0.001016319845803082,
2131
+ "learning_rate": 8.495311167945439e-05,
2132
+ "loss": 0.0093,
2133
+ "step": 2700
2134
+ },
2135
+ {
2136
+ "epoch": 2.3,
2137
+ "eval_accuracy": 0.9809782608695652,
2138
+ "eval_loss": 0.07539312541484833,
2139
+ "eval_runtime": 35.2074,
2140
+ "eval_samples_per_second": 20.905,
2141
+ "eval_steps_per_second": 2.613,
2142
+ "step": 2700
2143
+ },
2144
+ {
2145
+ "epoch": 2.31,
2146
+ "grad_norm": 0.0037928090896457434,
2147
+ "learning_rate": 8.452685421994884e-05,
2148
+ "loss": 0.0077,
2149
+ "step": 2710
2150
+ },
2151
+ {
2152
+ "epoch": 2.32,
2153
+ "grad_norm": 0.00291675073094666,
2154
+ "learning_rate": 8.41005967604433e-05,
2155
+ "loss": 0.0006,
2156
+ "step": 2720
2157
+ },
2158
+ {
2159
+ "epoch": 2.33,
2160
+ "grad_norm": 0.0031472251284867525,
2161
+ "learning_rate": 8.367433930093777e-05,
2162
+ "loss": 0.0058,
2163
+ "step": 2730
2164
+ },
2165
+ {
2166
+ "epoch": 2.34,
2167
+ "grad_norm": 0.0069138044491410255,
2168
+ "learning_rate": 8.324808184143222e-05,
2169
+ "loss": 0.0029,
2170
+ "step": 2740
2171
+ },
2172
+ {
2173
+ "epoch": 2.34,
2174
+ "grad_norm": 0.0014087699819356203,
2175
+ "learning_rate": 8.282182438192668e-05,
2176
+ "loss": 0.0001,
2177
+ "step": 2750
2178
+ },
2179
+ {
2180
+ "epoch": 2.35,
2181
+ "grad_norm": 0.012645886279642582,
2182
+ "learning_rate": 8.239556692242114e-05,
2183
+ "loss": 0.0001,
2184
+ "step": 2760
2185
+ },
2186
+ {
2187
+ "epoch": 2.36,
2188
+ "grad_norm": 0.6107314825057983,
2189
+ "learning_rate": 8.19693094629156e-05,
2190
+ "loss": 0.0083,
2191
+ "step": 2770
2192
+ },
2193
+ {
2194
+ "epoch": 2.37,
2195
+ "grad_norm": 0.0020549651235342026,
2196
+ "learning_rate": 8.154305200341006e-05,
2197
+ "loss": 0.0002,
2198
+ "step": 2780
2199
+ },
2200
+ {
2201
+ "epoch": 2.38,
2202
+ "grad_norm": 0.004861908033490181,
2203
+ "learning_rate": 8.111679454390452e-05,
2204
+ "loss": 0.0005,
2205
+ "step": 2790
2206
+ },
2207
+ {
2208
+ "epoch": 2.39,
2209
+ "grad_norm": 0.0013458251487463713,
2210
+ "learning_rate": 8.069053708439897e-05,
2211
+ "loss": 0.0008,
2212
+ "step": 2800
2213
+ },
2214
+ {
2215
+ "epoch": 2.39,
2216
+ "eval_accuracy": 0.9782608695652174,
2217
+ "eval_loss": 0.07996727526187897,
2218
+ "eval_runtime": 35.2832,
2219
+ "eval_samples_per_second": 20.86,
2220
+ "eval_steps_per_second": 2.607,
2221
+ "step": 2800
2222
+ },
2223
+ {
2224
+ "epoch": 2.4,
2225
+ "grad_norm": 0.29993894696235657,
2226
+ "learning_rate": 8.026427962489343e-05,
2227
+ "loss": 0.0022,
2228
+ "step": 2810
2229
+ },
2230
+ {
2231
+ "epoch": 2.4,
2232
+ "grad_norm": 0.0008898138767108321,
2233
+ "learning_rate": 7.98380221653879e-05,
2234
+ "loss": 0.0007,
2235
+ "step": 2820
2236
+ },
2237
+ {
2238
+ "epoch": 2.41,
2239
+ "grad_norm": 0.006979215890169144,
2240
+ "learning_rate": 7.941176470588235e-05,
2241
+ "loss": 0.0281,
2242
+ "step": 2830
2243
+ },
2244
+ {
2245
+ "epoch": 2.42,
2246
+ "grad_norm": 0.002796901622787118,
2247
+ "learning_rate": 7.898550724637681e-05,
2248
+ "loss": 0.001,
2249
+ "step": 2840
2250
+ },
2251
+ {
2252
+ "epoch": 2.43,
2253
+ "grad_norm": 0.003984102047979832,
2254
+ "learning_rate": 7.855924978687127e-05,
2255
+ "loss": 0.0007,
2256
+ "step": 2850
2257
+ },
2258
+ {
2259
+ "epoch": 2.44,
2260
+ "grad_norm": 0.003083733143284917,
2261
+ "learning_rate": 7.813299232736572e-05,
2262
+ "loss": 0.0671,
2263
+ "step": 2860
2264
+ },
2265
+ {
2266
+ "epoch": 2.45,
2267
+ "grad_norm": 0.012969084084033966,
2268
+ "learning_rate": 7.770673486786019e-05,
2269
+ "loss": 0.0006,
2270
+ "step": 2870
2271
+ },
2272
+ {
2273
+ "epoch": 2.46,
2274
+ "grad_norm": 0.006222143769264221,
2275
+ "learning_rate": 7.728047740835465e-05,
2276
+ "loss": 0.0006,
2277
+ "step": 2880
2278
+ },
2279
+ {
2280
+ "epoch": 2.46,
2281
+ "grad_norm": 0.009051816537976265,
2282
+ "learning_rate": 7.68542199488491e-05,
2283
+ "loss": 0.0002,
2284
+ "step": 2890
2285
+ },
2286
+ {
2287
+ "epoch": 2.47,
2288
+ "grad_norm": 0.004602865315973759,
2289
+ "learning_rate": 7.642796248934356e-05,
2290
+ "loss": 0.0003,
2291
+ "step": 2900
2292
+ },
2293
+ {
2294
+ "epoch": 2.47,
2295
+ "eval_accuracy": 0.9864130434782609,
2296
+ "eval_loss": 0.061688102781772614,
2297
+ "eval_runtime": 35.7898,
2298
+ "eval_samples_per_second": 20.565,
2299
+ "eval_steps_per_second": 2.571,
2300
+ "step": 2900
2301
+ },
2302
+ {
2303
+ "epoch": 2.48,
2304
+ "grad_norm": 0.0007365304627455771,
2305
+ "learning_rate": 7.600170502983802e-05,
2306
+ "loss": 0.0002,
2307
+ "step": 2910
2308
+ },
2309
+ {
2310
+ "epoch": 2.49,
2311
+ "grad_norm": 0.0011029945453628898,
2312
+ "learning_rate": 7.557544757033247e-05,
2313
+ "loss": 0.0001,
2314
+ "step": 2920
2315
+ },
2316
+ {
2317
+ "epoch": 2.5,
2318
+ "grad_norm": 0.001565741142258048,
2319
+ "learning_rate": 7.514919011082694e-05,
2320
+ "loss": 0.0002,
2321
+ "step": 2930
2322
+ },
2323
+ {
2324
+ "epoch": 2.51,
2325
+ "grad_norm": 0.0006651618168689311,
2326
+ "learning_rate": 7.47229326513214e-05,
2327
+ "loss": 0.0001,
2328
+ "step": 2940
2329
+ },
2330
+ {
2331
+ "epoch": 2.51,
2332
+ "grad_norm": 0.000838673091493547,
2333
+ "learning_rate": 7.429667519181585e-05,
2334
+ "loss": 0.0002,
2335
+ "step": 2950
2336
+ },
2337
+ {
2338
+ "epoch": 2.52,
2339
+ "grad_norm": 0.000473020103527233,
2340
+ "learning_rate": 7.387041773231031e-05,
2341
+ "loss": 0.0001,
2342
+ "step": 2960
2343
+ },
2344
+ {
2345
+ "epoch": 2.53,
2346
+ "grad_norm": 0.004068770445883274,
2347
+ "learning_rate": 7.344416027280478e-05,
2348
+ "loss": 0.0032,
2349
+ "step": 2970
2350
+ },
2351
+ {
2352
+ "epoch": 2.54,
2353
+ "grad_norm": 0.0008245965582318604,
2354
+ "learning_rate": 7.301790281329923e-05,
2355
+ "loss": 0.0342,
2356
+ "step": 2980
2357
+ },
2358
+ {
2359
+ "epoch": 2.55,
2360
+ "grad_norm": 0.004487219266593456,
2361
+ "learning_rate": 7.259164535379369e-05,
2362
+ "loss": 0.0001,
2363
+ "step": 2990
2364
+ },
2365
+ {
2366
+ "epoch": 2.56,
2367
+ "grad_norm": 0.002347569912672043,
2368
+ "learning_rate": 7.216538789428815e-05,
2369
+ "loss": 0.0094,
2370
+ "step": 3000
2371
+ },
2372
+ {
2373
+ "epoch": 2.56,
2374
+ "eval_accuracy": 0.9836956521739131,
2375
+ "eval_loss": 0.07361293584108353,
2376
+ "eval_runtime": 36.0399,
2377
+ "eval_samples_per_second": 20.422,
2378
+ "eval_steps_per_second": 2.553,
2379
+ "step": 3000
2380
+ },
2381
+ {
2382
+ "epoch": 2.57,
2383
+ "grad_norm": 0.06282170116901398,
2384
+ "learning_rate": 7.17391304347826e-05,
2385
+ "loss": 0.0002,
2386
+ "step": 3010
2387
+ },
2388
+ {
2389
+ "epoch": 2.57,
2390
+ "grad_norm": 0.0016825624043121934,
2391
+ "learning_rate": 7.131287297527707e-05,
2392
+ "loss": 0.0012,
2393
+ "step": 3020
2394
+ },
2395
+ {
2396
+ "epoch": 2.58,
2397
+ "grad_norm": 0.0015001163119450212,
2398
+ "learning_rate": 7.088661551577153e-05,
2399
+ "loss": 0.0001,
2400
+ "step": 3030
2401
+ },
2402
+ {
2403
+ "epoch": 2.59,
2404
+ "grad_norm": 0.0014401893131434917,
2405
+ "learning_rate": 7.046035805626598e-05,
2406
+ "loss": 0.0003,
2407
+ "step": 3040
2408
+ },
2409
+ {
2410
+ "epoch": 2.6,
2411
+ "grad_norm": 0.0009955812711268663,
2412
+ "learning_rate": 7.003410059676044e-05,
2413
+ "loss": 0.0002,
2414
+ "step": 3050
2415
+ },
2416
+ {
2417
+ "epoch": 2.61,
2418
+ "grad_norm": 0.02410055138170719,
2419
+ "learning_rate": 6.96078431372549e-05,
2420
+ "loss": 0.0008,
2421
+ "step": 3060
2422
+ },
2423
+ {
2424
+ "epoch": 2.62,
2425
+ "grad_norm": 0.0009745031129568815,
2426
+ "learning_rate": 6.918158567774935e-05,
2427
+ "loss": 0.0001,
2428
+ "step": 3070
2429
+ },
2430
+ {
2431
+ "epoch": 2.63,
2432
+ "grad_norm": 0.002661016071215272,
2433
+ "learning_rate": 6.875532821824382e-05,
2434
+ "loss": 0.0003,
2435
+ "step": 3080
2436
+ },
2437
+ {
2438
+ "epoch": 2.63,
2439
+ "grad_norm": 0.003044945653527975,
2440
+ "learning_rate": 6.832907075873828e-05,
2441
+ "loss": 0.0692,
2442
+ "step": 3090
2443
+ },
2444
+ {
2445
+ "epoch": 2.64,
2446
+ "grad_norm": 0.002494238084182143,
2447
+ "learning_rate": 6.790281329923273e-05,
2448
+ "loss": 0.0001,
2449
+ "step": 3100
2450
+ },
2451
+ {
2452
+ "epoch": 2.64,
2453
+ "eval_accuracy": 0.9823369565217391,
2454
+ "eval_loss": 0.053765375167131424,
2455
+ "eval_runtime": 35.5909,
2456
+ "eval_samples_per_second": 20.679,
2457
+ "eval_steps_per_second": 2.585,
2458
+ "step": 3100
2459
+ },
2460
+ {
2461
+ "epoch": 2.65,
2462
+ "grad_norm": 0.0018610358238220215,
2463
+ "learning_rate": 6.74765558397272e-05,
2464
+ "loss": 0.0004,
2465
+ "step": 3110
2466
+ },
2467
+ {
2468
+ "epoch": 2.66,
2469
+ "grad_norm": 0.0060824137181043625,
2470
+ "learning_rate": 6.705029838022166e-05,
2471
+ "loss": 0.0001,
2472
+ "step": 3120
2473
+ },
2474
+ {
2475
+ "epoch": 2.67,
2476
+ "grad_norm": 0.0031146130058914423,
2477
+ "learning_rate": 6.66240409207161e-05,
2478
+ "loss": 0.0001,
2479
+ "step": 3130
2480
+ },
2481
+ {
2482
+ "epoch": 2.68,
2483
+ "grad_norm": 0.0006994738942012191,
2484
+ "learning_rate": 6.619778346121057e-05,
2485
+ "loss": 0.0029,
2486
+ "step": 3140
2487
+ },
2488
+ {
2489
+ "epoch": 2.69,
2490
+ "grad_norm": 0.0014639056753367186,
2491
+ "learning_rate": 6.577152600170503e-05,
2492
+ "loss": 0.0001,
2493
+ "step": 3150
2494
+ },
2495
+ {
2496
+ "epoch": 2.69,
2497
+ "grad_norm": 0.012882738374173641,
2498
+ "learning_rate": 6.534526854219948e-05,
2499
+ "loss": 0.0001,
2500
+ "step": 3160
2501
+ },
2502
+ {
2503
+ "epoch": 2.7,
2504
+ "grad_norm": 0.0028791027143597603,
2505
+ "learning_rate": 6.491901108269395e-05,
2506
+ "loss": 0.0001,
2507
+ "step": 3170
2508
+ },
2509
+ {
2510
+ "epoch": 2.71,
2511
+ "grad_norm": 0.000892713142093271,
2512
+ "learning_rate": 6.449275362318841e-05,
2513
+ "loss": 0.0297,
2514
+ "step": 3180
2515
+ },
2516
+ {
2517
+ "epoch": 2.72,
2518
+ "grad_norm": 0.001191814080812037,
2519
+ "learning_rate": 6.406649616368286e-05,
2520
+ "loss": 0.0002,
2521
+ "step": 3190
2522
+ },
2523
+ {
2524
+ "epoch": 2.73,
2525
+ "grad_norm": 0.0021157979499548674,
2526
+ "learning_rate": 6.364023870417732e-05,
2527
+ "loss": 0.001,
2528
+ "step": 3200
2529
+ },
2530
+ {
2531
+ "epoch": 2.73,
2532
+ "eval_accuracy": 0.9877717391304348,
2533
+ "eval_loss": 0.06063992902636528,
2534
+ "eval_runtime": 35.6699,
2535
+ "eval_samples_per_second": 20.634,
2536
+ "eval_steps_per_second": 2.579,
2537
+ "step": 3200
2538
+ },
2539
+ {
2540
+ "epoch": 2.74,
2541
+ "grad_norm": 0.0007219274411909282,
2542
+ "learning_rate": 6.321398124467179e-05,
2543
+ "loss": 0.0008,
2544
+ "step": 3210
2545
+ },
2546
+ {
2547
+ "epoch": 2.75,
2548
+ "grad_norm": 0.0005430682795122266,
2549
+ "learning_rate": 6.278772378516623e-05,
2550
+ "loss": 0.0001,
2551
+ "step": 3220
2552
+ },
2553
+ {
2554
+ "epoch": 2.75,
2555
+ "grad_norm": 0.0037848646752536297,
2556
+ "learning_rate": 6.23614663256607e-05,
2557
+ "loss": 0.0002,
2558
+ "step": 3230
2559
+ },
2560
+ {
2561
+ "epoch": 2.76,
2562
+ "grad_norm": 0.0025371257215738297,
2563
+ "learning_rate": 6.193520886615516e-05,
2564
+ "loss": 0.0383,
2565
+ "step": 3240
2566
+ },
2567
+ {
2568
+ "epoch": 2.77,
2569
+ "grad_norm": 0.0009226408437825739,
2570
+ "learning_rate": 6.150895140664961e-05,
2571
+ "loss": 0.0037,
2572
+ "step": 3250
2573
+ },
2574
+ {
2575
+ "epoch": 2.78,
2576
+ "grad_norm": 0.00079467793693766,
2577
+ "learning_rate": 6.108269394714407e-05,
2578
+ "loss": 0.0001,
2579
+ "step": 3260
2580
+ },
2581
+ {
2582
+ "epoch": 2.79,
2583
+ "grad_norm": 0.007261179853230715,
2584
+ "learning_rate": 6.065643648763854e-05,
2585
+ "loss": 0.0047,
2586
+ "step": 3270
2587
+ },
2588
+ {
2589
+ "epoch": 2.8,
2590
+ "grad_norm": 0.0018952098907902837,
2591
+ "learning_rate": 6.0230179028132994e-05,
2592
+ "loss": 0.0002,
2593
+ "step": 3280
2594
+ },
2595
+ {
2596
+ "epoch": 2.8,
2597
+ "grad_norm": 0.0014908647863194346,
2598
+ "learning_rate": 5.980392156862745e-05,
2599
+ "loss": 0.0002,
2600
+ "step": 3290
2601
+ },
2602
+ {
2603
+ "epoch": 2.81,
2604
+ "grad_norm": 0.0011345170205458999,
2605
+ "learning_rate": 5.9377664109121913e-05,
2606
+ "loss": 0.0001,
2607
+ "step": 3300
2608
+ },
2609
+ {
2610
+ "epoch": 2.81,
2611
+ "eval_accuracy": 0.9864130434782609,
2612
+ "eval_loss": 0.043328747153282166,
2613
+ "eval_runtime": 35.0865,
2614
+ "eval_samples_per_second": 20.977,
2615
+ "eval_steps_per_second": 2.622,
2616
+ "step": 3300
2617
+ },
2618
+ {
2619
+ "epoch": 2.82,
2620
+ "grad_norm": 0.0026633902452886105,
2621
+ "learning_rate": 5.895140664961637e-05,
2622
+ "loss": 0.0001,
2623
+ "step": 3310
2624
+ },
2625
+ {
2626
+ "epoch": 2.83,
2627
+ "grad_norm": 0.0006624997477047145,
2628
+ "learning_rate": 5.8525149190110826e-05,
2629
+ "loss": 0.0003,
2630
+ "step": 3320
2631
+ },
2632
+ {
2633
+ "epoch": 2.84,
2634
+ "grad_norm": 0.0008892026962712407,
2635
+ "learning_rate": 5.809889173060529e-05,
2636
+ "loss": 0.0001,
2637
+ "step": 3330
2638
+ },
2639
+ {
2640
+ "epoch": 2.85,
2641
+ "grad_norm": 0.00067310401936993,
2642
+ "learning_rate": 5.7672634271099746e-05,
2643
+ "loss": 0.0001,
2644
+ "step": 3340
2645
+ },
2646
+ {
2647
+ "epoch": 2.86,
2648
+ "grad_norm": 0.0005306313978508115,
2649
+ "learning_rate": 5.72463768115942e-05,
2650
+ "loss": 0.0001,
2651
+ "step": 3350
2652
+ },
2653
+ {
2654
+ "epoch": 2.86,
2655
+ "grad_norm": 0.004409481305629015,
2656
+ "learning_rate": 5.6820119352088666e-05,
2657
+ "loss": 0.0003,
2658
+ "step": 3360
2659
+ },
2660
+ {
2661
+ "epoch": 2.87,
2662
+ "grad_norm": 0.005924859084188938,
2663
+ "learning_rate": 5.639386189258312e-05,
2664
+ "loss": 0.0007,
2665
+ "step": 3370
2666
+ },
2667
+ {
2668
+ "epoch": 2.88,
2669
+ "grad_norm": 0.00349413906224072,
2670
+ "learning_rate": 5.596760443307758e-05,
2671
+ "loss": 0.0003,
2672
+ "step": 3380
2673
+ },
2674
+ {
2675
+ "epoch": 2.89,
2676
+ "grad_norm": 0.008677713572978973,
2677
+ "learning_rate": 5.554134697357204e-05,
2678
+ "loss": 0.0001,
2679
+ "step": 3390
2680
+ },
2681
+ {
2682
+ "epoch": 2.9,
2683
+ "grad_norm": 0.0008297800086438656,
2684
+ "learning_rate": 5.51150895140665e-05,
2685
+ "loss": 0.0001,
2686
+ "step": 3400
2687
+ },
2688
+ {
2689
+ "epoch": 2.9,
2690
+ "eval_accuracy": 0.9823369565217391,
2691
+ "eval_loss": 0.0582539401948452,
2692
+ "eval_runtime": 35.7734,
2693
+ "eval_samples_per_second": 20.574,
2694
+ "eval_steps_per_second": 2.572,
2695
+ "step": 3400
2696
+ },
2697
+ {
2698
+ "epoch": 2.91,
2699
+ "grad_norm": 0.0011900962563231587,
2700
+ "learning_rate": 5.4688832054560955e-05,
2701
+ "loss": 0.0001,
2702
+ "step": 3410
2703
+ },
2704
+ {
2705
+ "epoch": 2.92,
2706
+ "grad_norm": 0.0012697293423116207,
2707
+ "learning_rate": 5.426257459505542e-05,
2708
+ "loss": 0.0001,
2709
+ "step": 3420
2710
+ },
2711
+ {
2712
+ "epoch": 2.92,
2713
+ "grad_norm": 0.0008308067917823792,
2714
+ "learning_rate": 5.3836317135549874e-05,
2715
+ "loss": 0.0004,
2716
+ "step": 3430
2717
+ },
2718
+ {
2719
+ "epoch": 2.93,
2720
+ "grad_norm": 0.00043416779953986406,
2721
+ "learning_rate": 5.341005967604433e-05,
2722
+ "loss": 0.0001,
2723
+ "step": 3440
2724
+ },
2725
+ {
2726
+ "epoch": 2.94,
2727
+ "grad_norm": 0.0007626230362802744,
2728
+ "learning_rate": 5.2983802216538794e-05,
2729
+ "loss": 0.0002,
2730
+ "step": 3450
2731
+ },
2732
+ {
2733
+ "epoch": 2.95,
2734
+ "grad_norm": 0.00042898516403511167,
2735
+ "learning_rate": 5.255754475703325e-05,
2736
+ "loss": 0.0002,
2737
+ "step": 3460
2738
+ },
2739
+ {
2740
+ "epoch": 2.96,
2741
+ "grad_norm": 0.006079140119254589,
2742
+ "learning_rate": 5.213128729752771e-05,
2743
+ "loss": 0.0001,
2744
+ "step": 3470
2745
+ },
2746
+ {
2747
+ "epoch": 2.97,
2748
+ "grad_norm": 0.0007620278629474342,
2749
+ "learning_rate": 5.170502983802217e-05,
2750
+ "loss": 0.0001,
2751
+ "step": 3480
2752
+ },
2753
+ {
2754
+ "epoch": 2.98,
2755
+ "grad_norm": 0.007883735932409763,
2756
+ "learning_rate": 5.1278772378516626e-05,
2757
+ "loss": 0.0001,
2758
+ "step": 3490
2759
+ },
2760
+ {
2761
+ "epoch": 2.98,
2762
+ "grad_norm": 0.002050349023193121,
2763
+ "learning_rate": 5.085251491901108e-05,
2764
+ "loss": 0.0001,
2765
+ "step": 3500
2766
+ },
2767
+ {
2768
+ "epoch": 2.98,
2769
+ "eval_accuracy": 0.9904891304347826,
2770
+ "eval_loss": 0.03878939896821976,
2771
+ "eval_runtime": 35.9666,
2772
+ "eval_samples_per_second": 20.463,
2773
+ "eval_steps_per_second": 2.558,
2774
+ "step": 3500
2775
+ },
2776
+ {
2777
+ "epoch": 2.99,
2778
+ "grad_norm": 0.006061529275029898,
2779
+ "learning_rate": 5.0426257459505546e-05,
2780
+ "loss": 0.0001,
2781
+ "step": 3510
2782
+ },
2783
+ {
2784
+ "epoch": 3.0,
2785
+ "grad_norm": 0.0008097901591099799,
2786
+ "learning_rate": 5e-05,
2787
+ "loss": 0.0001,
2788
+ "step": 3520
2789
+ },
2790
+ {
2791
+ "epoch": 3.01,
2792
+ "grad_norm": 0.0005056671216152608,
2793
+ "learning_rate": 4.957374254049446e-05,
2794
+ "loss": 0.0001,
2795
+ "step": 3530
2796
+ },
2797
+ {
2798
+ "epoch": 3.02,
2799
+ "grad_norm": 0.006060776766389608,
2800
+ "learning_rate": 4.914748508098892e-05,
2801
+ "loss": 0.0001,
2802
+ "step": 3540
2803
+ },
2804
+ {
2805
+ "epoch": 3.03,
2806
+ "grad_norm": 0.0008045104332268238,
2807
+ "learning_rate": 4.872122762148338e-05,
2808
+ "loss": 0.0001,
2809
+ "step": 3550
2810
+ },
2811
+ {
2812
+ "epoch": 3.03,
2813
+ "grad_norm": 0.0011429821606725454,
2814
+ "learning_rate": 4.8294970161977835e-05,
2815
+ "loss": 0.0001,
2816
+ "step": 3560
2817
+ },
2818
+ {
2819
+ "epoch": 3.04,
2820
+ "grad_norm": 0.0007523238891735673,
2821
+ "learning_rate": 4.78687127024723e-05,
2822
+ "loss": 0.0729,
2823
+ "step": 3570
2824
+ },
2825
+ {
2826
+ "epoch": 3.05,
2827
+ "grad_norm": 0.0028867837972939014,
2828
+ "learning_rate": 4.7442455242966755e-05,
2829
+ "loss": 0.0154,
2830
+ "step": 3580
2831
+ },
2832
+ {
2833
+ "epoch": 3.06,
2834
+ "grad_norm": 0.0009987674420699477,
2835
+ "learning_rate": 4.701619778346121e-05,
2836
+ "loss": 0.0001,
2837
+ "step": 3590
2838
+ },
2839
+ {
2840
+ "epoch": 3.07,
2841
+ "grad_norm": 0.0007740564760752022,
2842
+ "learning_rate": 4.6589940323955674e-05,
2843
+ "loss": 0.0001,
2844
+ "step": 3600
2845
+ },
2846
+ {
2847
+ "epoch": 3.07,
2848
+ "eval_accuracy": 0.9891304347826086,
2849
+ "eval_loss": 0.04076423496007919,
2850
+ "eval_runtime": 35.421,
2851
+ "eval_samples_per_second": 20.779,
2852
+ "eval_steps_per_second": 2.597,
2853
+ "step": 3600
2854
+ },
2855
+ {
2856
+ "epoch": 3.08,
2857
+ "grad_norm": 0.0016550541622564197,
2858
+ "learning_rate": 4.616368286445013e-05,
2859
+ "loss": 0.0001,
2860
+ "step": 3610
2861
+ },
2862
+ {
2863
+ "epoch": 3.09,
2864
+ "grad_norm": 0.0007590887253172696,
2865
+ "learning_rate": 4.573742540494459e-05,
2866
+ "loss": 0.0001,
2867
+ "step": 3620
2868
+ },
2869
+ {
2870
+ "epoch": 3.09,
2871
+ "grad_norm": 0.00034116365713998675,
2872
+ "learning_rate": 4.531116794543905e-05,
2873
+ "loss": 0.0001,
2874
+ "step": 3630
2875
+ },
2876
+ {
2877
+ "epoch": 3.1,
2878
+ "grad_norm": 0.0012234909227117896,
2879
+ "learning_rate": 4.488491048593351e-05,
2880
+ "loss": 0.0001,
2881
+ "step": 3640
2882
+ },
2883
+ {
2884
+ "epoch": 3.11,
2885
+ "grad_norm": 0.00045663033961318433,
2886
+ "learning_rate": 4.445865302642796e-05,
2887
+ "loss": 0.0001,
2888
+ "step": 3650
2889
+ },
2890
+ {
2891
+ "epoch": 3.12,
2892
+ "grad_norm": 0.0010367368813604116,
2893
+ "learning_rate": 4.4032395566922426e-05,
2894
+ "loss": 0.0001,
2895
+ "step": 3660
2896
+ },
2897
+ {
2898
+ "epoch": 3.13,
2899
+ "grad_norm": 0.0013374440604820848,
2900
+ "learning_rate": 4.360613810741688e-05,
2901
+ "loss": 0.0001,
2902
+ "step": 3670
2903
+ },
2904
+ {
2905
+ "epoch": 3.14,
2906
+ "grad_norm": 0.0006071662064641714,
2907
+ "learning_rate": 4.317988064791134e-05,
2908
+ "loss": 0.0001,
2909
+ "step": 3680
2910
+ },
2911
+ {
2912
+ "epoch": 3.15,
2913
+ "grad_norm": 0.000419705145759508,
2914
+ "learning_rate": 4.27536231884058e-05,
2915
+ "loss": 0.0001,
2916
+ "step": 3690
2917
+ },
2918
+ {
2919
+ "epoch": 3.15,
2920
+ "grad_norm": 0.000592475407756865,
2921
+ "learning_rate": 4.232736572890026e-05,
2922
+ "loss": 0.0001,
2923
+ "step": 3700
2924
+ },
2925
+ {
2926
+ "epoch": 3.15,
2927
+ "eval_accuracy": 0.9891304347826086,
2928
+ "eval_loss": 0.03751834109425545,
2929
+ "eval_runtime": 35.5175,
2930
+ "eval_samples_per_second": 20.722,
2931
+ "eval_steps_per_second": 2.59,
2932
+ "step": 3700
2933
+ },
2934
+ {
2935
+ "epoch": 3.16,
2936
+ "grad_norm": 0.00161035917699337,
2937
+ "learning_rate": 4.1901108269394715e-05,
2938
+ "loss": 0.0001,
2939
+ "step": 3710
2940
+ },
2941
+ {
2942
+ "epoch": 3.17,
2943
+ "grad_norm": 0.0007734562386758626,
2944
+ "learning_rate": 4.147485080988918e-05,
2945
+ "loss": 0.0001,
2946
+ "step": 3720
2947
+ },
2948
+ {
2949
+ "epoch": 3.18,
2950
+ "grad_norm": 0.00071456388104707,
2951
+ "learning_rate": 4.1048593350383635e-05,
2952
+ "loss": 0.0001,
2953
+ "step": 3730
2954
+ },
2955
+ {
2956
+ "epoch": 3.19,
2957
+ "grad_norm": 0.004727986175566912,
2958
+ "learning_rate": 4.062233589087809e-05,
2959
+ "loss": 0.0001,
2960
+ "step": 3740
2961
+ },
2962
+ {
2963
+ "epoch": 3.2,
2964
+ "grad_norm": 0.0005515944212675095,
2965
+ "learning_rate": 4.0196078431372555e-05,
2966
+ "loss": 0.0001,
2967
+ "step": 3750
2968
+ },
2969
+ {
2970
+ "epoch": 3.21,
2971
+ "grad_norm": 0.0006984106148593128,
2972
+ "learning_rate": 3.976982097186701e-05,
2973
+ "loss": 0.0003,
2974
+ "step": 3760
2975
+ },
2976
+ {
2977
+ "epoch": 3.21,
2978
+ "grad_norm": 0.0034689533058553934,
2979
+ "learning_rate": 3.934356351236147e-05,
2980
+ "loss": 0.0001,
2981
+ "step": 3770
2982
+ },
2983
+ {
2984
+ "epoch": 3.22,
2985
+ "grad_norm": 0.00037349184276536107,
2986
+ "learning_rate": 3.891730605285593e-05,
2987
+ "loss": 0.0001,
2988
+ "step": 3780
2989
+ },
2990
+ {
2991
+ "epoch": 3.23,
2992
+ "grad_norm": 0.00039833749178797007,
2993
+ "learning_rate": 3.849104859335039e-05,
2994
+ "loss": 0.0001,
2995
+ "step": 3790
2996
+ },
2997
+ {
2998
+ "epoch": 3.24,
2999
+ "grad_norm": 0.0005233868723735213,
3000
+ "learning_rate": 3.8064791133844843e-05,
3001
+ "loss": 0.0001,
3002
+ "step": 3800
3003
+ },
3004
+ {
3005
+ "epoch": 3.24,
3006
+ "eval_accuracy": 0.9877717391304348,
3007
+ "eval_loss": 0.03672608733177185,
3008
+ "eval_runtime": 35.3409,
3009
+ "eval_samples_per_second": 20.826,
3010
+ "eval_steps_per_second": 2.603,
3011
+ "step": 3800
3012
+ },
3013
+ {
3014
+ "epoch": 3.25,
3015
+ "grad_norm": 0.00233672559261322,
3016
+ "learning_rate": 3.763853367433931e-05,
3017
+ "loss": 0.0001,
3018
+ "step": 3810
3019
+ },
3020
+ {
3021
+ "epoch": 3.26,
3022
+ "grad_norm": 0.0006057602004148066,
3023
+ "learning_rate": 3.721227621483376e-05,
3024
+ "loss": 0.0001,
3025
+ "step": 3820
3026
+ },
3027
+ {
3028
+ "epoch": 3.27,
3029
+ "grad_norm": 0.0012565916404128075,
3030
+ "learning_rate": 3.678601875532822e-05,
3031
+ "loss": 0.0001,
3032
+ "step": 3830
3033
+ },
3034
+ {
3035
+ "epoch": 3.27,
3036
+ "grad_norm": 0.0007620604010298848,
3037
+ "learning_rate": 3.635976129582268e-05,
3038
+ "loss": 0.0001,
3039
+ "step": 3840
3040
+ },
3041
+ {
3042
+ "epoch": 3.28,
3043
+ "grad_norm": 0.001355510437861085,
3044
+ "learning_rate": 3.593350383631714e-05,
3045
+ "loss": 0.0001,
3046
+ "step": 3850
3047
+ },
3048
+ {
3049
+ "epoch": 3.29,
3050
+ "grad_norm": 0.0006817120010964572,
3051
+ "learning_rate": 3.5507246376811596e-05,
3052
+ "loss": 0.0003,
3053
+ "step": 3860
3054
+ },
3055
+ {
3056
+ "epoch": 3.3,
3057
+ "grad_norm": 0.0036707494873553514,
3058
+ "learning_rate": 3.508098891730606e-05,
3059
+ "loss": 0.0001,
3060
+ "step": 3870
3061
+ },
3062
+ {
3063
+ "epoch": 3.31,
3064
+ "grad_norm": 0.0004486854304559529,
3065
+ "learning_rate": 3.4654731457800515e-05,
3066
+ "loss": 0.0001,
3067
+ "step": 3880
3068
+ },
3069
+ {
3070
+ "epoch": 3.32,
3071
+ "grad_norm": 0.0047525763511657715,
3072
+ "learning_rate": 3.422847399829497e-05,
3073
+ "loss": 0.0001,
3074
+ "step": 3890
3075
+ },
3076
+ {
3077
+ "epoch": 3.32,
3078
+ "grad_norm": 0.00044202787103131413,
3079
+ "learning_rate": 3.3802216538789435e-05,
3080
+ "loss": 0.0001,
3081
+ "step": 3900
3082
+ },
3083
+ {
3084
+ "epoch": 3.32,
3085
+ "eval_accuracy": 0.9877717391304348,
3086
+ "eval_loss": 0.03553692623972893,
3087
+ "eval_runtime": 35.3339,
3088
+ "eval_samples_per_second": 20.83,
3089
+ "eval_steps_per_second": 2.604,
3090
+ "step": 3900
3091
+ },
3092
+ {
3093
+ "epoch": 3.33,
3094
+ "grad_norm": 0.0005708124954253435,
3095
+ "learning_rate": 3.337595907928389e-05,
3096
+ "loss": 0.0001,
3097
+ "step": 3910
3098
+ },
3099
+ {
3100
+ "epoch": 3.34,
3101
+ "grad_norm": 0.0008867123397067189,
3102
+ "learning_rate": 3.294970161977835e-05,
3103
+ "loss": 0.0009,
3104
+ "step": 3920
3105
+ },
3106
+ {
3107
+ "epoch": 3.35,
3108
+ "grad_norm": 0.0006551162805408239,
3109
+ "learning_rate": 3.252344416027281e-05,
3110
+ "loss": 0.0001,
3111
+ "step": 3930
3112
+ },
3113
+ {
3114
+ "epoch": 3.36,
3115
+ "grad_norm": 0.0011884266277775168,
3116
+ "learning_rate": 3.209718670076726e-05,
3117
+ "loss": 0.0622,
3118
+ "step": 3940
3119
+ },
3120
+ {
3121
+ "epoch": 3.37,
3122
+ "grad_norm": 0.0007145259296521544,
3123
+ "learning_rate": 3.1670929241261724e-05,
3124
+ "loss": 0.0002,
3125
+ "step": 3950
3126
+ },
3127
+ {
3128
+ "epoch": 3.38,
3129
+ "grad_norm": 0.0006628567352890968,
3130
+ "learning_rate": 3.124467178175618e-05,
3131
+ "loss": 0.0001,
3132
+ "step": 3960
3133
+ },
3134
+ {
3135
+ "epoch": 3.38,
3136
+ "grad_norm": 0.0005057456437498331,
3137
+ "learning_rate": 3.081841432225064e-05,
3138
+ "loss": 0.0001,
3139
+ "step": 3970
3140
+ },
3141
+ {
3142
+ "epoch": 3.39,
3143
+ "grad_norm": 0.0027303395327180624,
3144
+ "learning_rate": 3.0392156862745097e-05,
3145
+ "loss": 0.0001,
3146
+ "step": 3980
3147
+ },
3148
+ {
3149
+ "epoch": 3.4,
3150
+ "grad_norm": 0.002173346932977438,
3151
+ "learning_rate": 2.9965899403239556e-05,
3152
+ "loss": 0.0001,
3153
+ "step": 3990
3154
+ },
3155
+ {
3156
+ "epoch": 3.41,
3157
+ "grad_norm": 0.001203179475851357,
3158
+ "learning_rate": 2.9539641943734013e-05,
3159
+ "loss": 0.0001,
3160
+ "step": 4000
3161
+ },
3162
+ {
3163
+ "epoch": 3.41,
3164
+ "eval_accuracy": 0.9877717391304348,
3165
+ "eval_loss": 0.03951473906636238,
3166
+ "eval_runtime": 35.1959,
3167
+ "eval_samples_per_second": 20.912,
3168
+ "eval_steps_per_second": 2.614,
3169
+ "step": 4000
3170
+ },
3171
+ {
3172
+ "epoch": 3.42,
3173
+ "grad_norm": 0.0011582368751987815,
3174
+ "learning_rate": 2.9113384484228473e-05,
3175
+ "loss": 0.0001,
3176
+ "step": 4010
3177
+ },
3178
+ {
3179
+ "epoch": 3.43,
3180
+ "grad_norm": 0.0027972415555268526,
3181
+ "learning_rate": 2.8687127024722932e-05,
3182
+ "loss": 0.0001,
3183
+ "step": 4020
3184
+ },
3185
+ {
3186
+ "epoch": 3.44,
3187
+ "grad_norm": 0.00038555546780116856,
3188
+ "learning_rate": 2.826086956521739e-05,
3189
+ "loss": 0.0001,
3190
+ "step": 4030
3191
+ },
3192
+ {
3193
+ "epoch": 3.44,
3194
+ "grad_norm": 0.0007446287199854851,
3195
+ "learning_rate": 2.783461210571185e-05,
3196
+ "loss": 0.0001,
3197
+ "step": 4040
3198
+ },
3199
+ {
3200
+ "epoch": 3.45,
3201
+ "grad_norm": 0.0017564999870955944,
3202
+ "learning_rate": 2.740835464620631e-05,
3203
+ "loss": 0.0001,
3204
+ "step": 4050
3205
+ },
3206
+ {
3207
+ "epoch": 3.46,
3208
+ "grad_norm": 0.00037764673470519483,
3209
+ "learning_rate": 2.6982097186700765e-05,
3210
+ "loss": 0.0001,
3211
+ "step": 4060
3212
+ },
3213
+ {
3214
+ "epoch": 3.47,
3215
+ "grad_norm": 0.00230345013551414,
3216
+ "learning_rate": 2.6555839727195225e-05,
3217
+ "loss": 0.0001,
3218
+ "step": 4070
3219
+ },
3220
+ {
3221
+ "epoch": 3.48,
3222
+ "grad_norm": 0.0005564872990362346,
3223
+ "learning_rate": 2.6129582267689685e-05,
3224
+ "loss": 0.0001,
3225
+ "step": 4080
3226
+ },
3227
+ {
3228
+ "epoch": 3.49,
3229
+ "grad_norm": 0.00039161540917120874,
3230
+ "learning_rate": 2.5703324808184144e-05,
3231
+ "loss": 0.0001,
3232
+ "step": 4090
3233
+ },
3234
+ {
3235
+ "epoch": 3.5,
3236
+ "grad_norm": 0.0016666314331814647,
3237
+ "learning_rate": 2.52770673486786e-05,
3238
+ "loss": 0.0001,
3239
+ "step": 4100
3240
+ },
3241
+ {
3242
+ "epoch": 3.5,
3243
+ "eval_accuracy": 0.9877717391304348,
3244
+ "eval_loss": 0.03819862753152847,
3245
+ "eval_runtime": 35.298,
3246
+ "eval_samples_per_second": 20.851,
3247
+ "eval_steps_per_second": 2.606,
3248
+ "step": 4100
3249
+ },
3250
+ {
3251
+ "epoch": 3.5,
3252
+ "grad_norm": 0.00222257012501359,
3253
+ "learning_rate": 2.4850809889173064e-05,
3254
+ "loss": 0.0001,
3255
+ "step": 4110
3256
+ },
3257
+ {
3258
+ "epoch": 3.51,
3259
+ "grad_norm": 0.05478089302778244,
3260
+ "learning_rate": 2.442455242966752e-05,
3261
+ "loss": 0.0001,
3262
+ "step": 4120
3263
+ },
3264
+ {
3265
+ "epoch": 3.52,
3266
+ "grad_norm": 0.0005476613878272474,
3267
+ "learning_rate": 2.399829497016198e-05,
3268
+ "loss": 0.0001,
3269
+ "step": 4130
3270
+ },
3271
+ {
3272
+ "epoch": 3.53,
3273
+ "grad_norm": 0.003102705115452409,
3274
+ "learning_rate": 2.357203751065644e-05,
3275
+ "loss": 0.0001,
3276
+ "step": 4140
3277
+ },
3278
+ {
3279
+ "epoch": 3.54,
3280
+ "grad_norm": 0.0006446978659369051,
3281
+ "learning_rate": 2.3145780051150897e-05,
3282
+ "loss": 0.0001,
3283
+ "step": 4150
3284
+ },
3285
+ {
3286
+ "epoch": 3.55,
3287
+ "grad_norm": 0.0020584387239068747,
3288
+ "learning_rate": 2.2719522591645353e-05,
3289
+ "loss": 0.0009,
3290
+ "step": 4160
3291
+ },
3292
+ {
3293
+ "epoch": 3.55,
3294
+ "grad_norm": 0.0019774443935602903,
3295
+ "learning_rate": 2.2293265132139813e-05,
3296
+ "loss": 0.0001,
3297
+ "step": 4170
3298
+ },
3299
+ {
3300
+ "epoch": 3.56,
3301
+ "grad_norm": 0.00046734846546314657,
3302
+ "learning_rate": 2.1867007672634273e-05,
3303
+ "loss": 0.0001,
3304
+ "step": 4180
3305
+ },
3306
+ {
3307
+ "epoch": 3.57,
3308
+ "grad_norm": 0.005072999745607376,
3309
+ "learning_rate": 2.144075021312873e-05,
3310
+ "loss": 0.0002,
3311
+ "step": 4190
3312
+ },
3313
+ {
3314
+ "epoch": 3.58,
3315
+ "grad_norm": 0.0020108213648200035,
3316
+ "learning_rate": 2.101449275362319e-05,
3317
+ "loss": 0.0001,
3318
+ "step": 4200
3319
+ },
3320
+ {
3321
+ "epoch": 3.58,
3322
+ "eval_accuracy": 0.9891304347826086,
3323
+ "eval_loss": 0.03985697403550148,
3324
+ "eval_runtime": 35.255,
3325
+ "eval_samples_per_second": 20.876,
3326
+ "eval_steps_per_second": 2.61,
3327
+ "step": 4200
3328
+ },
3329
+ {
3330
+ "epoch": 3.59,
3331
+ "grad_norm": 0.0004175342037342489,
3332
+ "learning_rate": 2.058823529411765e-05,
3333
+ "loss": 0.0001,
3334
+ "step": 4210
3335
+ },
3336
+ {
3337
+ "epoch": 3.6,
3338
+ "grad_norm": 0.0006376274977810681,
3339
+ "learning_rate": 2.0161977834612105e-05,
3340
+ "loss": 0.0001,
3341
+ "step": 4220
3342
+ },
3343
+ {
3344
+ "epoch": 3.61,
3345
+ "grad_norm": 0.0007830281392671168,
3346
+ "learning_rate": 1.9735720375106565e-05,
3347
+ "loss": 0.0001,
3348
+ "step": 4230
3349
+ },
3350
+ {
3351
+ "epoch": 3.61,
3352
+ "grad_norm": 0.0009144895593635738,
3353
+ "learning_rate": 1.9309462915601025e-05,
3354
+ "loss": 0.0001,
3355
+ "step": 4240
3356
+ },
3357
+ {
3358
+ "epoch": 3.62,
3359
+ "grad_norm": 0.0005221754545345902,
3360
+ "learning_rate": 1.888320545609548e-05,
3361
+ "loss": 0.0001,
3362
+ "step": 4250
3363
+ },
3364
+ {
3365
+ "epoch": 3.63,
3366
+ "grad_norm": 0.0003978173772338778,
3367
+ "learning_rate": 1.845694799658994e-05,
3368
+ "loss": 0.0001,
3369
+ "step": 4260
3370
+ },
3371
+ {
3372
+ "epoch": 3.64,
3373
+ "grad_norm": 0.0011031723115593195,
3374
+ "learning_rate": 1.80306905370844e-05,
3375
+ "loss": 0.0001,
3376
+ "step": 4270
3377
+ },
3378
+ {
3379
+ "epoch": 3.65,
3380
+ "grad_norm": 0.0007275677053257823,
3381
+ "learning_rate": 1.7604433077578857e-05,
3382
+ "loss": 0.0001,
3383
+ "step": 4280
3384
+ },
3385
+ {
3386
+ "epoch": 3.66,
3387
+ "grad_norm": 0.0004966453998349607,
3388
+ "learning_rate": 1.7178175618073317e-05,
3389
+ "loss": 0.0001,
3390
+ "step": 4290
3391
+ },
3392
+ {
3393
+ "epoch": 3.67,
3394
+ "grad_norm": 0.0007101698429323733,
3395
+ "learning_rate": 1.6751918158567777e-05,
3396
+ "loss": 0.0001,
3397
+ "step": 4300
3398
+ },
3399
+ {
3400
+ "epoch": 3.67,
3401
+ "eval_accuracy": 0.9891304347826086,
3402
+ "eval_loss": 0.03956419602036476,
3403
+ "eval_runtime": 35.2803,
3404
+ "eval_samples_per_second": 20.861,
3405
+ "eval_steps_per_second": 2.608,
3406
+ "step": 4300
3407
+ },
3408
+ {
3409
+ "epoch": 3.67,
3410
+ "grad_norm": 0.000517147418577224,
3411
+ "learning_rate": 1.6325660699062233e-05,
3412
+ "loss": 0.0001,
3413
+ "step": 4310
3414
+ },
3415
+ {
3416
+ "epoch": 3.68,
3417
+ "grad_norm": 0.0006418406846933067,
3418
+ "learning_rate": 1.5899403239556693e-05,
3419
+ "loss": 0.0001,
3420
+ "step": 4320
3421
+ },
3422
+ {
3423
+ "epoch": 3.69,
3424
+ "grad_norm": 0.00048330274876207113,
3425
+ "learning_rate": 1.5473145780051153e-05,
3426
+ "loss": 0.0001,
3427
+ "step": 4330
3428
+ },
3429
+ {
3430
+ "epoch": 3.7,
3431
+ "grad_norm": 0.0020956608932465315,
3432
+ "learning_rate": 1.504688832054561e-05,
3433
+ "loss": 0.0001,
3434
+ "step": 4340
3435
+ },
3436
+ {
3437
+ "epoch": 3.71,
3438
+ "grad_norm": 0.0009279249934479594,
3439
+ "learning_rate": 1.462063086104007e-05,
3440
+ "loss": 0.0001,
3441
+ "step": 4350
3442
+ },
3443
+ {
3444
+ "epoch": 3.72,
3445
+ "grad_norm": 0.0005609797080978751,
3446
+ "learning_rate": 1.4194373401534527e-05,
3447
+ "loss": 0.0004,
3448
+ "step": 4360
3449
+ },
3450
+ {
3451
+ "epoch": 3.73,
3452
+ "grad_norm": 0.00083589629502967,
3453
+ "learning_rate": 1.3768115942028985e-05,
3454
+ "loss": 0.0001,
3455
+ "step": 4370
3456
+ },
3457
+ {
3458
+ "epoch": 3.73,
3459
+ "grad_norm": 0.0004674463998526335,
3460
+ "learning_rate": 1.3341858482523445e-05,
3461
+ "loss": 0.0001,
3462
+ "step": 4380
3463
+ },
3464
+ {
3465
+ "epoch": 3.74,
3466
+ "grad_norm": 0.0023368378169834614,
3467
+ "learning_rate": 1.2915601023017903e-05,
3468
+ "loss": 0.0001,
3469
+ "step": 4390
3470
+ },
3471
+ {
3472
+ "epoch": 3.75,
3473
+ "grad_norm": 0.0029742561746388674,
3474
+ "learning_rate": 1.2489343563512362e-05,
3475
+ "loss": 0.0072,
3476
+ "step": 4400
3477
+ },
3478
+ {
3479
+ "epoch": 3.75,
3480
+ "eval_accuracy": 0.9904891304347826,
3481
+ "eval_loss": 0.03550506755709648,
3482
+ "eval_runtime": 35.3855,
3483
+ "eval_samples_per_second": 20.799,
3484
+ "eval_steps_per_second": 2.6,
3485
+ "step": 4400
3486
+ },
3487
+ {
3488
+ "epoch": 3.76,
3489
+ "grad_norm": 0.0006715525523759425,
3490
+ "learning_rate": 1.2063086104006821e-05,
3491
+ "loss": 0.0001,
3492
+ "step": 4410
3493
+ },
3494
+ {
3495
+ "epoch": 3.77,
3496
+ "grad_norm": 0.0005204956978559494,
3497
+ "learning_rate": 1.163682864450128e-05,
3498
+ "loss": 0.0001,
3499
+ "step": 4420
3500
+ },
3501
+ {
3502
+ "epoch": 3.78,
3503
+ "grad_norm": 0.004828631412237883,
3504
+ "learning_rate": 1.121057118499574e-05,
3505
+ "loss": 0.0001,
3506
+ "step": 4430
3507
+ },
3508
+ {
3509
+ "epoch": 3.79,
3510
+ "grad_norm": 0.0006186112877912819,
3511
+ "learning_rate": 1.0784313725490197e-05,
3512
+ "loss": 0.0001,
3513
+ "step": 4440
3514
+ },
3515
+ {
3516
+ "epoch": 3.79,
3517
+ "grad_norm": 0.00034449456143192947,
3518
+ "learning_rate": 1.0358056265984656e-05,
3519
+ "loss": 0.0001,
3520
+ "step": 4450
3521
+ },
3522
+ {
3523
+ "epoch": 3.8,
3524
+ "grad_norm": 0.0013000143226236105,
3525
+ "learning_rate": 9.931798806479115e-06,
3526
+ "loss": 0.0001,
3527
+ "step": 4460
3528
+ },
3529
+ {
3530
+ "epoch": 3.81,
3531
+ "grad_norm": 0.0019598386716097593,
3532
+ "learning_rate": 9.505541346973572e-06,
3533
+ "loss": 0.0001,
3534
+ "step": 4470
3535
+ },
3536
+ {
3537
+ "epoch": 3.82,
3538
+ "grad_norm": 0.0042680357582867146,
3539
+ "learning_rate": 9.07928388746803e-06,
3540
+ "loss": 0.0011,
3541
+ "step": 4480
3542
+ },
3543
+ {
3544
+ "epoch": 3.83,
3545
+ "grad_norm": 0.0007351756794378161,
3546
+ "learning_rate": 8.65302642796249e-06,
3547
+ "loss": 0.0001,
3548
+ "step": 4490
3549
+ },
3550
+ {
3551
+ "epoch": 3.84,
3552
+ "grad_norm": 0.0010118505451828241,
3553
+ "learning_rate": 8.226768968456948e-06,
3554
+ "loss": 0.0001,
3555
+ "step": 4500
3556
+ },
3557
+ {
3558
+ "epoch": 3.84,
3559
+ "eval_accuracy": 0.9918478260869565,
3560
+ "eval_loss": 0.028444211930036545,
3561
+ "eval_runtime": 35.4062,
3562
+ "eval_samples_per_second": 20.787,
3563
+ "eval_steps_per_second": 2.598,
3564
+ "step": 4500
3565
+ },
3566
+ {
3567
+ "epoch": 3.84,
3568
+ "grad_norm": 0.0014920223038643599,
3569
+ "learning_rate": 7.800511508951406e-06,
3570
+ "loss": 0.0001,
3571
+ "step": 4510
3572
+ },
3573
+ {
3574
+ "epoch": 3.85,
3575
+ "grad_norm": 0.0008408814901486039,
3576
+ "learning_rate": 7.374254049445865e-06,
3577
+ "loss": 0.0001,
3578
+ "step": 4520
3579
+ },
3580
+ {
3581
+ "epoch": 3.86,
3582
+ "grad_norm": 0.00037611491279676557,
3583
+ "learning_rate": 6.947996589940324e-06,
3584
+ "loss": 0.0001,
3585
+ "step": 4530
3586
+ },
3587
+ {
3588
+ "epoch": 3.87,
3589
+ "grad_norm": 0.0005198806757107377,
3590
+ "learning_rate": 6.521739130434783e-06,
3591
+ "loss": 0.0001,
3592
+ "step": 4540
3593
+ },
3594
+ {
3595
+ "epoch": 3.88,
3596
+ "grad_norm": 0.0009057046263478696,
3597
+ "learning_rate": 6.095481670929242e-06,
3598
+ "loss": 0.0001,
3599
+ "step": 4550
3600
+ },
3601
+ {
3602
+ "epoch": 3.89,
3603
+ "grad_norm": 0.0011800191132351756,
3604
+ "learning_rate": 5.6692242114237e-06,
3605
+ "loss": 0.0001,
3606
+ "step": 4560
3607
+ },
3608
+ {
3609
+ "epoch": 3.9,
3610
+ "grad_norm": 0.0005070503102615476,
3611
+ "learning_rate": 5.242966751918159e-06,
3612
+ "loss": 0.0001,
3613
+ "step": 4570
3614
+ },
3615
+ {
3616
+ "epoch": 3.9,
3617
+ "grad_norm": 0.000821206602267921,
3618
+ "learning_rate": 4.816709292412618e-06,
3619
+ "loss": 0.0001,
3620
+ "step": 4580
3621
+ },
3622
+ {
3623
+ "epoch": 3.91,
3624
+ "grad_norm": 0.022186720743775368,
3625
+ "learning_rate": 4.390451832907076e-06,
3626
+ "loss": 0.0001,
3627
+ "step": 4590
3628
+ },
3629
+ {
3630
+ "epoch": 3.92,
3631
+ "grad_norm": 0.0013393107801675797,
3632
+ "learning_rate": 3.964194373401535e-06,
3633
+ "loss": 0.0001,
3634
+ "step": 4600
3635
+ },
3636
+ {
3637
+ "epoch": 3.92,
3638
+ "eval_accuracy": 0.9904891304347826,
3639
+ "eval_loss": 0.02818419598042965,
3640
+ "eval_runtime": 35.997,
3641
+ "eval_samples_per_second": 20.446,
3642
+ "eval_steps_per_second": 2.556,
3643
+ "step": 4600
3644
+ },
3645
+ {
3646
+ "epoch": 3.93,
3647
+ "grad_norm": 0.0007979010115377605,
3648
+ "learning_rate": 3.5379369138959936e-06,
3649
+ "loss": 0.0001,
3650
+ "step": 4610
3651
+ },
3652
+ {
3653
+ "epoch": 3.94,
3654
+ "grad_norm": 0.0007560172816738486,
3655
+ "learning_rate": 3.111679454390452e-06,
3656
+ "loss": 0.0001,
3657
+ "step": 4620
3658
+ },
3659
+ {
3660
+ "epoch": 3.95,
3661
+ "grad_norm": 0.000473241088911891,
3662
+ "learning_rate": 2.6854219948849107e-06,
3663
+ "loss": 0.0001,
3664
+ "step": 4630
3665
+ },
3666
+ {
3667
+ "epoch": 3.96,
3668
+ "grad_norm": 0.20867791771888733,
3669
+ "learning_rate": 2.2591645353793692e-06,
3670
+ "loss": 0.0002,
3671
+ "step": 4640
3672
+ },
3673
+ {
3674
+ "epoch": 3.96,
3675
+ "grad_norm": 0.0012438774574548006,
3676
+ "learning_rate": 1.8329070758738278e-06,
3677
+ "loss": 0.0001,
3678
+ "step": 4650
3679
+ },
3680
+ {
3681
+ "epoch": 3.97,
3682
+ "grad_norm": 0.0006186561658978462,
3683
+ "learning_rate": 1.4066496163682865e-06,
3684
+ "loss": 0.0001,
3685
+ "step": 4660
3686
+ },
3687
+ {
3688
+ "epoch": 3.98,
3689
+ "grad_norm": 0.0010864631040021777,
3690
+ "learning_rate": 9.80392156862745e-07,
3691
+ "loss": 0.0001,
3692
+ "step": 4670
3693
+ },
3694
+ {
3695
+ "epoch": 3.99,
3696
+ "grad_norm": 0.0014369528507813811,
3697
+ "learning_rate": 5.541346973572037e-07,
3698
+ "loss": 0.0001,
3699
+ "step": 4680
3700
+ },
3701
+ {
3702
+ "epoch": 4.0,
3703
+ "grad_norm": 0.00035434114397503436,
3704
+ "learning_rate": 1.2787723785166242e-07,
3705
+ "loss": 0.0001,
3706
+ "step": 4690
3707
+ },
3708
+ {
3709
+ "epoch": 4.0,
3710
+ "step": 4692,
3711
+ "total_flos": 1.715138644229908e+19,
3712
+ "train_loss": 0.04991757846501284,
3713
+ "train_runtime": 7931.4156,
3714
+ "train_samples_per_second": 9.462,
3715
+ "train_steps_per_second": 0.592
3716
+ }
3717
+ ],
3718
+ "logging_steps": 10,
3719
+ "max_steps": 4692,
3720
+ "num_input_tokens_seen": 0,
3721
+ "num_train_epochs": 4,
3722
+ "save_steps": 100,
3723
+ "total_flos": 1.715138644229908e+19,
3724
+ "train_batch_size": 16,
3725
+ "trial_name": null,
3726
+ "trial_params": null
3727
+ }