arabert_cross_relevance_task6_fold5

This model is a fine-tuned version of aubmindlab/bert-base-arabertv02 on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.2242
• Qwk: 0.3701
• Mse: 0.2242

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 64
• eval_batch_size: 64
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Qwk	Mse
No log	0.125	2	0.4047	0.2582	0.4045
No log	0.25	4	0.2750	0.5141	0.2744
No log	0.375	6	0.2556	0.3452	0.2551
No log	0.5	8	0.2742	0.2629	0.2739
No log	0.625	10	0.2556	0.2281	0.2553
No log	0.75	12	0.2574	0.2267	0.2571
No log	0.875	14	0.2555	0.3050	0.2552
No log	1.0	16	0.2258	0.2618	0.2256
No log	1.125	18	0.2150	0.3044	0.2148
No log	1.25	20	0.2079	0.3044	0.2077
No log	1.375	22	0.2022	0.3172	0.2020
No log	1.5	24	0.2011	0.3247	0.2009
No log	1.625	26	0.1872	0.3453	0.1871
No log	1.75	28	0.1813	0.3543	0.1813
No log	1.875	30	0.1764	0.3676	0.1764
No log	2.0	32	0.1744	0.4205	0.1743
No log	2.125	34	0.1788	0.4236	0.1788
No log	2.25	36	0.1817	0.3746	0.1817
No log	2.375	38	0.1911	0.4353	0.1911
No log	2.5	40	0.2063	0.6065	0.2062
No log	2.625	42	0.1851	0.4860	0.1851
No log	2.75	44	0.1768	0.3810	0.1769
No log	2.875	46	0.1839	0.3478	0.1840
No log	3.0	48	0.1903	0.3489	0.1904
No log	3.125	50	0.1887	0.3703	0.1888
No log	3.25	52	0.1832	0.3724	0.1832
No log	3.375	54	0.1852	0.3795	0.1852
No log	3.5	56	0.1937	0.4146	0.1936
No log	3.625	58	0.1934	0.3962	0.1934
No log	3.75	60	0.1920	0.3669	0.1920
No log	3.875	62	0.1930	0.4021	0.1930
No log	4.0	64	0.1970	0.4137	0.1969
No log	4.125	66	0.1944	0.4137	0.1943
No log	4.25	68	0.1936	0.3890	0.1936
No log	4.375	70	0.1981	0.3528	0.1981
No log	4.5	72	0.1927	0.3528	0.1927
No log	4.625	74	0.1928	0.3477	0.1928
No log	4.75	76	0.1965	0.3546	0.1964
No log	4.875	78	0.2095	0.3432	0.2094
No log	5.0	80	0.2044	0.3443	0.2043
No log	5.125	82	0.2006	0.3433	0.2006
No log	5.25	84	0.2036	0.3465	0.2036
No log	5.375	86	0.2052	0.3465	0.2053
No log	5.5	88	0.2022	0.3465	0.2022
No log	5.625	90	0.2017	0.3508	0.2017
No log	5.75	92	0.2073	0.3508	0.2073
No log	5.875	94	0.2122	0.3508	0.2123
No log	6.0	96	0.1997	0.3561	0.1997
No log	6.125	98	0.1967	0.3819	0.1966
No log	6.25	100	0.1968	0.3925	0.1967
No log	6.375	102	0.2088	0.3623	0.2088
No log	6.5	104	0.2513	0.3650	0.2515
No log	6.625	106	0.2811	0.3611	0.2813
No log	6.75	108	0.2626	0.3689	0.2628
No log	6.875	110	0.2260	0.3650	0.2261
No log	7.0	112	0.2040	0.3607	0.2041
No log	7.125	114	0.1937	0.3826	0.1937
No log	7.25	116	0.1925	0.3865	0.1924
No log	7.375	118	0.1942	0.3972	0.1941
No log	7.5	120	0.1957	0.3658	0.1956
No log	7.625	122	0.1993	0.3561	0.1993
No log	7.75	124	0.2083	0.3547	0.2083
No log	7.875	126	0.2197	0.3557	0.2198
No log	8.0	128	0.2322	0.3566	0.2324
No log	8.125	130	0.2346	0.3557	0.2348
No log	8.25	132	0.2299	0.3538	0.2300
No log	8.375	134	0.2254	0.3538	0.2255
No log	8.5	136	0.2201	0.3538	0.2202
No log	8.625	138	0.2148	0.3538	0.2148
No log	8.75	140	0.2117	0.3538	0.2117
No log	8.875	142	0.2123	0.3557	0.2124
No log	9.0	144	0.2127	0.3557	0.2127
No log	9.125	146	0.2153	0.3557	0.2154
No log	9.25	148	0.2195	0.3557	0.2195
No log	9.375	150	0.2224	0.3607	0.2225
No log	9.5	152	0.2248	0.3717	0.2249
No log	9.625	154	0.2259	0.3709	0.2260
No log	9.75	156	0.2256	0.3701	0.2257
No log	9.875	158	0.2249	0.3701	0.2249
No log	10.0	160	0.2242	0.3701	0.2242

Framework versions

• Transformers 4.44.0
• Pytorch 2.4.0
• Datasets 2.21.0
• Tokenizers 0.19.1