Hebrew_affix_find2

This model is a fine-tuned version of dicta-il/dictabert on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.0534
• Precision: 0.4646
• Recall: 0.1822
• F1-micro: 0.0791
• F1-macro: 0.1818
• F1 Remove Empty: 0.2674
• Accuracy: 0.9087
• Precision Complex: 0.2664
• Recall Complex: 0.1857
• F1-micro Complex: 0.2060
• F1-macro Complex: 0.1992
• Accuracy Complex: 0.8184

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 3e-05
• train_batch_size: 84
• eval_batch_size: 42
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 50
• num_epochs: 15

Training results

Training Loss	Epoch	Step	Validation Loss	Precision	Recall	F1-micro	F1-macro	F1 Remove Empty	Accuracy	Precision Complex	Recall Complex	F1-micro Complex	F1-macro Complex	Accuracy Complex
0.2602	0.5995	250	0.2843	0.0729	0.0769	0.0423	0.0711	0.2540	0.9477	0.1411	0.1042	0.1633	0.1149	0.8174
0.1528	1.1990	500	0.1881	0.1228	0.1311	0.0536	0.1034	0.2873	0.9481	0.1637	0.1376	0.1812	0.1467	0.8177
0.1302	1.7986	750	0.1366	0.1447	0.1498	0.0601	0.1109	0.2773	0.9478	0.1548	0.1456	0.1871	0.1451	0.8170
0.0844	2.3981	1000	0.1108	0.1677	0.1572	0.0638	0.1195	0.2716	0.9478	0.1327	0.1471	0.1915	0.1371	0.8173
0.091	2.9976	1250	0.0950	0.1728	0.1911	0.0660	0.1273	0.2653	0.9479	0.1291	0.1568	0.1950	0.1398	0.8172
0.0608	3.5971	1500	0.0819	0.2912	0.1809	0.0688	0.1668	0.2979	0.9485	0.2092	0.1963	0.1999	0.1995	0.8179
0.047	4.1966	1750	0.0740	0.3111	0.2112	0.0695	0.1731	0.2885	0.9484	0.1919	0.1965	0.1997	0.1888	0.8178
0.0421	4.7962	2000	0.0681	0.4088	0.2131	0.0709	0.1804	0.2652	0.9485	0.1875	0.1968	0.2020	0.1875	0.8181
0.0345	5.3957	2250	0.0637	0.4310	0.2131	0.0714	0.1831	0.2692	0.9486	0.2172	0.1963	0.2027	0.2004	0.8183
0.0353	5.9952	2500	0.0598	0.3737	0.2145	0.0719	0.1850	0.2721	0.9486	0.2013	0.1965	0.2032	0.1948	0.8183
0.0291	6.5947	2750	0.0581	0.4234	0.2141	0.0720	0.1844	0.2712	0.9486	0.1943	0.1967	0.2039	0.1907	0.8184
0.024	7.1942	3000	0.0572	0.4579	0.1839	0.0721	0.1846	0.2885	0.9487	0.2161	0.1961	0.2050	0.2018	0.8186
0.0226	7.7938	3250	0.0555	0.4448	0.2041	0.0725	0.1946	0.2861	0.9487	0.2136	0.1963	0.2078	0.2005	0.8189
0.0201	8.3933	3500	0.0558	0.4801	0.2140	0.0725	0.1962	0.2885	0.9487	0.2083	0.1955	0.2057	0.1981	0.8187
0.0192	8.9928	3750	0.0546	0.4622	0.1841	0.0727	0.1913	0.2989	0.9488	0.2285	0.1961	0.2072	0.2065	0.8189
0.0168	9.5923	4000	0.0551	0.4936	0.2038	0.0728	0.2026	0.2980	0.9487	0.2335	0.1963	0.2083	0.2058	0.8190
0.015	10.1918	4250	0.0545	0.4590	0.1944	0.0728	0.1970	0.2897	0.9487	0.2315	0.1963	0.2054	0.2040	0.8186
0.0145	10.7914	4500	0.0559	0.4623	0.1942	0.0730	0.2002	0.2944	0.9488	0.2284	0.1966	0.2093	0.2069	0.8190
0.015	11.3909	4750	0.0578	0.4792	0.1843	0.0730	0.1908	0.2982	0.9488	0.2296	0.1966	0.2081	0.2058	0.8188
0.0146	11.9904	5000	0.0545	0.4733	0.1942	0.0731	0.1978	0.2909	0.9488	0.2088	0.1966	0.2080	0.1956	0.8188
0.0138	12.5899	5250	0.0549	0.4984	0.1940	0.0732	0.1990	0.2927	0.9488	0.2171	0.1966	0.2090	0.1987	0.8189
0.0116	13.1894	5500	0.0555	0.4604	0.1844	0.0733	0.1910	0.2984	0.9488	0.2171	0.1966	0.2086	0.1991	0.8189
0.0122	13.7890	5750	0.0545	0.4992	0.1943	0.0733	0.1985	0.2919	0.9488	0.2156	0.1966	0.2088	0.1998	0.8189
0.0113	14.3885	6000	0.0554	0.5054	0.1943	0.0733	0.2005	0.2948	0.9488	0.2290	0.1966	0.2087	0.2033	0.8189
0.0107	14.9880	6250	0.0556	0.5085	0.1943	0.0734	0.2010	0.2956	0.9488	0.2302	0.1966	0.2092	0.2040	0.8190

Framework versions

• Transformers 4.44.2
• Pytorch 2.4.0+cu121
• Datasets 2.21.0
• Tokenizers 0.19.1