ai-light-dance_drums_ft_pretrain_wav2vec2-base-new_onset-idmt-mdb-2

This model is a fine-tuned version of gary109/ai-light-dance_drums_ft_pretrain_wav2vec2-base-new_onset-idmt-mdb-2 on the GARY109/AI_LIGHT_DANCE - ONSET-IDMT-MDB-2 dataset. It achieves the following results on the evaluation set:

• Loss: 0.4204
• Wer: 0.1844

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0003
• train_batch_size: 4
• eval_batch_size: 4
• seed: 42
• gradient_accumulation_steps: 4
• total_train_batch_size: 16
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 30
• num_epochs: 100.0
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
0.2599	0.98	11	0.4281	0.2198
0.2491	1.98	22	0.4891	0.1947
0.2619	2.98	33	0.5496	0.2183
0.3354	3.98	44	0.5202	0.2094
0.277	4.98	55	0.4574	0.2080
0.3065	5.98	66	0.4749	0.2080
0.2669	6.98	77	0.5902	0.2183
0.2829	7.98	88	0.8560	0.2050
0.2509	8.98	99	0.6190	0.2035
0.2728	9.98	110	0.6562	0.2109
0.2615	10.98	121	0.6291	0.2065
0.2586	11.98	132	0.6167	0.1844
0.2441	12.98	143	0.6736	0.1962
0.233	13.98	154	0.5727	0.2050
0.2567	14.98	165	0.6165	0.1873
0.2264	15.98	176	0.7506	0.2080
0.2346	16.98	187	0.7017	0.1888
0.2343	17.98	198	0.5930	0.2094
0.2638	18.98	209	0.5730	0.2006
0.2543	19.98	220	0.4991	0.2198
0.2476	20.98	231	0.6364	0.2065
0.2777	21.98	242	0.6247	0.1844
0.2661	22.98	253	0.5589	0.2006
0.2094	23.98	264	0.5316	0.2080
0.2496	24.98	275	0.8821	0.1844
0.2302	25.98	286	0.5408	0.1814
0.2651	26.98	297	0.6479	0.2094
0.2119	27.98	308	0.5875	0.1814
0.2468	28.98	319	0.7614	0.1976
0.2239	29.98	330	0.4908	0.1903
0.2514	30.98	341	0.5196	0.2035
0.2244	31.98	352	0.5580	0.1991
0.2524	32.98	363	0.5342	0.2021
0.2516	33.98	374	0.4204	0.1844
0.2515	34.98	385	0.5135	0.2124
0.2542	35.98	396	0.8150	0.1962
0.2269	36.98	407	0.8833	0.2094
0.212	37.98	418	1.3235	0.2183
0.2119	38.98	429	0.6919	0.2021
0.2228	39.98	440	0.6712	0.2021
0.2127	40.98	451	0.7557	0.1976
0.2064	41.98	462	0.5918	0.1947
0.2147	42.98	473	0.8049	0.1962
0.193	43.98	484	0.7117	0.1976
0.2063	44.98	495	0.5544	0.1962
0.1989	45.98	506	0.5782	0.1888
0.2193	46.98	517	0.5216	0.1947
0.2012	47.98	528	0.5269	0.1917
0.2187	48.98	539	0.4636	0.1844
0.2128	49.98	550	0.4968	0.1888
0.2041	50.98	561	0.4784	0.1888
0.1993	51.98	572	0.5592	0.1755
0.1981	52.98	583	0.4871	0.1785
0.1808	53.98	594	0.4771	0.1740
0.2317	54.98	605	0.5285	0.1814
0.1906	55.98	616	0.5485	0.1844
0.1924	56.98	627	0.5615	0.1814
0.1761	57.98	638	0.4604	0.1799
0.2047	58.98	649	0.4223	0.1829
0.1992	59.98	660	0.4706	0.1873
0.1949	60.98	671	0.4633	0.1844
0.2034	61.98	682	0.4854	0.1814
0.2147	62.98	693	0.4489	0.1844
0.2135	63.98	704	0.4874	0.1726
0.2021	64.98	715	0.4635	0.1814
0.1822	65.98	726	0.4813	0.1785
0.1882	66.98	737	0.5076	0.1799
0.2014	67.98	748	0.5183	0.1888
0.1869	68.98	759	0.5035	0.1799
0.1914	69.98	770	0.4694	0.1844
0.1972	70.98	781	0.4485	0.1844
0.1724	71.98	792	0.4579	0.1829
0.195	72.98	803	0.5178	0.1814
0.2017	73.98	814	0.4978	0.1829
0.1874	74.98	825	0.5035	0.1873
0.1925	75.98	836	0.5495	0.1829
0.1845	76.98	847	0.5394	0.1799
0.1718	77.98	858	0.5070	0.1711
0.1824	78.98	869	0.4912	0.1770
0.1702	79.98	880	0.4632	0.1726
0.1563	80.98	891	0.4412	0.1726
0.1858	81.98	902	0.4635	0.1667
0.1701	82.98	913	0.4838	0.1726
0.188	83.98	924	0.4775	0.1814
0.1789	84.98	935	0.4801	0.1740
0.2134	85.98	946	0.4542	0.1785
0.2141	86.98	957	0.4499	0.1785
0.1599	87.98	968	0.4595	0.1770
0.1927	88.98	979	0.4772	0.1755
0.1709	89.98	990	0.4588	0.1770
0.1588	90.98	1001	0.4607	0.1785
0.1702	91.98	1012	0.4656	0.1829
0.1646	92.98	1023	0.4631	0.1829
0.1867	93.98	1034	0.4758	0.1814
0.1799	94.98	1045	0.4820	0.1755
0.1611	95.98	1056	0.4846	0.1785
0.1685	96.98	1067	0.4816	0.1770
0.19	97.98	1078	0.4781	0.1770
0.1953	98.98	1089	0.4767	0.1770
0.188	99.98	1100	0.4774	0.1770

Framework versions

• Transformers 4.25.0.dev0
• Pytorch 1.8.1+cu111
• Datasets 2.7.1.dev0
• Tokenizers 0.13.2