6_e_200-tiny_tobacco3482_kd_CEKD_t1.5_a0.5

This model is a fine-tuned version of WinKawaks/vit-tiny-patch16-224 on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.4277
• Accuracy: 0.835
• Brier Loss: 0.2653
• Nll: 1.5700
• F1 Micro: 0.835
• F1 Macro: 0.8164
• Ece: 0.1805
• Aurc: 0.0632

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0001
• train_batch_size: 32
• eval_batch_size: 32
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_ratio: 0.1
• num_epochs: 100

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	Brier Loss	Nll	F1 Micro	F1 Macro	Ece	Aurc
No log	1.0	25	1.6826	0.23	0.8622	4.7953	0.23	0.1892	0.2929	0.7651
No log	2.0	50	1.0374	0.53	0.6004	2.7646	0.53	0.4280	0.2624	0.2619
No log	3.0	75	0.8158	0.665	0.4678	2.4034	0.665	0.5565	0.2488	0.1416
No log	4.0	100	0.6879	0.72	0.3838	1.5355	0.72	0.6873	0.2297	0.1064
No log	5.0	125	0.6511	0.775	0.3538	1.5183	0.775	0.7285	0.2235	0.0915
No log	6.0	150	0.7310	0.755	0.3579	1.3899	0.755	0.7257	0.2190	0.0926
No log	7.0	175	0.5698	0.795	0.3246	1.3920	0.795	0.7691	0.2251	0.0956
No log	8.0	200	0.5675	0.805	0.3064	1.4278	0.805	0.7733	0.2093	0.0655
No log	9.0	225	0.5986	0.8	0.3356	1.5317	0.8000	0.7890	0.2249	0.0913
No log	10.0	250	0.6158	0.755	0.3475	1.5027	0.755	0.7340	0.2152	0.0782
No log	11.0	275	0.5353	0.815	0.3037	1.6003	0.815	0.8143	0.2305	0.0749
No log	12.0	300	0.5460	0.825	0.3008	1.7407	0.825	0.8070	0.2378	0.0856
No log	13.0	325	0.4905	0.83	0.2787	1.1328	0.83	0.8099	0.2344	0.0481
No log	14.0	350	0.4913	0.795	0.2881	1.2261	0.795	0.7521	0.2121	0.0661
No log	15.0	375	0.4773	0.835	0.2753	1.2716	0.835	0.8140	0.2125	0.0636
No log	16.0	400	0.4848	0.84	0.2751	1.5983	0.8400	0.8139	0.2195	0.0707
No log	17.0	425	0.4994	0.805	0.2886	1.5637	0.805	0.7689	0.2049	0.0617
No log	18.0	450	0.4610	0.835	0.2871	1.3906	0.835	0.8122	0.2175	0.0675
No log	19.0	475	0.4594	0.84	0.2669	1.2217	0.8400	0.8214	0.2022	0.0516
0.4534	20.0	500	0.4793	0.815	0.2874	1.4445	0.815	0.7965	0.2024	0.0641
0.4534	21.0	525	0.5185	0.785	0.3215	1.8358	0.785	0.7743	0.2250	0.0850
0.4534	22.0	550	0.4339	0.83	0.2635	1.2137	0.83	0.8200	0.1944	0.0610
0.4534	23.0	575	0.4640	0.825	0.2770	1.4137	0.825	0.8086	0.1800	0.0674
0.4534	24.0	600	0.4528	0.825	0.2692	1.3148	0.825	0.8077	0.1912	0.0678
0.4534	25.0	625	0.4361	0.84	0.2600	1.4205	0.8400	0.8278	0.2066	0.0534
0.4534	26.0	650	0.4239	0.835	0.2590	1.2112	0.835	0.8224	0.1850	0.0544
0.4534	27.0	675	0.4294	0.82	0.2636	1.2671	0.82	0.8023	0.1866	0.0619
0.4534	28.0	700	0.4327	0.84	0.2633	1.3084	0.8400	0.8283	0.1954	0.0628
0.4534	29.0	725	0.4309	0.825	0.2640	1.4275	0.825	0.8022	0.2117	0.0667
0.4534	30.0	750	0.4299	0.83	0.2636	1.3161	0.83	0.8103	0.2110	0.0620
0.4534	31.0	775	0.4345	0.835	0.2634	1.4605	0.835	0.8269	0.1998	0.0562
0.4534	32.0	800	0.4404	0.83	0.2743	1.3965	0.83	0.8077	0.2198	0.0669
0.4534	33.0	825	0.4254	0.83	0.2614	1.3734	0.83	0.8133	0.1990	0.0567
0.4534	34.0	850	0.4271	0.835	0.2632	1.3963	0.835	0.8164	0.1932	0.0649
0.4534	35.0	875	0.4284	0.835	0.2636	1.3713	0.835	0.8164	0.2127	0.0634
0.4534	36.0	900	0.4262	0.835	0.2628	1.4403	0.835	0.8164	0.1926	0.0649
0.4534	37.0	925	0.4253	0.835	0.2621	1.3813	0.835	0.8164	0.2015	0.0628
0.4534	38.0	950	0.4262	0.835	0.2626	1.4528	0.835	0.8164	0.1971	0.0628
0.4534	39.0	975	0.4271	0.835	0.2629	1.4410	0.835	0.8164	0.1933	0.0627
0.0663	40.0	1000	0.4283	0.835	0.2639	1.4647	0.835	0.8164	0.1996	0.0631
0.0663	41.0	1025	0.4272	0.835	0.2639	1.4417	0.835	0.8164	0.2088	0.0630
0.0663	42.0	1050	0.4276	0.835	0.2640	1.3976	0.835	0.8164	0.1992	0.0634
0.0663	43.0	1075	0.4270	0.835	0.2633	1.4392	0.835	0.8164	0.1892	0.0628
0.0663	44.0	1100	0.4264	0.835	0.2635	1.4429	0.835	0.8164	0.1885	0.0631
0.0663	45.0	1125	0.4269	0.835	0.2637	1.4461	0.835	0.8164	0.1974	0.0629
0.0663	46.0	1150	0.4268	0.835	0.2636	1.4415	0.835	0.8164	0.1866	0.0625
0.0663	47.0	1175	0.4269	0.835	0.2641	1.4646	0.835	0.8164	0.1812	0.0636
0.0663	48.0	1200	0.4271	0.835	0.2639	1.3990	0.835	0.8164	0.1865	0.0631
0.0663	49.0	1225	0.4267	0.835	0.2639	1.4474	0.835	0.8164	0.1946	0.0629
0.0663	50.0	1250	0.4273	0.835	0.2642	1.4492	0.835	0.8164	0.1802	0.0631
0.0663	51.0	1275	0.4272	0.835	0.2644	1.4475	0.835	0.8164	0.1942	0.0630
0.0663	52.0	1300	0.4283	0.835	0.2648	1.5157	0.835	0.8164	0.1963	0.0635
0.0663	53.0	1325	0.4271	0.835	0.2643	1.5046	0.835	0.8164	0.1955	0.0633
0.0663	54.0	1350	0.4271	0.835	0.2642	1.4629	0.835	0.8164	0.1790	0.0617
0.0663	55.0	1375	0.4278	0.835	0.2649	1.5752	0.835	0.8164	0.2007	0.0635
0.0663	56.0	1400	0.4280	0.835	0.2648	1.5165	0.835	0.8164	0.1706	0.0631
0.0663	57.0	1425	0.4275	0.835	0.2644	1.5134	0.835	0.8164	0.1864	0.0629
0.0663	58.0	1450	0.4270	0.835	0.2643	1.5088	0.835	0.8164	0.1883	0.0630
0.0663	59.0	1475	0.4273	0.835	0.2644	1.5111	0.835	0.8164	0.1951	0.0630
0.0615	60.0	1500	0.4281	0.835	0.2651	1.5727	0.835	0.8164	0.2084	0.0630
0.0615	61.0	1525	0.4271	0.835	0.2647	1.5198	0.835	0.8164	0.1957	0.0631
0.0615	62.0	1550	0.4276	0.835	0.2649	1.5139	0.835	0.8164	0.1969	0.0630
0.0615	63.0	1575	0.4269	0.835	0.2646	1.4579	0.835	0.8164	0.1802	0.0629
0.0615	64.0	1600	0.4275	0.835	0.2648	1.5144	0.835	0.8164	0.2006	0.0632
0.0615	65.0	1625	0.4276	0.835	0.2649	1.5129	0.835	0.8164	0.1846	0.0632
0.0615	66.0	1650	0.4272	0.835	0.2647	1.5165	0.835	0.8164	0.1796	0.0629
0.0615	67.0	1675	0.4273	0.835	0.2647	1.5141	0.835	0.8164	0.1882	0.0631
0.0615	68.0	1700	0.4276	0.835	0.2649	1.5146	0.835	0.8164	0.1799	0.0631
0.0615	69.0	1725	0.4275	0.835	0.2649	1.5215	0.835	0.8164	0.1799	0.0631
0.0615	70.0	1750	0.4275	0.835	0.2647	1.5124	0.835	0.8164	0.1884	0.0632
0.0615	71.0	1775	0.4278	0.835	0.2652	1.5245	0.835	0.8164	0.1800	0.0631
0.0615	72.0	1800	0.4277	0.835	0.2650	1.5169	0.835	0.8164	0.1802	0.0631
0.0615	73.0	1825	0.4277	0.835	0.2651	1.5282	0.835	0.8164	0.1804	0.0633
0.0615	74.0	1850	0.4273	0.835	0.2650	1.5156	0.835	0.8164	0.1804	0.0632
0.0615	75.0	1875	0.4278	0.835	0.2653	1.5706	0.835	0.8164	0.1804	0.0632
0.0615	76.0	1900	0.4275	0.835	0.2651	1.5337	0.835	0.8164	0.1807	0.0633
0.0615	77.0	1925	0.4276	0.835	0.2652	1.5357	0.835	0.8164	0.1804	0.0633
0.0615	78.0	1950	0.4275	0.835	0.2651	1.5701	0.835	0.8164	0.1805	0.0633
0.0615	79.0	1975	0.4277	0.835	0.2651	1.5161	0.835	0.8164	0.1807	0.0633
0.0614	80.0	2000	0.4278	0.835	0.2653	1.5709	0.835	0.8164	0.1808	0.0632
0.0614	81.0	2025	0.4278	0.835	0.2653	1.5703	0.835	0.8164	0.1804	0.0632
0.0614	82.0	2050	0.4278	0.835	0.2653	1.5700	0.835	0.8164	0.1806	0.0633
0.0614	83.0	2075	0.4277	0.835	0.2652	1.5700	0.835	0.8164	0.1803	0.0631
0.0614	84.0	2100	0.4276	0.835	0.2652	1.5694	0.835	0.8164	0.1804	0.0632
0.0614	85.0	2125	0.4275	0.835	0.2652	1.5702	0.835	0.8164	0.1807	0.0633
0.0614	86.0	2150	0.4276	0.835	0.2652	1.5699	0.835	0.8164	0.1805	0.0633
0.0614	87.0	2175	0.4277	0.835	0.2653	1.5703	0.835	0.8164	0.1805	0.0633
0.0614	88.0	2200	0.4277	0.835	0.2652	1.5702	0.835	0.8164	0.1882	0.0632
0.0614	89.0	2225	0.4277	0.835	0.2653	1.5702	0.835	0.8164	0.1806	0.0633
0.0614	90.0	2250	0.4276	0.835	0.2653	1.5696	0.835	0.8164	0.1806	0.0633
0.0614	91.0	2275	0.4277	0.835	0.2653	1.5698	0.835	0.8164	0.1805	0.0632
0.0614	92.0	2300	0.4276	0.835	0.2652	1.5699	0.835	0.8164	0.1805	0.0632
0.0614	93.0	2325	0.4277	0.835	0.2653	1.5700	0.835	0.8164	0.1805	0.0632
0.0614	94.0	2350	0.4276	0.835	0.2653	1.5698	0.835	0.8164	0.1805	0.0632
0.0614	95.0	2375	0.4277	0.835	0.2653	1.5699	0.835	0.8164	0.1805	0.0632
0.0614	96.0	2400	0.4276	0.835	0.2653	1.5700	0.835	0.8164	0.1805	0.0632
0.0614	97.0	2425	0.4277	0.835	0.2653	1.5699	0.835	0.8164	0.1805	0.0632
0.0614	98.0	2450	0.4276	0.835	0.2653	1.5699	0.835	0.8164	0.1805	0.0632
0.0614	99.0	2475	0.4277	0.835	0.2653	1.5700	0.835	0.8164	0.1805	0.0632
0.0614	100.0	2500	0.4277	0.835	0.2653	1.5700	0.835	0.8164	0.1805	0.0632

Framework versions

• Transformers 4.30.2
• Pytorch 1.13.1
• Datasets 2.13.1
• Tokenizers 0.13.3