6_e_200-tiny_tobacco3482_kd_CEKD_t5.0_a0.5

This model is a fine-tuned version of WinKawaks/vit-tiny-patch16-224 on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.3932
• Accuracy: 0.83
• Brier Loss: 0.2507
• Nll: 1.3117
• F1 Micro: 0.83
• F1 Macro: 0.8164
• Ece: 0.1915
• Aurc: 0.0602

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0001
• train_batch_size: 32
• eval_batch_size: 32
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_ratio: 0.1
• num_epochs: 100

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	Brier Loss	Nll	F1 Micro	F1 Macro	Ece	Aurc
No log	1.0	25	1.5453	0.21	0.8721	5.2626	0.2100	0.1784	0.2602	0.7492
No log	2.0	50	0.9799	0.515	0.6132	2.7421	0.515	0.4183	0.2927	0.2698
No log	3.0	75	0.7948	0.655	0.4888	2.6042	0.655	0.5597	0.2331	0.1485
No log	4.0	100	0.6422	0.735	0.3906	1.6168	0.735	0.6662	0.2448	0.1095
No log	5.0	125	0.6261	0.785	0.3475	1.1890	0.785	0.7582	0.2616	0.0792
No log	6.0	150	0.6060	0.775	0.3402	1.3317	0.775	0.7269	0.2750	0.0709
No log	7.0	175	0.5659	0.8	0.3459	1.4773	0.8000	0.7741	0.2628	0.0960
No log	8.0	200	0.5339	0.81	0.3038	1.5029	0.81	0.7882	0.2449	0.0699
No log	9.0	225	0.5429	0.805	0.3117	1.4140	0.805	0.7840	0.2242	0.0771
No log	10.0	250	0.5337	0.815	0.3139	1.4630	0.815	0.8167	0.2253	0.0801
No log	11.0	275	0.5257	0.815	0.3084	1.4325	0.815	0.7943	0.2431	0.0823
No log	12.0	300	0.4704	0.81	0.2879	1.3557	0.81	0.7859	0.2139	0.0770
No log	13.0	325	0.4828	0.81	0.2898	1.5643	0.81	0.7767	0.2115	0.0712
No log	14.0	350	0.4579	0.815	0.2733	1.4403	0.815	0.8061	0.1799	0.0609
No log	15.0	375	0.4642	0.815	0.2892	1.4598	0.815	0.8017	0.1973	0.0537
No log	16.0	400	0.4378	0.84	0.2683	1.1278	0.8400	0.8320	0.2135	0.0545
No log	17.0	425	0.4403	0.825	0.2750	1.3817	0.825	0.8024	0.1898	0.0511
No log	18.0	450	0.4211	0.825	0.2646	1.5604	0.825	0.8123	0.1918	0.0538
No log	19.0	475	0.4280	0.82	0.2700	1.5824	0.82	0.8016	0.1814	0.0587
0.4177	20.0	500	0.4223	0.83	0.2649	1.8744	0.83	0.8152	0.1885	0.0681
0.4177	21.0	525	0.4219	0.835	0.2682	1.6053	0.835	0.8252	0.1932	0.0600
0.4177	22.0	550	0.3935	0.835	0.2534	1.4134	0.835	0.8229	0.2049	0.0680
0.4177	23.0	575	0.4231	0.82	0.2651	1.7267	0.82	0.8028	0.1943	0.0636
0.4177	24.0	600	0.4135	0.845	0.2576	1.8708	0.845	0.8304	0.1872	0.0559
0.4177	25.0	625	0.4027	0.835	0.2526	1.5970	0.835	0.8187	0.1886	0.0645
0.4177	26.0	650	0.4000	0.835	0.2513	1.7233	0.835	0.8151	0.1998	0.0613
0.4177	27.0	675	0.3956	0.83	0.2478	1.5716	0.83	0.8143	0.1871	0.0533
0.4177	28.0	700	0.3952	0.835	0.2493	1.5638	0.835	0.8153	0.1942	0.0593
0.4177	29.0	725	0.3965	0.83	0.2509	1.5069	0.83	0.8150	0.1811	0.0594
0.4177	30.0	750	0.3935	0.835	0.2486	1.5657	0.835	0.8168	0.1948	0.0573
0.4177	31.0	775	0.3951	0.83	0.2498	1.5061	0.83	0.8146	0.1886	0.0591
0.4177	32.0	800	0.3940	0.835	0.2506	1.5054	0.835	0.8203	0.1991	0.0598
0.4177	33.0	825	0.3935	0.84	0.2493	1.5025	0.8400	0.8230	0.1932	0.0590
0.4177	34.0	850	0.3928	0.84	0.2485	1.5679	0.8400	0.8227	0.1981	0.0570
0.4177	35.0	875	0.3942	0.835	0.2497	1.5670	0.835	0.8177	0.1940	0.0592
0.4177	36.0	900	0.3935	0.835	0.2491	1.5120	0.835	0.8203	0.1931	0.0596
0.4177	37.0	925	0.3932	0.835	0.2496	1.5715	0.835	0.8203	0.1989	0.0597
0.4177	38.0	950	0.3924	0.835	0.2491	1.5091	0.835	0.8203	0.1973	0.0606
0.4177	39.0	975	0.3936	0.835	0.2500	1.5036	0.835	0.8203	0.1954	0.0602
0.0597	40.0	1000	0.3936	0.835	0.2497	1.4602	0.835	0.8203	0.2053	0.0597
0.0597	41.0	1025	0.3936	0.835	0.2505	1.5040	0.835	0.8203	0.2026	0.0607
0.0597	42.0	1050	0.3931	0.83	0.2500	1.4565	0.83	0.8164	0.1961	0.0590
0.0597	43.0	1075	0.3931	0.835	0.2497	1.5208	0.835	0.8203	0.1972	0.0591
0.0597	44.0	1100	0.3932	0.835	0.2503	1.5040	0.835	0.8203	0.2030	0.0606
0.0597	45.0	1125	0.3930	0.835	0.2502	1.4555	0.835	0.8203	0.1992	0.0604
0.0597	46.0	1150	0.3927	0.835	0.2500	1.4553	0.835	0.8203	0.1960	0.0616
0.0597	47.0	1175	0.3928	0.835	0.2501	1.3970	0.835	0.8203	0.1965	0.0610
0.0597	48.0	1200	0.3930	0.835	0.2498	1.3967	0.835	0.8203	0.1989	0.0599
0.0597	49.0	1225	0.3931	0.835	0.2502	1.4578	0.835	0.8203	0.1963	0.0606
0.0597	50.0	1250	0.3932	0.835	0.2504	1.4475	0.835	0.8203	0.1996	0.0604
0.0597	51.0	1275	0.3928	0.835	0.2500	1.3382	0.835	0.8203	0.2002	0.0609
0.0597	52.0	1300	0.3933	0.83	0.2502	1.4424	0.83	0.8164	0.1991	0.0597
0.0597	53.0	1325	0.3933	0.83	0.2502	1.3390	0.83	0.8164	0.1965	0.0604
0.0597	54.0	1350	0.3929	0.83	0.2502	1.3351	0.83	0.8164	0.1914	0.0608
0.0597	55.0	1375	0.3932	0.83	0.2503	1.3422	0.83	0.8164	0.1969	0.0608
0.0597	56.0	1400	0.3934	0.83	0.2506	1.3369	0.83	0.8164	0.1950	0.0599
0.0597	57.0	1425	0.3930	0.83	0.2502	1.3829	0.83	0.8164	0.1966	0.0603
0.0597	58.0	1450	0.3930	0.835	0.2503	1.3219	0.835	0.8203	0.1907	0.0607
0.0597	59.0	1475	0.3930	0.83	0.2504	1.3268	0.83	0.8164	0.1919	0.0599
0.0574	60.0	1500	0.3933	0.835	0.2505	1.3242	0.835	0.8203	0.1913	0.0601
0.0574	61.0	1525	0.3930	0.83	0.2504	1.3205	0.83	0.8164	0.1943	0.0607
0.0574	62.0	1550	0.3930	0.83	0.2504	1.3189	0.83	0.8164	0.1947	0.0608
0.0574	63.0	1575	0.3931	0.83	0.2504	1.3197	0.83	0.8164	0.1917	0.0600
0.0574	64.0	1600	0.3931	0.835	0.2505	1.3200	0.835	0.8203	0.1904	0.0597
0.0574	65.0	1625	0.3932	0.83	0.2505	1.3175	0.83	0.8164	0.1915	0.0601
0.0574	66.0	1650	0.3931	0.83	0.2506	1.3200	0.83	0.8164	0.1917	0.0608
0.0574	67.0	1675	0.3929	0.83	0.2503	1.3188	0.83	0.8164	0.1940	0.0598
0.0574	68.0	1700	0.3931	0.83	0.2505	1.3160	0.83	0.8164	0.1913	0.0599
0.0574	69.0	1725	0.3931	0.83	0.2505	1.3161	0.83	0.8164	0.1941	0.0598
0.0574	70.0	1750	0.3932	0.83	0.2506	1.3171	0.83	0.8164	0.1961	0.0608
0.0574	71.0	1775	0.3930	0.83	0.2506	1.3161	0.83	0.8164	0.1913	0.0602
0.0574	72.0	1800	0.3929	0.83	0.2505	1.3155	0.83	0.8164	0.1960	0.0603
0.0574	73.0	1825	0.3930	0.83	0.2506	1.3152	0.83	0.8164	0.1941	0.0601
0.0574	74.0	1850	0.3930	0.83	0.2506	1.3167	0.83	0.8164	0.1940	0.0602
0.0574	75.0	1875	0.3933	0.83	0.2507	1.3148	0.83	0.8164	0.1918	0.0600
0.0574	76.0	1900	0.3930	0.83	0.2505	1.3146	0.83	0.8164	0.1914	0.0602
0.0574	77.0	1925	0.3930	0.83	0.2505	1.3147	0.83	0.8164	0.1914	0.0598
0.0574	78.0	1950	0.3931	0.83	0.2506	1.3134	0.83	0.8164	0.1942	0.0601
0.0574	79.0	1975	0.3931	0.83	0.2505	1.3137	0.83	0.8164	0.1916	0.0598
0.0573	80.0	2000	0.3931	0.83	0.2506	1.3136	0.83	0.8164	0.1915	0.0601
0.0573	81.0	2025	0.3932	0.83	0.2506	1.3132	0.83	0.8164	0.1915	0.0607
0.0573	82.0	2050	0.3933	0.83	0.2507	1.3142	0.83	0.8164	0.1943	0.0603
0.0573	83.0	2075	0.3933	0.83	0.2507	1.3135	0.83	0.8164	0.1916	0.0603
0.0573	84.0	2100	0.3931	0.83	0.2506	1.3124	0.83	0.8164	0.1914	0.0601
0.0573	85.0	2125	0.3931	0.83	0.2507	1.3128	0.83	0.8164	0.1915	0.0602
0.0573	86.0	2150	0.3931	0.83	0.2506	1.3128	0.83	0.8164	0.1916	0.0602
0.0573	87.0	2175	0.3932	0.83	0.2507	1.3130	0.83	0.8164	0.1943	0.0602
0.0573	88.0	2200	0.3932	0.83	0.2507	1.3123	0.83	0.8164	0.1915	0.0602
0.0573	89.0	2225	0.3932	0.83	0.2507	1.3123	0.83	0.8164	0.1915	0.0599
0.0573	90.0	2250	0.3931	0.83	0.2507	1.3119	0.83	0.8164	0.1915	0.0602
0.0573	91.0	2275	0.3932	0.83	0.2507	1.3121	0.83	0.8164	0.1915	0.0602
0.0573	92.0	2300	0.3932	0.83	0.2507	1.3117	0.83	0.8164	0.1915	0.0601
0.0573	93.0	2325	0.3931	0.83	0.2507	1.3117	0.83	0.8164	0.1915	0.0602
0.0573	94.0	2350	0.3932	0.83	0.2507	1.3120	0.83	0.8164	0.1915	0.0602
0.0573	95.0	2375	0.3932	0.83	0.2507	1.3120	0.83	0.8164	0.1916	0.0602
0.0573	96.0	2400	0.3932	0.83	0.2507	1.3119	0.83	0.8164	0.1915	0.0602
0.0573	97.0	2425	0.3932	0.83	0.2507	1.3118	0.83	0.8164	0.1915	0.0601
0.0573	98.0	2450	0.3932	0.83	0.2507	1.3117	0.83	0.8164	0.1915	0.0602
0.0573	99.0	2475	0.3932	0.83	0.2507	1.3118	0.83	0.8164	0.1915	0.0602
0.0573	100.0	2500	0.3932	0.83	0.2507	1.3117	0.83	0.8164	0.1915	0.0602

Framework versions

• Transformers 4.30.2
• Pytorch 1.13.1
• Datasets 2.13.1
• Tokenizers 0.13.3