distilbert_dair-ai_emotion_20240730_e200_cos

This model is a fine-tuned version of distilbert/distilbert-base-uncased on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.1545
• Accuracy: 0.9335

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-06
• train_batch_size: 1024
• eval_batch_size: 1024
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: cosine
• num_epochs: 200

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
No log	1.0	16	1.7418	0.335
No log	2.0	32	1.6860	0.3625
No log	3.0	48	1.6254	0.3725
No log	4.0	64	1.5756	0.411
No log	5.0	80	1.5338	0.487
No log	6.0	96	1.4798	0.5365
No log	7.0	112	1.4089	0.555
No log	8.0	128	1.3380	0.567
No log	9.0	144	1.2720	0.5755
No log	10.0	160	1.2150	0.585
No log	11.0	176	1.1661	0.589
No log	12.0	192	1.1208	0.5915
No log	13.0	208	1.0786	0.5955
No log	14.0	224	1.0326	0.6165
No log	15.0	240	0.9854	0.6505
No log	16.0	256	0.9335	0.68
No log	17.0	272	0.8841	0.714
No log	18.0	288	0.8320	0.7355
No log	19.0	304	0.7836	0.753
No log	20.0	320	0.7387	0.7655
No log	21.0	336	0.6940	0.778
No log	22.0	352	0.6521	0.7855
No log	23.0	368	0.6126	0.7985
No log	24.0	384	0.5754	0.8155
No log	25.0	400	0.5410	0.835
No log	26.0	416	0.5092	0.856
No log	27.0	432	0.4783	0.872
No log	28.0	448	0.4508	0.8795
No log	29.0	464	0.4263	0.883
No log	30.0	480	0.4038	0.89
No log	31.0	496	0.3841	0.8985
1.0055	32.0	512	0.3654	0.9055
1.0055	33.0	528	0.3473	0.9065
1.0055	34.0	544	0.3320	0.91
1.0055	35.0	560	0.3178	0.913
1.0055	36.0	576	0.3047	0.9135
1.0055	37.0	592	0.2935	0.917
1.0055	38.0	608	0.2833	0.917
1.0055	39.0	624	0.2735	0.917
1.0055	40.0	640	0.2642	0.9195
1.0055	41.0	656	0.2565	0.92
1.0055	42.0	672	0.2515	0.923
1.0055	43.0	688	0.2428	0.9255
1.0055	44.0	704	0.2373	0.9285
1.0055	45.0	720	0.2329	0.925
1.0055	46.0	736	0.2284	0.927
1.0055	47.0	752	0.2231	0.9265
1.0055	48.0	768	0.2212	0.928
1.0055	49.0	784	0.2161	0.9285
1.0055	50.0	800	0.2127	0.9265
1.0055	51.0	816	0.2097	0.927
1.0055	52.0	832	0.2072	0.9275
1.0055	53.0	848	0.2042	0.9265
1.0055	54.0	864	0.2006	0.927
1.0055	55.0	880	0.1990	0.929
1.0055	56.0	896	0.1952	0.93
1.0055	57.0	912	0.1933	0.929
1.0055	58.0	928	0.1921	0.9285
1.0055	59.0	944	0.1901	0.9265
1.0055	60.0	960	0.1892	0.9285
1.0055	61.0	976	0.1875	0.9285
1.0055	62.0	992	0.1854	0.929
0.2277	63.0	1008	0.1832	0.927
0.2277	64.0	1024	0.1829	0.927
0.2277	65.0	1040	0.1809	0.9295
0.2277	66.0	1056	0.1801	0.931
0.2277	67.0	1072	0.1780	0.9285
0.2277	68.0	1088	0.1783	0.931
0.2277	69.0	1104	0.1769	0.9295
0.2277	70.0	1120	0.1761	0.93
0.2277	71.0	1136	0.1734	0.931
0.2277	72.0	1152	0.1726	0.929
0.2277	73.0	1168	0.1716	0.93
0.2277	74.0	1184	0.1700	0.9285
0.2277	75.0	1200	0.1697	0.93
0.2277	76.0	1216	0.1715	0.9285
0.2277	77.0	1232	0.1679	0.93
0.2277	78.0	1248	0.1684	0.9305
0.2277	79.0	1264	0.1666	0.9295
0.2277	80.0	1280	0.1661	0.929
0.2277	81.0	1296	0.1665	0.93
0.2277	82.0	1312	0.1651	0.929
0.2277	83.0	1328	0.1658	0.9305
0.2277	84.0	1344	0.1650	0.93
0.2277	85.0	1360	0.1638	0.929
0.2277	86.0	1376	0.1637	0.93
0.2277	87.0	1392	0.1636	0.931
0.2277	88.0	1408	0.1633	0.932
0.2277	89.0	1424	0.1621	0.9305
0.2277	90.0	1440	0.1625	0.9315
0.2277	91.0	1456	0.1611	0.931
0.2277	92.0	1472	0.1615	0.9285
0.2277	93.0	1488	0.1608	0.93
0.1243	94.0	1504	0.1602	0.932
0.1243	95.0	1520	0.1596	0.93
0.1243	96.0	1536	0.1600	0.931
0.1243	97.0	1552	0.1604	0.9305
0.1243	98.0	1568	0.1599	0.9305
0.1243	99.0	1584	0.1608	0.9315
0.1243	100.0	1600	0.1598	0.93
0.1243	101.0	1616	0.1590	0.9305
0.1243	102.0	1632	0.1589	0.932
0.1243	103.0	1648	0.1594	0.931
0.1243	104.0	1664	0.1575	0.931
0.1243	105.0	1680	0.1579	0.9315
0.1243	106.0	1696	0.1573	0.9325
0.1243	107.0	1712	0.1572	0.9315
0.1243	108.0	1728	0.1577	0.931
0.1243	109.0	1744	0.1568	0.9325
0.1243	110.0	1760	0.1568	0.9315
0.1243	111.0	1776	0.1563	0.9325
0.1243	112.0	1792	0.1568	0.93
0.1243	113.0	1808	0.1567	0.931
0.1243	114.0	1824	0.1564	0.931
0.1243	115.0	1840	0.1556	0.9325
0.1243	116.0	1856	0.1562	0.932
0.1243	117.0	1872	0.1554	0.932
0.1243	118.0	1888	0.1555	0.9325
0.1243	119.0	1904	0.1558	0.932
0.1243	120.0	1920	0.1558	0.9315
0.1243	121.0	1936	0.1564	0.9315
0.1243	122.0	1952	0.1557	0.9325
0.1243	123.0	1968	0.1556	0.9335
0.1243	124.0	1984	0.1559	0.9305
0.0959	125.0	2000	0.1559	0.931
0.0959	126.0	2016	0.1555	0.933
0.0959	127.0	2032	0.1560	0.9315
0.0959	128.0	2048	0.1551	0.9345
0.0959	129.0	2064	0.1560	0.9325
0.0959	130.0	2080	0.1552	0.9325
0.0959	131.0	2096	0.1547	0.9335
0.0959	132.0	2112	0.1553	0.932
0.0959	133.0	2128	0.1546	0.935
0.0959	134.0	2144	0.1548	0.9335
0.0959	135.0	2160	0.1552	0.9325
0.0959	136.0	2176	0.1551	0.9345
0.0959	137.0	2192	0.1548	0.933
0.0959	138.0	2208	0.1551	0.932
0.0959	139.0	2224	0.1546	0.933
0.0959	140.0	2240	0.1547	0.9325
0.0959	141.0	2256	0.1548	0.9325
0.0959	142.0	2272	0.1551	0.932
0.0959	143.0	2288	0.1546	0.9325
0.0959	144.0	2304	0.1543	0.934
0.0959	145.0	2320	0.1539	0.935
0.0959	146.0	2336	0.1535	0.9345
0.0959	147.0	2352	0.1544	0.934
0.0959	148.0	2368	0.1545	0.933
0.0959	149.0	2384	0.1542	0.9335
0.0959	150.0	2400	0.1542	0.934
0.0959	151.0	2416	0.1548	0.9325
0.0959	152.0	2432	0.1547	0.933
0.0959	153.0	2448	0.1545	0.9335
0.0959	154.0	2464	0.1545	0.934
0.0959	155.0	2480	0.1548	0.9325
0.0959	156.0	2496	0.1545	0.933
0.0841	157.0	2512	0.1542	0.9345
0.0841	158.0	2528	0.1543	0.9345
0.0841	159.0	2544	0.1546	0.934
0.0841	160.0	2560	0.1546	0.934
0.0841	161.0	2576	0.1545	0.934
0.0841	162.0	2592	0.1543	0.9355
0.0841	163.0	2608	0.1542	0.935
0.0841	164.0	2624	0.1545	0.9345
0.0841	165.0	2640	0.1545	0.9345
0.0841	166.0	2656	0.1547	0.933
0.0841	167.0	2672	0.1545	0.9345
0.0841	168.0	2688	0.1545	0.934
0.0841	169.0	2704	0.1544	0.934
0.0841	170.0	2720	0.1543	0.9345
0.0841	171.0	2736	0.1543	0.9345
0.0841	172.0	2752	0.1544	0.9335
0.0841	173.0	2768	0.1545	0.933
0.0841	174.0	2784	0.1545	0.9335
0.0841	175.0	2800	0.1544	0.934
0.0841	176.0	2816	0.1543	0.9335
0.0841	177.0	2832	0.1543	0.934
0.0841	178.0	2848	0.1543	0.934
0.0841	179.0	2864	0.1543	0.9335
0.0841	180.0	2880	0.1543	0.933
0.0841	181.0	2896	0.1544	0.9335
0.0841	182.0	2912	0.1545	0.9335
0.0841	183.0	2928	0.1545	0.933
0.0841	184.0	2944	0.1545	0.9335
0.0841	185.0	2960	0.1545	0.9335
0.0841	186.0	2976	0.1545	0.9335
0.0841	187.0	2992	0.1544	0.9335
0.0802	188.0	3008	0.1544	0.9335
0.0802	189.0	3024	0.1544	0.9335
0.0802	190.0	3040	0.1544	0.9335
0.0802	191.0	3056	0.1545	0.9335
0.0802	192.0	3072	0.1545	0.9335
0.0802	193.0	3088	0.1545	0.9335
0.0802	194.0	3104	0.1545	0.9335
0.0802	195.0	3120	0.1545	0.9335
0.0802	196.0	3136	0.1545	0.9335
0.0802	197.0	3152	0.1545	0.9335
0.0802	198.0	3168	0.1545	0.9335
0.0802	199.0	3184	0.1545	0.9335
0.0802	200.0	3200	0.1545	0.9335

Framework versions

• Transformers 4.38.2
• Pytorch 2.1.2+cu121
• Datasets 2.18.0
• Tokenizers 0.15.2