FlanT5-Medical-QA-LoRA

This model is a fine-tuned version of google/flan-t5-base on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: nan

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0005
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss
No log	0.0168	10	2.6777
No log	0.0337	20	2.625
No log	0.0505	30	2.5820
No log	0.0673	40	2.5566
No log	0.0842	50	2.5391
No log	0.1010	60	2.5020
No log	0.1178	70	2.4824
No log	0.1347	80	2.4609
No log	0.1515	90	2.4668
2.9267	0.1684	100	2.4453
2.9267	0.1852	110	2.4375
2.9267	0.2020	120	2.4199
2.9267	0.2189	130	2.4082
2.9267	0.2357	140	2.3984
2.9267	0.2525	150	2.3770
2.9267	0.2694	160	2.375
2.9267	0.2862	170	2.3574
2.9267	0.3030	180	2.3574
2.9267	0.3199	190	2.3398
2.7261	0.3367	200	2.3281
2.7261	0.3535	210	2.3125
2.7261	0.3704	220	2.3027
2.7261	0.3872	230	2.2930
2.7261	0.4040	240	2.2930
2.7261	0.4209	250	2.2676
2.7261	0.4377	260	2.2676
2.7261	0.4545	270	2.2578
2.7261	0.4714	280	2.2617
2.7261	0.4882	290	2.2539
2.6159	0.5051	300	2.2402
2.6159	0.5219	310	2.2344
2.6159	0.5387	320	2.2363
2.6159	0.5556	330	2.2266
2.6159	0.5724	340	2.2188
2.6159	0.5892	350	2.2266
2.6159	0.6061	360	2.2031
2.6159	0.6229	370	2.1953
2.6159	0.6397	380	2.1914
2.6159	0.6566	390	2.1855
2.5187	0.6734	400	2.1836
2.5187	0.6902	410	2.1836
2.5187	0.7071	420	2.1738
2.5187	0.7239	430	2.1738
2.5187	0.7407	440	2.1621
2.5187	0.7576	450	2.1621
2.5187	0.7744	460	2.1621
2.5187	0.7912	470	2.1445
2.5187	0.8081	480	2.1465
2.5187	0.8249	490	2.1367
2.4576	0.8418	500	2.1445
2.4576	0.8586	510	2.1484
2.4576	0.8754	520	2.1328
2.4576	0.8923	530	2.1348
2.4576	0.9091	540	2.1270
2.4576	0.9259	550	2.125
2.4576	0.9428	560	2.1172
2.4576	0.9596	570	2.1191
2.4576	0.9764	580	2.1152
2.4576	0.9933	590	2.1230
2.4285	1.0101	600	2.1113
2.4285	1.0269	610	2.1055
2.4285	1.0438	620	2.1152
2.4285	1.0606	630	2.1094
2.4285	1.0774	640	2.1016
2.4285	1.0943	650	2.0977
2.4285	1.1111	660	2.0918
2.4285	1.1279	670	2.0977
2.4285	1.1448	680	2.0996
2.4285	1.1616	690	2.1035
2.3754	1.1785	700	2.0957
2.3754	1.1953	710	2.0938
2.3754	1.2121	720	2.1035
2.3754	1.2290	730	2.0996
2.3754	1.2458	740	2.1016
2.3754	1.2626	750	2.0977
2.3754	1.2795	760	2.1113
2.3754	1.2963	770	2.1074
2.3754	1.3131	780	2.1172
2.3754	1.3300	790	2.1230
2.404	1.3468	800	2.1426
2.404	1.3636	810	2.1406
2.404	1.3805	820	nan
2.404	1.3973	830	nan
2.404	1.4141	840	nan
2.404	1.4310	850	nan
2.404	1.4478	860	nan
2.404	1.4646	870	nan
2.404	1.4815	880	nan
2.404	1.4983	890	nan
2.3092	1.5152	900	nan
2.3092	1.5320	910	nan
2.3092	1.5488	920	nan
2.3092	1.5657	930	nan
2.3092	1.5825	940	nan
2.3092	1.5993	950	nan
2.3092	1.6162	960	nan
2.3092	1.6330	970	nan
2.3092	1.6498	980	nan
2.3092	1.6667	990	nan
0.0	1.6835	1000	nan
0.0	1.7003	1010	nan
0.0	1.7172	1020	nan
0.0	1.7340	1030	nan
0.0	1.7508	1040	nan
0.0	1.7677	1050	nan
0.0	1.7845	1060	nan
0.0	1.8013	1070	nan
0.0	1.8182	1080	nan
0.0	1.8350	1090	nan
0.0	1.8519	1100	nan
0.0	1.8687	1110	nan
0.0	1.8855	1120	nan
0.0	1.9024	1130	nan
0.0	1.9192	1140	nan
0.0	1.9360	1150	nan
0.0	1.9529	1160	nan
0.0	1.9697	1170	nan
0.0	1.9865	1180	nan
0.0	2.0034	1190	nan
0.0	2.0202	1200	nan
0.0	2.0370	1210	nan
0.0	2.0539	1220	nan
0.0	2.0707	1230	nan
0.0	2.0875	1240	nan
0.0	2.1044	1250	nan
0.0	2.1212	1260	nan
0.0	2.1380	1270	nan
0.0	2.1549	1280	nan
0.0	2.1717	1290	nan
0.0	2.1886	1300	nan
0.0	2.2054	1310	nan
0.0	2.2222	1320	nan
0.0	2.2391	1330	nan
0.0	2.2559	1340	nan
0.0	2.2727	1350	nan
0.0	2.2896	1360	nan
0.0	2.3064	1370	nan
0.0	2.3232	1380	nan
0.0	2.3401	1390	nan
0.0	2.3569	1400	nan
0.0	2.3737	1410	nan
0.0	2.3906	1420	nan
0.0	2.4074	1430	nan
0.0	2.4242	1440	nan
0.0	2.4411	1450	nan
0.0	2.4579	1460	nan
0.0	2.4747	1470	nan
0.0	2.4916	1480	nan
0.0	2.5084	1490	nan
0.0	2.5253	1500	nan
0.0	2.5421	1510	nan
0.0	2.5589	1520	nan
0.0	2.5758	1530	nan
0.0	2.5926	1540	nan
0.0	2.6094	1550	nan
0.0	2.6263	1560	nan
0.0	2.6431	1570	nan
0.0	2.6599	1580	nan
0.0	2.6768	1590	nan
0.0	2.6936	1600	nan
0.0	2.7104	1610	nan
0.0	2.7273	1620	nan
0.0	2.7441	1630	nan
0.0	2.7609	1640	nan
0.0	2.7778	1650	nan
0.0	2.7946	1660	nan
0.0	2.8114	1670	nan
0.0	2.8283	1680	nan
0.0	2.8451	1690	nan
0.0	2.8620	1700	nan
0.0	2.8788	1710	nan
0.0	2.8956	1720	nan
0.0	2.9125	1730	nan
0.0	2.9293	1740	nan
0.0	2.9461	1750	nan
0.0	2.9630	1760	nan
0.0	2.9798	1770	nan
0.0	2.9966	1780	nan
0.0	3.0135	1790	nan
0.0	3.0303	1800	nan
0.0	3.0471	1810	nan
0.0	3.0640	1820	nan
0.0	3.0808	1830	nan
0.0	3.0976	1840	nan
0.0	3.1145	1850	nan
0.0	3.1313	1860	nan
0.0	3.1481	1870	nan
0.0	3.1650	1880	nan
0.0	3.1818	1890	nan
0.0	3.1987	1900	nan
0.0	3.2155	1910	nan
0.0	3.2323	1920	nan
0.0	3.2492	1930	nan
0.0	3.2660	1940	nan
0.0	3.2828	1950	nan
0.0	3.2997	1960	nan
0.0	3.3165	1970	nan
0.0	3.3333	1980	nan
0.0	3.3502	1990	nan
0.0	3.3670	2000	nan
0.0	3.3838	2010	nan
0.0	3.4007	2020	nan
0.0	3.4175	2030	nan
0.0	3.4343	2040	nan
0.0	3.4512	2050	nan
0.0	3.4680	2060	nan
0.0	3.4848	2070	nan
0.0	3.5017	2080	nan
0.0	3.5185	2090	nan
0.0	3.5354	2100	nan
0.0	3.5522	2110	nan
0.0	3.5690	2120	nan
0.0	3.5859	2130	nan
0.0	3.6027	2140	nan
0.0	3.6195	2150	nan
0.0	3.6364	2160	nan
0.0	3.6532	2170	nan
0.0	3.6700	2180	nan
0.0	3.6869	2190	nan
0.0	3.7037	2200	nan
0.0	3.7205	2210	nan
0.0	3.7374	2220	nan
0.0	3.7542	2230	nan
0.0	3.7710	2240	nan
0.0	3.7879	2250	nan
0.0	3.8047	2260	nan
0.0	3.8215	2270	nan
0.0	3.8384	2280	nan
0.0	3.8552	2290	nan
0.0	3.8721	2300	nan
0.0	3.8889	2310	nan
0.0	3.9057	2320	nan
0.0	3.9226	2330	nan
0.0	3.9394	2340	nan
0.0	3.9562	2350	nan
0.0	3.9731	2360	nan
0.0	3.9899	2370	nan
0.0	4.0067	2380	nan
0.0	4.0236	2390	nan
0.0	4.0404	2400	nan
0.0	4.0572	2410	nan
0.0	4.0741	2420	nan
0.0	4.0909	2430	nan
0.0	4.1077	2440	nan
0.0	4.1246	2450	nan
0.0	4.1414	2460	nan
0.0	4.1582	2470	nan
0.0	4.1751	2480	nan
0.0	4.1919	2490	nan
0.0	4.2088	2500	nan
0.0	4.2256	2510	nan
0.0	4.2424	2520	nan
0.0	4.2593	2530	nan
0.0	4.2761	2540	nan
0.0	4.2929	2550	nan
0.0	4.3098	2560	nan
0.0	4.3266	2570	nan
0.0	4.3434	2580	nan
0.0	4.3603	2590	nan
0.0	4.3771	2600	nan
0.0	4.3939	2610	nan
0.0	4.4108	2620	nan
0.0	4.4276	2630	nan
0.0	4.4444	2640	nan
0.0	4.4613	2650	nan
0.0	4.4781	2660	nan
0.0	4.4949	2670	nan
0.0	4.5118	2680	nan
0.0	4.5286	2690	nan
0.0	4.5455	2700	nan
0.0	4.5623	2710	nan
0.0	4.5791	2720	nan
0.0	4.5960	2730	nan
0.0	4.6128	2740	nan
0.0	4.6296	2750	nan
0.0	4.6465	2760	nan
0.0	4.6633	2770	nan
0.0	4.6801	2780	nan
0.0	4.6970	2790	nan
0.0	4.7138	2800	nan
0.0	4.7306	2810	nan
0.0	4.7475	2820	nan
0.0	4.7643	2830	nan
0.0	4.7811	2840	nan
0.0	4.7980	2850	nan
0.0	4.8148	2860	nan
0.0	4.8316	2870	nan
0.0	4.8485	2880	nan
0.0	4.8653	2890	nan
0.0	4.8822	2900	nan
0.0	4.8990	2910	nan
0.0	4.9158	2920	nan
0.0	4.9327	2930	nan
0.0	4.9495	2940	nan
0.0	4.9663	2950	nan
0.0	4.9832	2960	nan
0.0	5.0	2970	nan

Framework versions

• PEFT 0.12.0
• Transformers 4.43.2
• Pytorch 1.13.1+cu117
• Datasets 2.19.2
• Tokenizers 0.19.1