qwenvl-2B-cadica-detect-classify-augmented

This model is a fine-tuned version of ben81828/CADICA_qwenvl_direction on the CADICA狹窄分析選擇題scale6(TRAIN), the CADICA狹窄分析千問定位但不分類題scale6(TRAIN), the CADICA狹窄分析千問定位加分類題scale6(TRAIN) and the CADICA狹窄分析千問定位加分類題scale6(多分類版) datasets. It achieves the following results on the evaluation set:

• Loss: 0.0409
• Num Input Tokens Seen: 109273408

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0001
• train_batch_size: 1
• eval_batch_size: 1
• seed: 42
• distributed_type: multi-GPU
• num_devices: 4
• gradient_accumulation_steps: 4
• total_train_batch_size: 16
• total_eval_batch_size: 4
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: cosine
• lr_scheduler_warmup_ratio: 0.05
• num_epochs: 2

Training results

Training Loss	Epoch	Step	Validation Loss	Input Tokens Seen
1.0351	0.0092	50	0.9697	502368
0.8279	0.0123	100	0.9583	838824
0.7354	0.0184	150	0.9016	1173256
0.7706	0.0245	200	0.9173	1509888
0.7321	0.0306	250	0.9278	1845992
0.7602	0.0368	300	0.9220	2181624
0.7052	0.0429	350	0.8992	2516008
0.709	0.0490	400	0.8526	2852080
0.7008	0.0551	450	0.8277	3187536
0.6225	0.0613	500	0.8026	3521680
0.6115	0.0674	550	0.8089	3858752
0.6367	0.0735	600	0.6893	4195632
0.6238	0.0796	650	0.7062	4530824
0.6897	0.0858	700	0.6905	4867048
0.6515	0.0919	750	0.7263	5203408
0.6221	0.0980	800	0.6958	5540920
0.6148	0.1041	850	0.6982	5876600
0.5434	0.1103	900	0.6622	6209928
0.5729	0.1164	950	0.6742	6544656
0.55	0.1225	1000	0.7235	6880016
0.5312	0.1286	1050	0.6906	7215776
0.5307	0.1348	1100	0.6174	7552920
0.5403	0.1409	1150	0.6082	7889016
0.4855	0.1470	1200	0.7278	8226648
0.604	0.1531	1250	0.6422	8560104
0.5032	0.1593	1300	0.6432	8895088
0.5053	0.1654	1350	0.5728	9231680
0.4987	0.1715	1400	0.4716	9566000
0.44	0.1776	1450	0.5081	9899080
0.4207	0.1838	1500	0.5099	10234856
0.4664	0.1899	1550	0.4264	10570832
0.4713	0.1960	1600	0.5039	10907608
0.4385	0.2021	1650	0.4519	11243856
0.4487	0.2083	1700	0.4961	11578832
0.5235	0.2144	1750	0.4233	11916256
0.4561	0.2205	1800	0.3055	12251696
0.7805	0.2266	1850	0.9060	12329936
0.7445	0.2328	1900	0.9241	12410504
0.4354	0.2389	1950	0.3601	12744416
0.3997	0.2450	2000	0.3850	13081512
0.4267	0.2511	2050	0.4942	13417048
0.4008	0.2573	2100	0.3596	13752680
0.3858	0.2634	2150	0.3145	14090488
0.3598	0.2695	2200	0.3024	14427600
0.4352	0.2756	2250	0.2756	14761264
0.3788	0.2818	2300	0.2339	15098096
0.4806	0.2879	2350	0.2824	15434176
0.3893	0.2940	2400	0.2248	15771224
0.4445	0.3001	2450	0.2686	16106832
0.4099	0.3063	2500	0.2817	16439616
0.4017	0.3124	2550	0.2489	16774544
0.4698	0.3185	2600	0.2082	17108368
0.3722	0.3246	2650	0.2305	17440920
0.4018	0.3308	2700	0.2039	17774336
0.3938	0.3369	2750	0.1895	18110672
0.4413	0.3430	2800	0.1982	18446936
0.4121	0.3491	2850	0.1917	18784560
0.4081	0.3553	2900	0.1643	19120400
0.3425	0.3614	2950	0.1402	19455392
0.3874	0.3675	3000	0.1695	19790096
0.3706	0.3736	3050	0.5082	20126152
0.372	0.3798	3100	0.2745	20460696
0.3967	0.3859	3150	0.4526	20798040
0.4331	0.3920	3200	0.2645	21133184
0.3708	0.3982	3250	0.3506	21468896
0.3826	0.4043	3300	0.4239	21805544
0.4719	0.4104	3350	0.3365	22140064
0.452	0.4165	3400	0.3813	22477472
0.4566	0.4227	3450	0.4307	22813528
0.4345	0.4288	3500	0.2863	23149384
0.4101	0.4349	3550	0.3331	23484072
0.3588	0.4410	3600	0.2864	23819160
0.4439	0.4472	3650	0.3061	24153672
0.3865	0.4533	3700	0.3225	24489272
0.4547	0.4594	3750	0.3295	24825512
0.3747	0.4655	3800	0.3077	25159152
0.3792	0.4717	3850	0.2219	25495704
0.4111	0.4778	3900	0.4086	25831784
0.3546	0.4839	3950	0.3134	26167704
0.3654	0.4900	4000	0.2169	26502544
0.4304	0.4962	4050	0.5119	26837152
0.3471	0.5023	4100	0.2077	27173784
0.3778	0.5084	4150	0.2000	27512048
0.3802	0.5145	4200	0.3542	27847792
0.3934	0.5207	4250	0.2707	28184288
0.3213	0.5268	4300	0.1924	28520768
0.33	0.5329	4350	0.3425	28857320
0.4625	0.5390	4400	0.2849	29193456
0.2876	0.5452	4450	0.2151	29528840
0.4329	0.5513	4500	0.1901	29865992
0.2804	0.5574	4550	0.2321	30203424
0.3363	0.5635	4600	0.3674	30539672
0.2994	0.5697	4650	0.2758	30875840
0.3163	0.5758	4700	0.1808	31211360
0.307	0.5819	4750	0.2218	31547504
0.2896	0.5880	4800	0.1988	31883816
0.3107	0.5942	4850	0.3321	32220000
0.3079	0.6003	4900	0.2283	32556072
0.3462	0.6064	4950	0.1940	32893512
0.3169	0.6125	5000	0.1667	33229224
0.3488	0.6187	5050	0.2974	33566056
0.3996	0.6248	5100	0.3156	33901184
0.3088	0.6309	5150	0.2916	34238496
0.2997	0.6370	5200	0.1866	34574624
0.2817	0.6432	5250	0.1596	34912360
0.2997	0.6493	5300	0.1109	35251096
0.3163	0.6554	5350	0.1871	35586128
0.3341	0.6615	5400	0.2025	35922304
0.3126	0.6677	5450	0.2031	36256800
0.3145	0.6738	5500	0.1359	36589616
0.337	0.6799	5550	0.0910	36922056
0.2861	0.6860	5600	0.1660	37258136
0.383	0.6922	5650	0.1563	37594912
0.3001	0.6983	5700	0.1474	37928296
0.3218	0.7044	5750	0.0744	38264144
0.2762	0.7105	5800	0.2445	38601128
0.2624	0.7167	5850	0.1623	38939296
0.3096	0.7228	5900	0.2001	39275432
0.2848	0.7289	5950	0.3087	39611784
0.3025	0.7350	6000	0.1440	39947544
0.2845	0.7412	6050	0.2630	40284288
0.3172	0.7473	6100	0.1639	40619872
0.2963	0.7534	6150	0.1575	40956544
0.307	0.7595	6200	0.1483	41291792
0.2854	0.7657	6250	0.0887	41626144
0.2569	0.7718	6300	0.0886	41961432
0.2468	0.7779	6350	0.1457	42296360
0.2472	0.7840	6400	0.1291	42631184
0.2823	0.7902	6450	0.0856	42967536
0.2839	0.7963	6500	0.2149	43302272
0.2764	0.8024	6550	0.1513	43636808
0.308	0.8086	6600	0.1945	43971808
0.2873	0.8147	6650	0.1392	44306360
0.2768	0.8208	6700	0.0993	44641896
0.2599	0.8269	6750	0.1032	44976072
0.2864	0.8331	6800	0.1126	45313600
0.3468	0.8392	6850	0.1131	45647976
0.2933	0.8453	6900	0.0485	45983624
0.3528	0.8514	6950	0.0545	46317728
0.2581	0.8576	7000	0.1109	46653728
0.2281	0.8637	7050	0.0945	46990264
0.3067	0.8698	7100	0.1614	47326520
0.3548	0.8759	7150	0.1315	47661416
0.2941	0.8821	7200	0.1618	47997384
0.3044	0.8882	7250	0.1016	48333536
0.3151	0.8943	7300	0.0798	48670648
0.2531	0.9004	7350	0.1939	49007448
0.2813	0.9066	7400	0.1209	49343416
0.2411	0.9127	7450	0.1368	49681144
0.2807	0.9188	7500	0.1769	50016856
0.2508	0.9249	7550	0.3213	50351504
0.3394	0.9311	7600	0.2350	50687088
0.2424	0.9372	7650	0.1906	51023288
0.2568	0.9433	7700	0.2279	51359824
0.2863	0.9494	7750	0.2018	51692760
0.3015	0.9556	7800	0.1776	52029952
0.2331	0.9617	7850	0.1693	52365160
0.2669	0.9678	7900	0.1097	52702264
0.2606	0.9739	7950	0.1921	53040192
0.2426	0.9801	8000	0.2316	53375240
0.2674	0.9862	8050	0.1892	53709056
0.2282	0.9923	8100	0.1428	54044368
0.2573	0.9984	8150	0.1260	54381008
0.2249	1.0047	8200	0.2748	54724208
0.266	1.0108	8250	0.1554	55059128
0.2599	1.0169	8300	0.2275	55394968
0.2485	1.0230	8350	0.2284	55728792
0.2513	1.0292	8400	0.1658	56064312
0.2644	1.0353	8450	0.1767	56398904
0.206	1.0414	8500	0.1608	56732240
0.2414	1.0475	8550	0.2154	57068112
0.2406	1.0537	8600	0.1572	57404752
0.2487	1.0598	8650	0.1030	57738424
0.2314	1.0659	8700	0.1422	58073704
0.2452	1.0720	8750	0.2157	58409256
0.2578	1.0782	8800	0.1382	58743680
0.2266	1.0843	8850	0.1759	59077880
0.2321	1.0904	8900	0.1535	59412496
0.2312	1.0965	8950	0.1411	59746528
0.1656	1.1027	9000	0.2305	60083320
0.2287	1.1088	9050	0.0409	60419128
0.2446	1.1149	9100	0.0738	60755592
0.2335	1.1210	9150	0.1617	61089840
0.2946	1.1272	9200	0.1160	61425936
0.2601	1.1333	9250	0.1967	61760040
0.244	1.1394	9300	0.2100	62094712
0.2379	1.1455	9350	0.1815	62430368
0.2501	1.1517	9400	0.1621	62764152
0.2499	1.1578	9450	0.2628	63100624
0.2128	1.1639	9500	0.1887	63435392
0.2689	1.1700	9550	0.0928	63771112
0.2556	1.1762	9600	0.1148	64107872
0.2527	1.1823	9650	0.1279	64443680
0.2621	1.1884	9700	0.1308	64781416
0.2257	1.1945	9750	0.1204	65118432
0.1952	1.2007	9800	0.1554	65456984
0.2196	1.2068	9850	0.0857	65793256
0.2593	1.2129	9900	0.1237	66127864
0.2589	1.2190	9950	0.1601	66462256
0.2736	1.2252	10000	0.1562	66798760
0.2419	1.2313	10050	0.1298	67134040
0.2574	1.2374	10100	0.2149	67471000
0.2124	1.2435	10150	0.1516	67807536
0.2047	1.2497	10200	0.1625	68143912
0.2368	1.2558	10250	0.1967	68479264
0.2253	1.2619	10300	0.2143	68815336
0.2333	1.2680	10350	0.1691	69150112
0.2009	1.2742	10400	0.3154	69486944
0.2546	1.2803	10450	0.1892	69822376
0.2345	1.2864	10500	0.1686	70158672
0.2319	1.2925	10550	0.1964	70494392
0.2834	1.2987	10600	0.1861	70832136
0.2106	1.3048	10650	0.1499	71167464
0.206	1.3109	10700	0.1902	71501128
0.184	1.3171	10750	0.2411	71837520
0.2369	1.3232	10800	0.1731	72175680
0.2175	1.3293	10850	0.1683	72511424
0.197	1.3354	10900	0.2274	72850512
0.2192	1.3416	10950	0.2132	73187184
0.2141	1.3477	11000	0.1823	73522280
0.2257	1.3538	11050	0.1635	73858104
0.2696	1.3599	11100	0.1337	74191944
0.236	1.3661	11150	0.1495	74528296
0.1875	1.3722	11200	0.1554	74864760
0.2163	1.3783	11250	0.1467	75199264
0.1914	1.3844	11300	0.1255	75535760
0.2302	1.3906	11350	0.1494	75870800
0.2228	1.3967	11400	0.1361	76204736
0.2203	1.4028	11450	0.1399	76541376
0.2274	1.4089	11500	0.1458	76876640
0.2299	1.4151	11550	0.1889	77211216
0.2541	1.4212	11600	0.1574	77549560
0.23	1.4273	11650	0.1772	77884056
0.2303	1.4334	11700	0.1379	78217776
0.2207	1.4396	11750	0.0796	78552600
0.2276	1.4457	11800	0.0746	78888720
0.2157	1.4518	11850	0.0950	79223936
0.2073	1.4579	11900	0.0944	79560856
0.1818	1.4641	11950	0.1088	79898064
0.2189	1.4702	12000	0.0754	80238176
0.2262	1.4763	12050	0.1067	80575888
0.2088	1.4824	12100	0.1276	80912808
0.2078	1.4886	12150	0.1699	81247096
0.2199	1.4947	12200	0.1663	81584816
0.2553	1.5008	12250	0.1567	81919896
0.19	1.5069	12300	0.1380	82256360
0.2405	1.5131	12350	0.1264	82589056
0.2239	1.5192	12400	0.1207	82923840
0.2518	1.5253	12450	0.0994	83260088
0.2383	1.5314	12500	0.0796	83595024
0.2197	1.5376	12550	0.1400	83932352
0.2038	1.5437	12600	0.0906	84265664
0.218	1.5498	12650	0.0806	84599960
0.1887	1.5559	12700	0.0623	84935752
0.2372	1.5621	12750	0.1133	85271648
0.1879	1.5682	12800	0.0905	85607024
0.2275	1.5743	12850	0.1548	85942072
0.2114	1.5804	12900	0.1280	86280424
0.2206	1.5866	12950	0.1442	86616808
0.1829	1.5927	13000	0.1738	86952144
0.1889	1.5988	13050	0.1249	87291504
0.2406	1.6049	13100	0.0886	87627616
0.2467	1.6111	13150	0.0700	87961872
0.2259	1.6172	13200	0.0868	88297128
0.2092	1.6233	13250	0.0834	88633080
0.2285	1.6294	13300	0.1346	88968232
0.1994	1.6356	13350	0.1441	89304224
0.2202	1.6417	13400	0.1252	89640800
0.1682	1.6478	13450	0.1300	89978672
0.1801	1.6539	13500	0.1171	90313896
0.2621	1.6601	13550	0.0907	90650056
0.2048	1.6662	13600	0.0910	90985192
0.205	1.6723	13650	0.0788	91319000
0.2343	1.6784	13700	0.1062	91652896
0.2717	1.6846	13750	0.0508	91988016
0.2281	1.6907	13800	0.0541	92323496
0.228	1.6968	13850	0.0950	92657456
0.1996	1.7029	13900	0.0852	92994920
0.2211	1.7091	13950	0.1055	93328616
0.1834	1.7152	14000	0.1114	93666120
0.2246	1.7213	14050	0.1059	94002480
0.2114	1.7275	14100	0.0830	94338656
0.2018	1.7336	14150	0.0667	94676200
0.2196	1.7397	14200	0.0913	95012776
0.2155	1.7458	14250	0.0992	95347128
0.2333	1.7520	14300	0.1203	95683048
0.201	1.7581	14350	0.1104	96018648
0.1886	1.7642	14400	0.1281	96353568
0.1834	1.7703	14450	0.1291	96689680
0.2138	1.7765	14500	0.1210	97026536
0.1703	1.7826	14550	0.1524	97363272
0.2117	1.7887	14600	0.1315	97698864
0.1927	1.7948	14650	0.1304	98032608
0.184	1.8010	14700	0.1314	98372656
0.2065	1.8071	14750	0.1108	98710624
0.2039	1.8132	14800	0.0866	99045480
0.1985	1.8193	14850	0.0991	99382520
0.1867	1.8255	14900	0.1001	99719032
0.1983	1.8316	14950	0.0714	100053904
0.1842	1.8377	15000	0.0890	100392776
0.1583	1.8438	15050	0.0874	100729000
0.2087	1.8500	15100	0.0720	101066288
0.1811	1.8561	15150	0.0913	101401720
0.1989	1.8622	15200	0.0903	101737120
0.217	1.8683	15250	0.0823	102072288
0.1836	1.8745	15300	0.0956	102406408
0.1769	1.8806	15350	0.0825	102744360
0.1906	1.8867	15400	0.1028	103079768
0.2168	1.8928	15450	0.0789	103412640
0.2276	1.8990	15500	0.1178	103749376
0.1944	1.9051	15550	0.1140	104083336
0.1814	1.9112	15600	0.1101	104417928
0.1527	1.9173	15650	0.1000	104753392
0.2245	1.9235	15700	0.1158	105087584
0.209	1.9296	15750	0.1129	105422368
0.2102	1.9357	15800	0.1314	105757576
0.2344	1.9418	15850	0.1083	106094464
0.1837	1.9480	15900	0.1030	106427400
0.2315	1.9541	15950	0.1218	106761720
0.2309	1.9602	16000	0.1292	107096336
0.2081	1.9663	16050	0.1100	107433008
0.1759	1.9725	16100	0.1234	107770392
0.1927	1.9786	16150	0.1271	108105848
0.1823	1.9847	16200	0.1048	108441584
0.2257	1.9908	16250	0.1318	108775784
0.2158	1.9970	16300	0.1146	109112120

Framework versions

• PEFT 0.12.0
• Transformers 4.47.0.dev0
• Pytorch 2.5.1+cu121
• Datasets 3.1.0
• Tokenizers 0.20.3