roberta-large-ner-ghtk-csnew-data-3090-7Aug-1

This model is a fine-tuned version of FacebookAI/xlm-roberta-large on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.4531
• cmt: {'precision': 0.75, 'recall': 0.8571428571428571, 'f1': 0.7999999999999999, 'number': 14}
• Tk: {'precision': 0.5892857142857143, 'recall': 0.28448275862068967, 'f1': 0.3837209302325582, 'number': 116}
• A: {'precision': 0.9521531100478469, 'recall': 0.9521531100478469, 'f1': 0.9521531100478469, 'number': 418}
• Gày: {'precision': 0.675, 'recall': 0.8181818181818182, 'f1': 0.7397260273972603, 'number': 33}
• Gày trừu tượng: {'precision': 0.9049676025917927, 'recall': 0.8972162740899358, 'f1': 0.9010752688172042, 'number': 467}
• Gân hàng: {'precision': 0.8823529411764706, 'recall': 0.8571428571428571, 'f1': 0.8695652173913043, 'number': 35}
• Hương thức thanh toán: {'precision': 1.0, 'recall': 0.9, 'f1': 0.9473684210526316, 'number': 30}
• Hối lượng: {'precision': 0.625, 'recall': 0.4166666666666667, 'f1': 0.5, 'number': 12}
• Iền: {'precision': 0.6956521739130435, 'recall': 0.8205128205128205, 'f1': 0.7529411764705882, 'number': 39}
• Iờ: {'precision': 0.6216216216216216, 'recall': 0.6052631578947368, 'f1': 0.6133333333333333, 'number': 38}
• Mail: {'precision': 0.9074074074074074, 'recall': 1.0, 'f1': 0.9514563106796117, 'number': 294}
• Ã đơn: {'precision': 0.8, 'recall': 0.8442211055276382, 'f1': 0.821515892420538, 'number': 199}
• Ên người: {'precision': 0.5757575757575758, 'recall': 0.6333333333333333, 'f1': 0.6031746031746033, 'number': 30}
• Đt: {'precision': 0.8783505154639175, 'recall': 0.9703872437357631, 'f1': 0.922077922077922, 'number': 878}
• Đt trừu tượng: {'precision': 0.8298755186721992, 'recall': 0.9345794392523364, 'f1': 0.8791208791208791, 'number': 214}
• Ơn vị đo: {'precision': 0.6956521739130435, 'recall': 0.5714285714285714, 'f1': 0.6274509803921569, 'number': 28}
• Ản phẩm cụ thể: {'precision': 0.7931034482758621, 'recall': 0.5476190476190477, 'f1': 0.647887323943662, 'number': 126}
• Ản phẩm trừu tượng: {'precision': 0.6842105263157895, 'recall': 0.6341463414634146, 'f1': 0.6582278481012659, 'number': 41}
• Ịa chỉ cụ thể: {'precision': 0.4626865671641791, 'recall': 0.41333333333333333, 'f1': 0.43661971830985913, 'number': 75}
• Ịa chỉ trừu tượng: {'precision': 0.8064516129032258, 'recall': 0.6666666666666666, 'f1': 0.7299270072992701, 'number': 75}
• Overall Precision: 0.8534
• Overall Recall: 0.8637
• Overall F1: 0.8585
• Overall Accuracy: 0.9399

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2.5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 15

Training results

Training Loss	Epoch	Step	Validation Loss	cmt	Tk	A	Gày	Gày trừu tượng	Gân hàng	Hương thức thanh toán	Hối lượng	Iền	Iờ	Mail	à đơn	Ên người	Đt	Đt trừu tượng	Ơn vị đo	Ản phẩm cụ thể	Ản phẩm trừu tượng	Ịa chỉ cụ thể	Ịa chỉ trừu tượng	Overall Precision	Overall Recall	Overall F1	Overall Accuracy
0.7596	1.0	735	0.3587	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 116}	{'precision': 0.8823529411764706, 'recall': 0.9330143540669856, 'f1': 0.9069767441860465, 'number': 418}	{'precision': 0.49019607843137253, 'recall': 0.7575757575757576, 'f1': 0.5952380952380952, 'number': 33}	{'precision': 0.7817460317460317, 'recall': 0.8436830835117773, 'f1': 0.811534500514933, 'number': 467}	{'precision': 0.6666666666666666, 'recall': 0.34285714285714286, 'f1': 0.4528301886792453, 'number': 35}	{'precision': 0.8333333333333334, 'recall': 0.16666666666666666, 'f1': 0.2777777777777778, 'number': 30}	{'precision': 0.391304347826087, 'recall': 0.75, 'f1': 0.5142857142857143, 'number': 12}	{'precision': 0.5531914893617021, 'recall': 0.6666666666666666, 'f1': 0.6046511627906976, 'number': 39}	{'precision': 0.5454545454545454, 'recall': 0.7894736842105263, 'f1': 0.6451612903225806, 'number': 38}	{'precision': 0.8495575221238938, 'recall': 0.9795918367346939, 'f1': 0.909952606635071, 'number': 294}	{'precision': 0.7286432160804021, 'recall': 0.7286432160804021, 'f1': 0.7286432160804021, 'number': 199}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 30}	{'precision': 0.6962127316680097, 'recall': 0.9840546697038725, 'f1': 0.8154789995280792, 'number': 878}	{'precision': 0.7735849056603774, 'recall': 0.7663551401869159, 'f1': 0.7699530516431926, 'number': 214}	{'precision': 0.75, 'recall': 0.10714285714285714, 'f1': 0.1875, 'number': 28}	{'precision': 0.8461538461538461, 'recall': 0.0873015873015873, 'f1': 0.15827338129496402, 'number': 126}	{'precision': 0.6666666666666666, 'recall': 0.14634146341463414, 'f1': 0.24, 'number': 41}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 75}	{'precision': 0.8, 'recall': 0.5333333333333333, 'f1': 0.64, 'number': 75}	0.7498	0.7628	0.7562	0.8961
0.2765	2.0	1470	0.2734	{'precision': 0.4, 'recall': 0.2857142857142857, 'f1': 0.3333333333333333, 'number': 14}	{'precision': 0.5357142857142857, 'recall': 0.3879310344827586, 'f1': 0.45, 'number': 116}	{'precision': 0.8619246861924686, 'recall': 0.9856459330143541, 'f1': 0.9196428571428571, 'number': 418}	{'precision': 0.5555555555555556, 'recall': 0.15151515151515152, 'f1': 0.2380952380952381, 'number': 33}	{'precision': 0.891566265060241, 'recall': 0.7922912205567452, 'f1': 0.8390022675736961, 'number': 467}	{'precision': 0.7419354838709677, 'recall': 0.6571428571428571, 'f1': 0.6969696969696969, 'number': 35}	{'precision': 0.7666666666666667, 'recall': 0.7666666666666667, 'f1': 0.7666666666666667, 'number': 30}	{'precision': 0.5714285714285714, 'recall': 0.3333333333333333, 'f1': 0.4210526315789474, 'number': 12}	{'precision': 0.7142857142857143, 'recall': 0.2564102564102564, 'f1': 0.3773584905660377, 'number': 39}	{'precision': 0.5081967213114754, 'recall': 0.8157894736842105, 'f1': 0.6262626262626263, 'number': 38}	{'precision': 1.0, 'recall': 0.6632653061224489, 'f1': 0.7975460122699386, 'number': 294}	{'precision': 0.610738255033557, 'recall': 0.914572864321608, 'f1': 0.732394366197183, 'number': 199}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 30}	{'precision': 0.7658450704225352, 'recall': 0.9908883826879271, 'f1': 0.8639523336643495, 'number': 878}	{'precision': 0.7761904761904762, 'recall': 0.7616822429906542, 'f1': 0.768867924528302, 'number': 214}	{'precision': 0.7142857142857143, 'recall': 0.17857142857142858, 'f1': 0.2857142857142857, 'number': 28}	{'precision': 0.9393939393939394, 'recall': 0.24603174603174602, 'f1': 0.38993710691823896, 'number': 126}	{'precision': 0.75, 'recall': 0.21951219512195122, 'f1': 0.339622641509434, 'number': 41}	{'precision': 0.1794871794871795, 'recall': 0.09333333333333334, 'f1': 0.12280701754385964, 'number': 75}	{'precision': 0.803921568627451, 'recall': 0.5466666666666666, 'f1': 0.6507936507936508, 'number': 75}	0.7788	0.7685	0.7736	0.9034
0.1779	3.0	2205	0.2547	{'precision': 0.8181818181818182, 'recall': 0.6428571428571429, 'f1': 0.7200000000000001, 'number': 14}	{'precision': 0.2903225806451613, 'recall': 0.07758620689655173, 'f1': 0.12244897959183675, 'number': 116}	{'precision': 0.9290617848970252, 'recall': 0.9712918660287081, 'f1': 0.9497076023391813, 'number': 418}	{'precision': 0.8, 'recall': 0.6060606060606061, 'f1': 0.689655172413793, 'number': 33}	{'precision': 0.9041095890410958, 'recall': 0.8479657387580299, 'f1': 0.8751381215469614, 'number': 467}	{'precision': 0.7941176470588235, 'recall': 0.7714285714285715, 'f1': 0.782608695652174, 'number': 35}	{'precision': 0.8620689655172413, 'recall': 0.8333333333333334, 'f1': 0.847457627118644, 'number': 30}	{'precision': 0.6666666666666666, 'recall': 0.5, 'f1': 0.5714285714285715, 'number': 12}	{'precision': 0.65, 'recall': 0.3333333333333333, 'f1': 0.4406779661016949, 'number': 39}	{'precision': 0.7142857142857143, 'recall': 0.5263157894736842, 'f1': 0.6060606060606061, 'number': 38}	{'precision': 0.9090909090909091, 'recall': 0.9863945578231292, 'f1': 0.9461663947797716, 'number': 294}	{'precision': 0.7339055793991416, 'recall': 0.8592964824120602, 'f1': 0.7916666666666666, 'number': 199}	{'precision': 0.38461538461538464, 'recall': 0.16666666666666666, 'f1': 0.2325581395348837, 'number': 30}	{'precision': 0.7983425414364641, 'recall': 0.9874715261958997, 'f1': 0.8828920570264766, 'number': 878}	{'precision': 0.898989898989899, 'recall': 0.8317757009345794, 'f1': 0.8640776699029127, 'number': 214}	{'precision': 0.6, 'recall': 0.42857142857142855, 'f1': 0.5, 'number': 28}	{'precision': 0.7538461538461538, 'recall': 0.3888888888888889, 'f1': 0.5130890052356022, 'number': 126}	{'precision': 0.7142857142857143, 'recall': 0.24390243902439024, 'f1': 0.36363636363636365, 'number': 41}	{'precision': 0.2903225806451613, 'recall': 0.12, 'f1': 0.169811320754717, 'number': 75}	{'precision': 0.9047619047619048, 'recall': 0.5066666666666667, 'f1': 0.6495726495726496, 'number': 75}	0.8304	0.8096	0.8199	0.9220
0.1402	4.0	2940	0.2515	{'precision': 0.5882352941176471, 'recall': 0.7142857142857143, 'f1': 0.6451612903225806, 'number': 14}	{'precision': 0.5, 'recall': 0.07758620689655173, 'f1': 0.13432835820895522, 'number': 116}	{'precision': 0.9600997506234414, 'recall': 0.9210526315789473, 'f1': 0.9401709401709402, 'number': 418}	{'precision': 0.6041666666666666, 'recall': 0.8787878787878788, 'f1': 0.7160493827160493, 'number': 33}	{'precision': 0.918552036199095, 'recall': 0.8693790149892934, 'f1': 0.8932893289328933, 'number': 467}	{'precision': 0.8, 'recall': 0.6857142857142857, 'f1': 0.7384615384615385, 'number': 35}	{'precision': 1.0, 'recall': 0.7666666666666667, 'f1': 0.8679245283018869, 'number': 30}	{'precision': 1.0, 'recall': 0.08333333333333333, 'f1': 0.15384615384615385, 'number': 12}	{'precision': 0.6981132075471698, 'recall': 0.9487179487179487, 'f1': 0.8043478260869565, 'number': 39}	{'precision': 0.7777777777777778, 'recall': 0.3684210526315789, 'f1': 0.5, 'number': 38}	{'precision': 0.9078947368421053, 'recall': 0.9387755102040817, 'f1': 0.923076923076923, 'number': 294}	{'precision': 0.676, 'recall': 0.8492462311557789, 'f1': 0.7527839643652562, 'number': 199}	{'precision': 0.5238095238095238, 'recall': 0.36666666666666664, 'f1': 0.4313725490196078, 'number': 30}	{'precision': 0.8847780126849895, 'recall': 0.9533029612756264, 'f1': 0.9177631578947368, 'number': 878}	{'precision': 0.7875, 'recall': 0.883177570093458, 'f1': 0.8325991189427313, 'number': 214}	{'precision': 0.6666666666666666, 'recall': 0.5, 'f1': 0.5714285714285715, 'number': 28}	{'precision': 0.7746478873239436, 'recall': 0.4365079365079365, 'f1': 0.5583756345177664, 'number': 126}	{'precision': 0.625, 'recall': 0.24390243902439024, 'f1': 0.3508771929824561, 'number': 41}	{'precision': 0.13793103448275862, 'recall': 0.05333333333333334, 'f1': 0.07692307692307693, 'number': 75}	{'precision': 0.84, 'recall': 0.56, 'f1': 0.6720000000000002, 'number': 75}	0.8486	0.8049	0.8262	0.9211
0.0972	5.0	3675	0.2669	{'precision': 0.6, 'recall': 0.8571428571428571, 'f1': 0.7058823529411764, 'number': 14}	{'precision': 0.55, 'recall': 0.3793103448275862, 'f1': 0.4489795918367347, 'number': 116}	{'precision': 0.9516908212560387, 'recall': 0.9425837320574163, 'f1': 0.9471153846153847, 'number': 418}	{'precision': 0.6122448979591837, 'recall': 0.9090909090909091, 'f1': 0.7317073170731708, 'number': 33}	{'precision': 0.923963133640553, 'recall': 0.8586723768736617, 'f1': 0.8901220865704772, 'number': 467}	{'precision': 0.84375, 'recall': 0.7714285714285715, 'f1': 0.8059701492537314, 'number': 35}	{'precision': 0.8928571428571429, 'recall': 0.8333333333333334, 'f1': 0.8620689655172413, 'number': 30}	{'precision': 0.5555555555555556, 'recall': 0.4166666666666667, 'f1': 0.4761904761904762, 'number': 12}	{'precision': 0.7857142857142857, 'recall': 0.8461538461538461, 'f1': 0.8148148148148148, 'number': 39}	{'precision': 0.5892857142857143, 'recall': 0.868421052631579, 'f1': 0.7021276595744681, 'number': 38}	{'precision': 0.9102167182662538, 'recall': 1.0, 'f1': 0.9529983792544571, 'number': 294}	{'precision': 0.8028846153846154, 'recall': 0.8391959798994975, 'f1': 0.8206388206388207, 'number': 199}	{'precision': 0.4642857142857143, 'recall': 0.43333333333333335, 'f1': 0.4482758620689655, 'number': 30}	{'precision': 0.8414396887159533, 'recall': 0.9851936218678815, 'f1': 0.9076600209863589, 'number': 878}	{'precision': 0.8024691358024691, 'recall': 0.9112149532710281, 'f1': 0.8533916849015317, 'number': 214}	{'precision': 0.6538461538461539, 'recall': 0.6071428571428571, 'f1': 0.6296296296296297, 'number': 28}	{'precision': 0.7941176470588235, 'recall': 0.42857142857142855, 'f1': 0.5567010309278351, 'number': 126}	{'precision': 0.8333333333333334, 'recall': 0.36585365853658536, 'f1': 0.5084745762711864, 'number': 41}	{'precision': 0.2571428571428571, 'recall': 0.12, 'f1': 0.16363636363636364, 'number': 75}	{'precision': 0.8775510204081632, 'recall': 0.5733333333333334, 'f1': 0.6935483870967741, 'number': 75}	0.8389	0.8463	0.8426	0.9307
0.0804	6.0	4410	0.2324	{'precision': 0.5625, 'recall': 0.6428571428571429, 'f1': 0.6000000000000001, 'number': 14}	{'precision': 0.6310679611650486, 'recall': 0.5603448275862069, 'f1': 0.593607305936073, 'number': 116}	{'precision': 0.9538834951456311, 'recall': 0.9401913875598086, 'f1': 0.9469879518072288, 'number': 418}	{'precision': 0.7222222222222222, 'recall': 0.7878787878787878, 'f1': 0.7536231884057971, 'number': 33}	{'precision': 0.8905263157894737, 'recall': 0.9057815845824411, 'f1': 0.8980891719745222, 'number': 467}	{'precision': 0.7631578947368421, 'recall': 0.8285714285714286, 'f1': 0.7945205479452055, 'number': 35}	{'precision': 1.0, 'recall': 0.9, 'f1': 0.9473684210526316, 'number': 30}	{'precision': 0.5555555555555556, 'recall': 0.4166666666666667, 'f1': 0.4761904761904762, 'number': 12}	{'precision': 0.7115384615384616, 'recall': 0.9487179487179487, 'f1': 0.8131868131868132, 'number': 39}	{'precision': 0.5333333333333333, 'recall': 0.631578947368421, 'f1': 0.5783132530120482, 'number': 38}	{'precision': 0.8855421686746988, 'recall': 1.0, 'f1': 0.9392971246006391, 'number': 294}	{'precision': 0.8333333333333334, 'recall': 0.7788944723618091, 'f1': 0.8051948051948052, 'number': 199}	{'precision': 0.43243243243243246, 'recall': 0.5333333333333333, 'f1': 0.47761194029850745, 'number': 30}	{'precision': 0.8768115942028986, 'recall': 0.9646924829157175, 'f1': 0.918655097613883, 'number': 878}	{'precision': 0.8840579710144928, 'recall': 0.8551401869158879, 'f1': 0.8693586698337292, 'number': 214}	{'precision': 0.7307692307692307, 'recall': 0.6785714285714286, 'f1': 0.7037037037037038, 'number': 28}	{'precision': 0.8, 'recall': 0.4444444444444444, 'f1': 0.5714285714285714, 'number': 126}	{'precision': 0.6818181818181818, 'recall': 0.7317073170731707, 'f1': 0.7058823529411764, 'number': 41}	{'precision': 0.35185185185185186, 'recall': 0.25333333333333335, 'f1': 0.2945736434108527, 'number': 75}	{'precision': 0.8076923076923077, 'recall': 0.56, 'f1': 0.6614173228346457, 'number': 75}	0.8469	0.8536	0.8502	0.9366
0.0548	7.0	5145	0.2896	{'precision': 0.6, 'recall': 0.6428571428571429, 'f1': 0.6206896551724138, 'number': 14}	{'precision': 0.5869565217391305, 'recall': 0.6982758620689655, 'f1': 0.6377952755905512, 'number': 116}	{'precision': 0.9501187648456056, 'recall': 0.9569377990430622, 'f1': 0.9535160905840286, 'number': 418}	{'precision': 0.6363636363636364, 'recall': 0.8484848484848485, 'f1': 0.7272727272727273, 'number': 33}	{'precision': 0.8512396694214877, 'recall': 0.8822269807280514, 'f1': 0.8664563617245006, 'number': 467}	{'precision': 0.7317073170731707, 'recall': 0.8571428571428571, 'f1': 0.7894736842105263, 'number': 35}	{'precision': 0.8529411764705882, 'recall': 0.9666666666666667, 'f1': 0.90625, 'number': 30}	{'precision': 0.5333333333333333, 'recall': 0.6666666666666666, 'f1': 0.5925925925925926, 'number': 12}	{'precision': 0.6862745098039216, 'recall': 0.8974358974358975, 'f1': 0.7777777777777778, 'number': 39}	{'precision': 0.5952380952380952, 'recall': 0.6578947368421053, 'f1': 0.625, 'number': 38}	{'precision': 0.9704797047970479, 'recall': 0.8945578231292517, 'f1': 0.9309734513274337, 'number': 294}	{'precision': 0.6776556776556777, 'recall': 0.9296482412060302, 'f1': 0.7838983050847457, 'number': 199}	{'precision': 0.5, 'recall': 0.5333333333333333, 'f1': 0.5161290322580646, 'number': 30}	{'precision': 0.8723404255319149, 'recall': 0.9806378132118451, 'f1': 0.9233243967828417, 'number': 878}	{'precision': 0.84, 'recall': 0.883177570093458, 'f1': 0.8610478359908884, 'number': 214}	{'precision': 0.696969696969697, 'recall': 0.8214285714285714, 'f1': 0.7540983606557378, 'number': 28}	{'precision': 0.7372881355932204, 'recall': 0.6904761904761905, 'f1': 0.7131147540983607, 'number': 126}	{'precision': 0.78125, 'recall': 0.6097560975609756, 'f1': 0.684931506849315, 'number': 41}	{'precision': 0.3559322033898305, 'recall': 0.28, 'f1': 0.3134328358208956, 'number': 75}	{'precision': 0.7205882352941176, 'recall': 0.6533333333333333, 'f1': 0.6853146853146852, 'number': 75}	0.8206	0.8779	0.8483	0.9330
0.0508	8.0	5880	0.3223	{'precision': 0.7142857142857143, 'recall': 0.7142857142857143, 'f1': 0.7142857142857143, 'number': 14}	{'precision': 0.632183908045977, 'recall': 0.47413793103448276, 'f1': 0.541871921182266, 'number': 116}	{'precision': 0.9588377723970944, 'recall': 0.9473684210526315, 'f1': 0.9530685920577617, 'number': 418}	{'precision': 0.6585365853658537, 'recall': 0.8181818181818182, 'f1': 0.7297297297297297, 'number': 33}	{'precision': 0.8927038626609443, 'recall': 0.8907922912205567, 'f1': 0.8917470525187567, 'number': 467}	{'precision': 0.8378378378378378, 'recall': 0.8857142857142857, 'f1': 0.8611111111111112, 'number': 35}	{'precision': 0.9629629629629629, 'recall': 0.8666666666666667, 'f1': 0.912280701754386, 'number': 30}	{'precision': 0.6, 'recall': 0.25, 'f1': 0.35294117647058826, 'number': 12}	{'precision': 0.723404255319149, 'recall': 0.8717948717948718, 'f1': 0.7906976744186047, 'number': 39}	{'precision': 0.58, 'recall': 0.7631578947368421, 'f1': 0.6590909090909091, 'number': 38}	{'precision': 0.9050632911392406, 'recall': 0.9727891156462585, 'f1': 0.9377049180327869, 'number': 294}	{'precision': 0.8869047619047619, 'recall': 0.7487437185929648, 'f1': 0.8119891008174387, 'number': 199}	{'precision': 0.5172413793103449, 'recall': 0.5, 'f1': 0.5084745762711865, 'number': 30}	{'precision': 0.8900414937759336, 'recall': 0.9772209567198178, 'f1': 0.9315960912052117, 'number': 878}	{'precision': 0.7974683544303798, 'recall': 0.883177570093458, 'f1': 0.8381374722838137, 'number': 214}	{'precision': 0.7142857142857143, 'recall': 0.35714285714285715, 'f1': 0.4761904761904762, 'number': 28}	{'precision': 0.8059701492537313, 'recall': 0.42857142857142855, 'f1': 0.5595854922279793, 'number': 126}	{'precision': 0.8076923076923077, 'recall': 0.5121951219512195, 'f1': 0.6268656716417911, 'number': 41}	{'precision': 0.34782608695652173, 'recall': 0.21333333333333335, 'f1': 0.2644628099173553, 'number': 75}	{'precision': 0.88, 'recall': 0.5866666666666667, 'f1': 0.704, 'number': 75}	0.8599	0.8441	0.8519	0.9370
0.0293	9.0	6615	0.3138	{'precision': 0.5789473684210527, 'recall': 0.7857142857142857, 'f1': 0.6666666666666667, 'number': 14}	{'precision': 0.6197183098591549, 'recall': 0.3793103448275862, 'f1': 0.4705882352941176, 'number': 116}	{'precision': 0.947242206235012, 'recall': 0.9449760765550239, 'f1': 0.9461077844311376, 'number': 418}	{'precision': 0.7368421052631579, 'recall': 0.8484848484848485, 'f1': 0.7887323943661972, 'number': 33}	{'precision': 0.9424460431654677, 'recall': 0.841541755888651, 'f1': 0.8891402714932126, 'number': 467}	{'precision': 0.8888888888888888, 'recall': 0.9142857142857143, 'f1': 0.9014084507042254, 'number': 35}	{'precision': 0.9259259259259259, 'recall': 0.8333333333333334, 'f1': 0.8771929824561403, 'number': 30}	{'precision': 0.5714285714285714, 'recall': 0.6666666666666666, 'f1': 0.6153846153846153, 'number': 12}	{'precision': 0.6818181818181818, 'recall': 0.7692307692307693, 'f1': 0.7228915662650602, 'number': 39}	{'precision': 0.575, 'recall': 0.6052631578947368, 'f1': 0.5897435897435896, 'number': 38}	{'precision': 0.9074074074074074, 'recall': 1.0, 'f1': 0.9514563106796117, 'number': 294}	{'precision': 0.7675438596491229, 'recall': 0.8793969849246231, 'f1': 0.8196721311475411, 'number': 199}	{'precision': 0.5454545454545454, 'recall': 0.6, 'f1': 0.5714285714285713, 'number': 30}	{'precision': 0.8706365503080082, 'recall': 0.9658314350797267, 'f1': 0.9157667386609072, 'number': 878}	{'precision': 0.905940594059406, 'recall': 0.8551401869158879, 'f1': 0.8798076923076923, 'number': 214}	{'precision': 0.6896551724137931, 'recall': 0.7142857142857143, 'f1': 0.7017543859649122, 'number': 28}	{'precision': 0.7865168539325843, 'recall': 0.5555555555555556, 'f1': 0.6511627906976745, 'number': 126}	{'precision': 0.75, 'recall': 0.5121951219512195, 'f1': 0.6086956521739131, 'number': 41}	{'precision': 0.38095238095238093, 'recall': 0.32, 'f1': 0.34782608695652173, 'number': 75}	{'precision': 0.819672131147541, 'recall': 0.6666666666666666, 'f1': 0.7352941176470588, 'number': 75}	0.8535	0.8514	0.8524	0.9387
0.0194	10.0	7350	0.3545	{'precision': 0.6923076923076923, 'recall': 0.6428571428571429, 'f1': 0.6666666666666666, 'number': 14}	{'precision': 0.6222222222222222, 'recall': 0.2413793103448276, 'f1': 0.34782608695652173, 'number': 116}	{'precision': 0.9629629629629629, 'recall': 0.9330143540669856, 'f1': 0.94775212636695, 'number': 418}	{'precision': 0.6829268292682927, 'recall': 0.8484848484848485, 'f1': 0.7567567567567567, 'number': 33}	{'precision': 0.9053763440860215, 'recall': 0.9014989293361885, 'f1': 0.9034334763948498, 'number': 467}	{'precision': 0.8378378378378378, 'recall': 0.8857142857142857, 'f1': 0.8611111111111112, 'number': 35}	{'precision': 0.9259259259259259, 'recall': 0.8333333333333334, 'f1': 0.8771929824561403, 'number': 30}	{'precision': 0.8333333333333334, 'recall': 0.4166666666666667, 'f1': 0.5555555555555556, 'number': 12}	{'precision': 0.725, 'recall': 0.7435897435897436, 'f1': 0.7341772151898733, 'number': 39}	{'precision': 0.71875, 'recall': 0.6052631578947368, 'f1': 0.6571428571428571, 'number': 38}	{'precision': 0.9216300940438872, 'recall': 1.0, 'f1': 0.9592169657422512, 'number': 294}	{'precision': 0.7887323943661971, 'recall': 0.8442211055276382, 'f1': 0.8155339805825242, 'number': 199}	{'precision': 0.65, 'recall': 0.43333333333333335, 'f1': 0.5199999999999999, 'number': 30}	{'precision': 0.8663967611336032, 'recall': 0.9749430523917996, 'f1': 0.917470525187567, 'number': 878}	{'precision': 0.8448275862068966, 'recall': 0.9158878504672897, 'f1': 0.8789237668161435, 'number': 214}	{'precision': 0.75, 'recall': 0.75, 'f1': 0.75, 'number': 28}	{'precision': 0.7906976744186046, 'recall': 0.5396825396825397, 'f1': 0.6415094339622641, 'number': 126}	{'precision': 0.8076923076923077, 'recall': 0.5121951219512195, 'f1': 0.6268656716417911, 'number': 41}	{'precision': 0.40298507462686567, 'recall': 0.36, 'f1': 0.38028169014084506, 'number': 75}	{'precision': 0.8032786885245902, 'recall': 0.6533333333333333, 'f1': 0.7205882352941175, 'number': 75}	0.8575	0.8545	0.8560	0.9401
0.0133	11.0	8085	0.4031	{'precision': 0.75, 'recall': 0.8571428571428571, 'f1': 0.7999999999999999, 'number': 14}	{'precision': 0.6290322580645161, 'recall': 0.33620689655172414, 'f1': 0.43820224719101125, 'number': 116}	{'precision': 0.9419953596287703, 'recall': 0.9712918660287081, 'f1': 0.9564193168433451, 'number': 418}	{'precision': 0.6829268292682927, 'recall': 0.8484848484848485, 'f1': 0.7567567567567567, 'number': 33}	{'precision': 0.9185022026431718, 'recall': 0.892933618843683, 'f1': 0.9055374592833876, 'number': 467}	{'precision': 0.7894736842105263, 'recall': 0.8571428571428571, 'f1': 0.8219178082191781, 'number': 35}	{'precision': 0.9615384615384616, 'recall': 0.8333333333333334, 'f1': 0.8928571428571429, 'number': 30}	{'precision': 0.6, 'recall': 0.5, 'f1': 0.5454545454545454, 'number': 12}	{'precision': 0.725, 'recall': 0.7435897435897436, 'f1': 0.7341772151898733, 'number': 39}	{'precision': 0.6756756756756757, 'recall': 0.6578947368421053, 'f1': 0.6666666666666667, 'number': 38}	{'precision': 0.8888888888888888, 'recall': 0.9795918367346939, 'f1': 0.9320388349514563, 'number': 294}	{'precision': 0.7510917030567685, 'recall': 0.864321608040201, 'f1': 0.8037383177570093, 'number': 199}	{'precision': 0.5333333333333333, 'recall': 0.5333333333333333, 'f1': 0.5333333333333333, 'number': 30}	{'precision': 0.9101731601731602, 'recall': 0.9578587699316629, 'f1': 0.9334073251942285, 'number': 878}	{'precision': 0.8368200836820083, 'recall': 0.9345794392523364, 'f1': 0.8830022075055186, 'number': 214}	{'precision': 0.8125, 'recall': 0.4642857142857143, 'f1': 0.5909090909090908, 'number': 28}	{'precision': 0.8, 'recall': 0.4444444444444444, 'f1': 0.5714285714285714, 'number': 126}	{'precision': 0.6842105263157895, 'recall': 0.6341463414634146, 'f1': 0.6582278481012659, 'number': 41}	{'precision': 0.5, 'recall': 0.3466666666666667, 'f1': 0.4094488188976378, 'number': 75}	{'precision': 0.8166666666666667, 'recall': 0.6533333333333333, 'f1': 0.725925925925926, 'number': 75}	0.8620	0.8552	0.8585	0.9370
0.0106	12.0	8820	0.4308	{'precision': 0.7058823529411765, 'recall': 0.8571428571428571, 'f1': 0.7741935483870968, 'number': 14}	{'precision': 0.6097560975609756, 'recall': 0.43103448275862066, 'f1': 0.5050505050505051, 'number': 116}	{'precision': 0.9605911330049262, 'recall': 0.9330143540669856, 'f1': 0.946601941747573, 'number': 418}	{'precision': 0.6829268292682927, 'recall': 0.8484848484848485, 'f1': 0.7567567567567567, 'number': 33}	{'precision': 0.9100877192982456, 'recall': 0.8886509635974305, 'f1': 0.8992416034669556, 'number': 467}	{'precision': 0.8611111111111112, 'recall': 0.8857142857142857, 'f1': 0.8732394366197184, 'number': 35}	{'precision': 0.9642857142857143, 'recall': 0.9, 'f1': 0.9310344827586207, 'number': 30}	{'precision': 0.5, 'recall': 0.3333333333333333, 'f1': 0.4, 'number': 12}	{'precision': 0.8064516129032258, 'recall': 0.6410256410256411, 'f1': 0.7142857142857142, 'number': 39}	{'precision': 0.6060606060606061, 'recall': 0.5263157894736842, 'f1': 0.5633802816901409, 'number': 38}	{'precision': 0.9137380191693291, 'recall': 0.9727891156462585, 'f1': 0.942339373970346, 'number': 294}	{'precision': 0.776255707762557, 'recall': 0.8542713567839196, 'f1': 0.8133971291866029, 'number': 199}	{'precision': 0.6296296296296297, 'recall': 0.5666666666666667, 'f1': 0.5964912280701755, 'number': 30}	{'precision': 0.8855359001040582, 'recall': 0.969248291571754, 'f1': 0.9255029907558455, 'number': 878}	{'precision': 0.9191919191919192, 'recall': 0.8504672897196262, 'f1': 0.883495145631068, 'number': 214}	{'precision': 0.64, 'recall': 0.5714285714285714, 'f1': 0.6037735849056605, 'number': 28}	{'precision': 0.7951807228915663, 'recall': 0.5238095238095238, 'f1': 0.6315789473684211, 'number': 126}	{'precision': 0.8076923076923077, 'recall': 0.5121951219512195, 'f1': 0.6268656716417911, 'number': 41}	{'precision': 0.4090909090909091, 'recall': 0.36, 'f1': 0.3829787234042554, 'number': 75}	{'precision': 0.8421052631578947, 'recall': 0.64, 'f1': 0.7272727272727272, 'number': 75}	0.8628	0.8495	0.8561	0.9393
0.0065	13.0	9555	0.4561	{'precision': 0.75, 'recall': 0.8571428571428571, 'f1': 0.7999999999999999, 'number': 14}	{'precision': 0.5490196078431373, 'recall': 0.2413793103448276, 'f1': 0.3353293413173653, 'number': 116}	{'precision': 0.9523809523809523, 'recall': 0.9569377990430622, 'f1': 0.9546539379474941, 'number': 418}	{'precision': 0.6511627906976745, 'recall': 0.8484848484848485, 'f1': 0.736842105263158, 'number': 33}	{'precision': 0.8872340425531915, 'recall': 0.892933618843683, 'f1': 0.8900747065101388, 'number': 467}	{'precision': 0.8857142857142857, 'recall': 0.8857142857142857, 'f1': 0.8857142857142857, 'number': 35}	{'precision': 1.0, 'recall': 0.8666666666666667, 'f1': 0.9285714285714286, 'number': 30}	{'precision': 0.625, 'recall': 0.4166666666666667, 'f1': 0.5, 'number': 12}	{'precision': 0.7555555555555555, 'recall': 0.8717948717948718, 'f1': 0.8095238095238095, 'number': 39}	{'precision': 0.6097560975609756, 'recall': 0.6578947368421053, 'f1': 0.6329113924050632, 'number': 38}	{'precision': 0.917981072555205, 'recall': 0.9897959183673469, 'f1': 0.9525368248772504, 'number': 294}	{'precision': 0.7478632478632479, 'recall': 0.8793969849246231, 'f1': 0.8083140877598153, 'number': 199}	{'precision': 0.6296296296296297, 'recall': 0.5666666666666667, 'f1': 0.5964912280701755, 'number': 30}	{'precision': 0.8774459320288363, 'recall': 0.9703872437357631, 'f1': 0.9215792320173066, 'number': 878}	{'precision': 0.8478260869565217, 'recall': 0.9112149532710281, 'f1': 0.8783783783783784, 'number': 214}	{'precision': 0.6538461538461539, 'recall': 0.6071428571428571, 'f1': 0.6296296296296297, 'number': 28}	{'precision': 0.788235294117647, 'recall': 0.5317460317460317, 'f1': 0.6350710900473934, 'number': 126}	{'precision': 0.7027027027027027, 'recall': 0.6341463414634146, 'f1': 0.6666666666666667, 'number': 41}	{'precision': 0.4603174603174603, 'recall': 0.38666666666666666, 'f1': 0.42028985507246375, 'number': 75}	{'precision': 0.819672131147541, 'recall': 0.6666666666666666, 'f1': 0.7352941176470588, 'number': 75}	0.8500	0.8618	0.8558	0.9381
0.0048	14.0	10290	0.4677	{'precision': 0.8, 'recall': 0.8571428571428571, 'f1': 0.8275862068965518, 'number': 14}	{'precision': 0.603448275862069, 'recall': 0.3017241379310345, 'f1': 0.4022988505747126, 'number': 116}	{'precision': 0.9585365853658536, 'recall': 0.9401913875598086, 'f1': 0.9492753623188405, 'number': 418}	{'precision': 0.6666666666666666, 'recall': 0.8484848484848485, 'f1': 0.7466666666666666, 'number': 33}	{'precision': 0.8969957081545065, 'recall': 0.8950749464668094, 'f1': 0.8960342979635585, 'number': 467}	{'precision': 0.8571428571428571, 'recall': 0.8571428571428571, 'f1': 0.8571428571428571, 'number': 35}	{'precision': 1.0, 'recall': 0.9, 'f1': 0.9473684210526316, 'number': 30}	{'precision': 0.625, 'recall': 0.4166666666666667, 'f1': 0.5, 'number': 12}	{'precision': 0.7272727272727273, 'recall': 0.8205128205128205, 'f1': 0.7710843373493976, 'number': 39}	{'precision': 0.6216216216216216, 'recall': 0.6052631578947368, 'f1': 0.6133333333333333, 'number': 38}	{'precision': 0.915625, 'recall': 0.9965986394557823, 'f1': 0.9543973941368078, 'number': 294}	{'precision': 0.7747747747747747, 'recall': 0.864321608040201, 'f1': 0.817102137767221, 'number': 199}	{'precision': 0.59375, 'recall': 0.6333333333333333, 'f1': 0.6129032258064516, 'number': 30}	{'precision': 0.8765432098765432, 'recall': 0.9703872437357631, 'f1': 0.9210810810810811, 'number': 878}	{'precision': 0.7718631178707225, 'recall': 0.9485981308411215, 'f1': 0.8511530398322852, 'number': 214}	{'precision': 0.7619047619047619, 'recall': 0.5714285714285714, 'f1': 0.6530612244897959, 'number': 28}	{'precision': 0.8, 'recall': 0.5714285714285714, 'f1': 0.6666666666666666, 'number': 126}	{'precision': 0.6842105263157895, 'recall': 0.6341463414634146, 'f1': 0.6582278481012659, 'number': 41}	{'precision': 0.423728813559322, 'recall': 0.3333333333333333, 'f1': 0.3731343283582089, 'number': 75}	{'precision': 0.864406779661017, 'recall': 0.68, 'f1': 0.7611940298507464, 'number': 75}	0.8490	0.8640	0.8564	0.9382
0.0037	15.0	11025	0.4531	{'precision': 0.75, 'recall': 0.8571428571428571, 'f1': 0.7999999999999999, 'number': 14}	{'precision': 0.5892857142857143, 'recall': 0.28448275862068967, 'f1': 0.3837209302325582, 'number': 116}	{'precision': 0.9521531100478469, 'recall': 0.9521531100478469, 'f1': 0.9521531100478469, 'number': 418}	{'precision': 0.675, 'recall': 0.8181818181818182, 'f1': 0.7397260273972603, 'number': 33}	{'precision': 0.9049676025917927, 'recall': 0.8972162740899358, 'f1': 0.9010752688172042, 'number': 467}	{'precision': 0.8823529411764706, 'recall': 0.8571428571428571, 'f1': 0.8695652173913043, 'number': 35}	{'precision': 1.0, 'recall': 0.9, 'f1': 0.9473684210526316, 'number': 30}	{'precision': 0.625, 'recall': 0.4166666666666667, 'f1': 0.5, 'number': 12}	{'precision': 0.6956521739130435, 'recall': 0.8205128205128205, 'f1': 0.7529411764705882, 'number': 39}	{'precision': 0.6216216216216216, 'recall': 0.6052631578947368, 'f1': 0.6133333333333333, 'number': 38}	{'precision': 0.9074074074074074, 'recall': 1.0, 'f1': 0.9514563106796117, 'number': 294}	{'precision': 0.8, 'recall': 0.8442211055276382, 'f1': 0.821515892420538, 'number': 199}	{'precision': 0.5757575757575758, 'recall': 0.6333333333333333, 'f1': 0.6031746031746033, 'number': 30}	{'precision': 0.8783505154639175, 'recall': 0.9703872437357631, 'f1': 0.922077922077922, 'number': 878}	{'precision': 0.8298755186721992, 'recall': 0.9345794392523364, 'f1': 0.8791208791208791, 'number': 214}	{'precision': 0.6956521739130435, 'recall': 0.5714285714285714, 'f1': 0.6274509803921569, 'number': 28}	{'precision': 0.7931034482758621, 'recall': 0.5476190476190477, 'f1': 0.647887323943662, 'number': 126}	{'precision': 0.6842105263157895, 'recall': 0.6341463414634146, 'f1': 0.6582278481012659, 'number': 41}	{'precision': 0.4626865671641791, 'recall': 0.41333333333333333, 'f1': 0.43661971830985913, 'number': 75}	{'precision': 0.8064516129032258, 'recall': 0.6666666666666666, 'f1': 0.7299270072992701, 'number': 75}	0.8534	0.8637	0.8585	0.9399

Framework versions

• Transformers 4.40.2
• Pytorch 2.3.1+cu121
• Datasets 2.19.1
• Tokenizers 0.19.1