roberta-large-finetuned-ner-ghtk-cs-3090-28July-2

This model is a fine-tuned version of FacebookAI/xlm-roberta-large on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.4098
• cmt: {'precision': 0.8571428571428571, 'recall': 0.8571428571428571, 'f1': 0.8571428571428571, 'number': 14}
• Tk: {'precision': 0.6349206349206349, 'recall': 0.6896551724137931, 'f1': 0.6611570247933884, 'number': 116}
• A: {'precision': 0.9615384615384616, 'recall': 0.9569377990430622, 'f1': 0.9592326139088729, 'number': 418}
• Gày: {'precision': 0.6363636363636364, 'recall': 0.8484848484848485, 'f1': 0.7272727272727273, 'number': 33}
• Gày trừu tượng: {'precision': 0.8796680497925311, 'recall': 0.9079229122055674, 'f1': 0.8935721812434141, 'number': 467}
• Gân hàng: {'precision': 0.8918918918918919, 'recall': 0.9428571428571428, 'f1': 0.9166666666666667, 'number': 35}
• Hương thức thanh toán: {'precision': 0.9285714285714286, 'recall': 0.8666666666666667, 'f1': 0.896551724137931, 'number': 30}
• Hối lượng: {'precision': 0.42857142857142855, 'recall': 0.5, 'f1': 0.4615384615384615, 'number': 12}
• Iền: {'precision': 0.7906976744186046, 'recall': 0.8717948717948718, 'f1': 0.8292682926829267, 'number': 39}
• Iờ: {'precision': 0.7222222222222222, 'recall': 0.6842105263157895, 'f1': 0.7027027027027027, 'number': 38}
• Mail: {'precision': 0.9053627760252366, 'recall': 0.9761904761904762, 'f1': 0.9394435351882161, 'number': 294}
• Ã đơn: {'precision': 0.8203883495145631, 'recall': 0.8492462311557789, 'f1': 0.834567901234568, 'number': 199}
• Ên người: {'precision': 0.59375, 'recall': 0.6333333333333333, 'f1': 0.6129032258064516, 'number': 30}
• Đt: {'precision': 0.8764044943820225, 'recall': 0.9772209567198178, 'f1': 0.9240710823909531, 'number': 878}
• Đt trừu tượng: {'precision': 0.8502202643171806, 'recall': 0.9018691588785047, 'f1': 0.8752834467120181, 'number': 214}
• Ơn vị đo: {'precision': 0.7333333333333333, 'recall': 0.7857142857142857, 'f1': 0.7586206896551724, 'number': 28}
• Ản phẩm cụ thể: {'precision': 0.8105263157894737, 'recall': 0.6111111111111112, 'f1': 0.6968325791855204, 'number': 126}
• Ản phẩm trừu tượng: {'precision': 0.7222222222222222, 'recall': 0.6341463414634146, 'f1': 0.6753246753246753, 'number': 41}
• Ịa chỉ cụ thể: {'precision': 0.5370370370370371, 'recall': 0.38666666666666666, 'f1': 0.44961240310077527, 'number': 75}
• Ịa chỉ trừu tượng: {'precision': 0.71875, 'recall': 0.6133333333333333, 'f1': 0.6618705035971223, 'number': 75}
• Overall Precision: 0.8521
• Overall Recall: 0.8839
• Overall F1: 0.8677
• Overall Accuracy: 0.9441

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2.5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 15

Training results

Training Loss	Epoch	Step	Validation Loss	cmt	Tk	A	Gày	Gày trừu tượng	Gân hàng	Hương thức thanh toán	Hối lượng	Iền	Iờ	Mail	à đơn	Ên người	Đt	Đt trừu tượng	Ơn vị đo	Ản phẩm cụ thể	Ản phẩm trừu tượng	Ịa chỉ cụ thể	Ịa chỉ trừu tượng	Overall Precision	Overall Recall	Overall F1	Overall Accuracy
0.4212	1.0	735	0.3050	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 116}	{'precision': 0.9521410579345088, 'recall': 0.9043062200956937, 'f1': 0.92760736196319, 'number': 418}	{'precision': 0.575, 'recall': 0.696969696969697, 'f1': 0.6301369863013698, 'number': 33}	{'precision': 0.8789346246973365, 'recall': 0.7773019271948608, 'f1': 0.825, 'number': 467}	{'precision': 0.7692307692307693, 'recall': 0.2857142857142857, 'f1': 0.41666666666666663, 'number': 35}	{'precision': 0.75, 'recall': 0.6, 'f1': 0.6666666666666665, 'number': 30}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 12}	{'precision': 0.5614035087719298, 'recall': 0.8205128205128205, 'f1': 0.6666666666666666, 'number': 39}	{'precision': 0.5769230769230769, 'recall': 0.7894736842105263, 'f1': 0.6666666666666666, 'number': 38}	{'precision': 0.8776119402985074, 'recall': 1.0, 'f1': 0.9348171701112877, 'number': 294}	{'precision': 0.6991150442477876, 'recall': 0.7939698492462312, 'f1': 0.7435294117647058, 'number': 199}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 30}	{'precision': 0.7097560975609756, 'recall': 0.9943052391799544, 'f1': 0.8282732447817835, 'number': 878}	{'precision': 0.7619047619047619, 'recall': 0.822429906542056, 'f1': 0.7910112359550561, 'number': 214}	{'precision': 0.5833333333333334, 'recall': 0.5, 'f1': 0.5384615384615384, 'number': 28}	{'precision': 0.8166666666666667, 'recall': 0.3888888888888889, 'f1': 0.5268817204301075, 'number': 126}	{'precision': 0.4126984126984127, 'recall': 0.6341463414634146, 'f1': 0.5, 'number': 41}	{'precision': 0.5, 'recall': 0.06666666666666667, 'f1': 0.11764705882352941, 'number': 75}	{'precision': 0.7872340425531915, 'recall': 0.49333333333333335, 'f1': 0.6065573770491803, 'number': 75}	0.7689	0.7862	0.7775	0.9033
0.2197	2.0	1470	0.2479	{'precision': 0.3, 'recall': 0.6428571428571429, 'f1': 0.4090909090909091, 'number': 14}	{'precision': 0.7021276595744681, 'recall': 0.28448275862068967, 'f1': 0.4049079754601227, 'number': 116}	{'precision': 0.9282407407407407, 'recall': 0.9593301435406698, 'f1': 0.9435294117647058, 'number': 418}	{'precision': 0.6875, 'recall': 0.3333333333333333, 'f1': 0.4489795918367347, 'number': 33}	{'precision': 0.8615702479338843, 'recall': 0.892933618843683, 'f1': 0.8769716088328077, 'number': 467}	{'precision': 0.8181818181818182, 'recall': 0.7714285714285715, 'f1': 0.7941176470588236, 'number': 35}	{'precision': 0.8148148148148148, 'recall': 0.7333333333333333, 'f1': 0.7719298245614035, 'number': 30}	{'precision': 0.38461538461538464, 'recall': 0.4166666666666667, 'f1': 0.4, 'number': 12}	{'precision': 0.6785714285714286, 'recall': 0.48717948717948717, 'f1': 0.5671641791044776, 'number': 39}	{'precision': 0.5666666666666667, 'recall': 0.8947368421052632, 'f1': 0.6938775510204083, 'number': 38}	{'precision': 0.9952830188679245, 'recall': 0.717687074829932, 'f1': 0.83399209486166, 'number': 294}	{'precision': 0.6190476190476191, 'recall': 0.7185929648241206, 'f1': 0.6651162790697674, 'number': 199}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 30}	{'precision': 0.8033240997229917, 'recall': 0.9908883826879271, 'f1': 0.887302396736359, 'number': 878}	{'precision': 0.845771144278607, 'recall': 0.794392523364486, 'f1': 0.8192771084337348, 'number': 214}	{'precision': 0.3333333333333333, 'recall': 0.03571428571428571, 'f1': 0.06451612903225806, 'number': 28}	{'precision': 0.875, 'recall': 0.3333333333333333, 'f1': 0.48275862068965514, 'number': 126}	{'precision': 0.6666666666666666, 'recall': 0.14634146341463414, 'f1': 0.24, 'number': 41}	{'precision': 0.3333333333333333, 'recall': 0.18666666666666668, 'f1': 0.2393162393162393, 'number': 75}	{'precision': 0.8297872340425532, 'recall': 0.52, 'f1': 0.6393442622950819, 'number': 75}	0.8119	0.7824	0.7969	0.9148
0.1369	3.0	2205	0.2823	{'precision': 0.38461538461538464, 'recall': 0.7142857142857143, 'f1': 0.5, 'number': 14}	{'precision': 0.6101694915254238, 'recall': 0.3103448275862069, 'f1': 0.4114285714285714, 'number': 116}	{'precision': 0.9177777777777778, 'recall': 0.9880382775119617, 'f1': 0.9516129032258065, 'number': 418}	{'precision': 0.6666666666666666, 'recall': 0.7878787878787878, 'f1': 0.7222222222222221, 'number': 33}	{'precision': 0.8166351606805293, 'recall': 0.9250535331905781, 'f1': 0.8674698795180723, 'number': 467}	{'precision': 0.8571428571428571, 'recall': 0.6857142857142857, 'f1': 0.7619047619047619, 'number': 35}	{'precision': 0.6875, 'recall': 0.7333333333333333, 'f1': 0.7096774193548386, 'number': 30}	{'precision': 0.3076923076923077, 'recall': 0.3333333333333333, 'f1': 0.32, 'number': 12}	{'precision': 0.7948717948717948, 'recall': 0.7948717948717948, 'f1': 0.7948717948717948, 'number': 39}	{'precision': 0.6285714285714286, 'recall': 0.5789473684210527, 'f1': 0.6027397260273972, 'number': 38}	{'precision': 0.8990825688073395, 'recall': 1.0, 'f1': 0.9468599033816426, 'number': 294}	{'precision': 0.690566037735849, 'recall': 0.9195979899497487, 'f1': 0.7887931034482758, 'number': 199}	{'precision': 0.3333333333333333, 'recall': 0.2, 'f1': 0.25, 'number': 30}	{'precision': 0.8031423290203327, 'recall': 0.989749430523918, 'f1': 0.886734693877551, 'number': 878}	{'precision': 0.7406015037593985, 'recall': 0.9205607476635514, 'f1': 0.8208333333333333, 'number': 214}	{'precision': 0.7058823529411765, 'recall': 0.42857142857142855, 'f1': 0.5333333333333333, 'number': 28}	{'precision': 0.8023255813953488, 'recall': 0.5476190476190477, 'f1': 0.6509433962264152, 'number': 126}	{'precision': 0.6764705882352942, 'recall': 0.5609756097560976, 'f1': 0.6133333333333334, 'number': 41}	{'precision': 0.39622641509433965, 'recall': 0.28, 'f1': 0.328125, 'number': 75}	{'precision': 0.7241379310344828, 'recall': 0.56, 'f1': 0.6315789473684211, 'number': 75}	0.7917	0.8653	0.8268	0.9244
0.1169	4.0	2940	0.2246	{'precision': 0.5882352941176471, 'recall': 0.7142857142857143, 'f1': 0.6451612903225806, 'number': 14}	{'precision': 0.7047619047619048, 'recall': 0.6379310344827587, 'f1': 0.6696832579185522, 'number': 116}	{'precision': 0.9723618090452262, 'recall': 0.9258373205741627, 'f1': 0.9485294117647058, 'number': 418}	{'precision': 0.6571428571428571, 'recall': 0.696969696969697, 'f1': 0.676470588235294, 'number': 33}	{'precision': 0.8905579399141631, 'recall': 0.8886509635974305, 'f1': 0.8896034297963558, 'number': 467}	{'precision': 0.8787878787878788, 'recall': 0.8285714285714286, 'f1': 0.8529411764705883, 'number': 35}	{'precision': 0.8484848484848485, 'recall': 0.9333333333333333, 'f1': 0.888888888888889, 'number': 30}	{'precision': 0.6666666666666666, 'recall': 0.3333333333333333, 'f1': 0.4444444444444444, 'number': 12}	{'precision': 0.7058823529411765, 'recall': 0.9230769230769231, 'f1': 0.8000000000000002, 'number': 39}	{'precision': 0.5609756097560976, 'recall': 0.6052631578947368, 'f1': 0.5822784810126583, 'number': 38}	{'precision': 0.9122257053291536, 'recall': 0.9897959183673469, 'f1': 0.9494290375203914, 'number': 294}	{'precision': 0.5767918088737202, 'recall': 0.8492462311557789, 'f1': 0.6869918699186993, 'number': 199}	{'precision': 0.7142857142857143, 'recall': 0.5, 'f1': 0.588235294117647, 'number': 30}	{'precision': 0.8808777429467085, 'recall': 0.9601366742596811, 'f1': 0.9188010899182562, 'number': 878}	{'precision': 0.7905138339920948, 'recall': 0.9345794392523364, 'f1': 0.8565310492505352, 'number': 214}	{'precision': 0.6388888888888888, 'recall': 0.8214285714285714, 'f1': 0.7187499999999999, 'number': 28}	{'precision': 0.8235294117647058, 'recall': 0.4444444444444444, 'f1': 0.5773195876288659, 'number': 126}	{'precision': 0.7692307692307693, 'recall': 0.4878048780487805, 'f1': 0.5970149253731344, 'number': 41}	{'precision': 0.3617021276595745, 'recall': 0.22666666666666666, 'f1': 0.27868852459016397, 'number': 75}	{'precision': 0.76, 'recall': 0.5066666666666667, 'f1': 0.6080000000000001, 'number': 75}	0.8298	0.8542	0.8418	0.9280
0.0853	5.0	3675	0.2415	{'precision': 1.0, 'recall': 0.9285714285714286, 'f1': 0.962962962962963, 'number': 14}	{'precision': 0.6634615384615384, 'recall': 0.5948275862068966, 'f1': 0.6272727272727273, 'number': 116}	{'precision': 0.9585365853658536, 'recall': 0.9401913875598086, 'f1': 0.9492753623188405, 'number': 418}	{'precision': 0.6170212765957447, 'recall': 0.8787878787878788, 'f1': 0.7250000000000001, 'number': 33}	{'precision': 0.9069264069264069, 'recall': 0.8972162740899358, 'f1': 0.9020452099031216, 'number': 467}	{'precision': 0.7894736842105263, 'recall': 0.8571428571428571, 'f1': 0.8219178082191781, 'number': 35}	{'precision': 0.9230769230769231, 'recall': 0.8, 'f1': 0.8571428571428571, 'number': 30}	{'precision': 0.5625, 'recall': 0.75, 'f1': 0.6428571428571429, 'number': 12}	{'precision': 0.6923076923076923, 'recall': 0.9230769230769231, 'f1': 0.7912087912087913, 'number': 39}	{'precision': 0.6153846153846154, 'recall': 0.8421052631578947, 'f1': 0.7111111111111111, 'number': 38}	{'precision': 0.9046153846153846, 'recall': 1.0, 'f1': 0.9499192245557351, 'number': 294}	{'precision': 0.7735849056603774, 'recall': 0.8241206030150754, 'f1': 0.7980535279805353, 'number': 199}	{'precision': 0.6153846153846154, 'recall': 0.5333333333333333, 'f1': 0.5714285714285715, 'number': 30}	{'precision': 0.8493683187560739, 'recall': 0.9954441913439636, 'f1': 0.9166229680125852, 'number': 878}	{'precision': 0.8721461187214612, 'recall': 0.8925233644859814, 'f1': 0.8822170900692841, 'number': 214}	{'precision': 0.6551724137931034, 'recall': 0.6785714285714286, 'f1': 0.6666666666666666, 'number': 28}	{'precision': 0.7978723404255319, 'recall': 0.5952380952380952, 'f1': 0.6818181818181819, 'number': 126}	{'precision': 0.6176470588235294, 'recall': 0.5121951219512195, 'f1': 0.56, 'number': 41}	{'precision': 0.3783783783783784, 'recall': 0.18666666666666668, 'f1': 0.25, 'number': 75}	{'precision': 0.7058823529411765, 'recall': 0.64, 'f1': 0.6713286713286714, 'number': 75}	0.8412	0.8760	0.8582	0.9339
0.0695	6.0	4410	0.2616	{'precision': 0.7142857142857143, 'recall': 0.7142857142857143, 'f1': 0.7142857142857143, 'number': 14}	{'precision': 0.7241379310344828, 'recall': 0.5431034482758621, 'f1': 0.6206896551724138, 'number': 116}	{'precision': 0.9718670076726342, 'recall': 0.9090909090909091, 'f1': 0.9394313967861557, 'number': 418}	{'precision': 0.7297297297297297, 'recall': 0.8181818181818182, 'f1': 0.7714285714285715, 'number': 33}	{'precision': 0.8987068965517241, 'recall': 0.892933618843683, 'f1': 0.8958109559613319, 'number': 467}	{'precision': 0.8823529411764706, 'recall': 0.8571428571428571, 'f1': 0.8695652173913043, 'number': 35}	{'precision': 0.8928571428571429, 'recall': 0.8333333333333334, 'f1': 0.8620689655172413, 'number': 30}	{'precision': 0.45454545454545453, 'recall': 0.4166666666666667, 'f1': 0.43478260869565216, 'number': 12}	{'precision': 0.7551020408163265, 'recall': 0.9487179487179487, 'f1': 0.8409090909090908, 'number': 39}	{'precision': 0.58, 'recall': 0.7631578947368421, 'f1': 0.6590909090909091, 'number': 38}	{'precision': 0.930379746835443, 'recall': 1.0, 'f1': 0.9639344262295081, 'number': 294}	{'precision': 0.7916666666666666, 'recall': 0.8592964824120602, 'f1': 0.8240963855421686, 'number': 199}	{'precision': 0.6774193548387096, 'recall': 0.7, 'f1': 0.6885245901639343, 'number': 30}	{'precision': 0.8568627450980392, 'recall': 0.9954441913439636, 'f1': 0.9209694415173867, 'number': 878}	{'precision': 0.8381742738589212, 'recall': 0.9439252336448598, 'f1': 0.887912087912088, 'number': 214}	{'precision': 0.6052631578947368, 'recall': 0.8214285714285714, 'f1': 0.6969696969696969, 'number': 28}	{'precision': 0.8021978021978022, 'recall': 0.5793650793650794, 'f1': 0.6728110599078342, 'number': 126}	{'precision': 0.8064516129032258, 'recall': 0.6097560975609756, 'f1': 0.6944444444444445, 'number': 41}	{'precision': 0.38636363636363635, 'recall': 0.22666666666666666, 'f1': 0.2857142857142857, 'number': 75}	{'precision': 0.8, 'recall': 0.64, 'f1': 0.7111111111111111, 'number': 75}	0.8518	0.8763	0.8639	0.9397
0.0474	7.0	5145	0.2572	{'precision': 0.7222222222222222, 'recall': 0.9285714285714286, 'f1': 0.8125000000000001, 'number': 14}	{'precision': 0.6046511627906976, 'recall': 0.896551724137931, 'f1': 0.7222222222222221, 'number': 116}	{'precision': 0.9616306954436451, 'recall': 0.9593301435406698, 'f1': 0.9604790419161676, 'number': 418}	{'precision': 0.6829268292682927, 'recall': 0.8484848484848485, 'f1': 0.7567567567567567, 'number': 33}	{'precision': 0.8734693877551021, 'recall': 0.9164882226980728, 'f1': 0.8944618599791014, 'number': 467}	{'precision': 0.8461538461538461, 'recall': 0.9428571428571428, 'f1': 0.8918918918918919, 'number': 35}	{'precision': 0.8928571428571429, 'recall': 0.8333333333333334, 'f1': 0.8620689655172413, 'number': 30}	{'precision': 0.75, 'recall': 0.75, 'f1': 0.75, 'number': 12}	{'precision': 0.6875, 'recall': 0.8461538461538461, 'f1': 0.7586206896551724, 'number': 39}	{'precision': 0.6521739130434783, 'recall': 0.7894736842105263, 'f1': 0.7142857142857143, 'number': 38}	{'precision': 0.9685314685314685, 'recall': 0.9421768707482994, 'f1': 0.9551724137931035, 'number': 294}	{'precision': 0.6064516129032258, 'recall': 0.9447236180904522, 'f1': 0.7387033398821218, 'number': 199}	{'precision': 0.6052631578947368, 'recall': 0.7666666666666667, 'f1': 0.676470588235294, 'number': 30}	{'precision': 0.9184357541899442, 'recall': 0.9362186788154897, 'f1': 0.9272419627749577, 'number': 878}	{'precision': 0.8177966101694916, 'recall': 0.9018691588785047, 'f1': 0.8577777777777778, 'number': 214}	{'precision': 0.6756756756756757, 'recall': 0.8928571428571429, 'f1': 0.7692307692307693, 'number': 28}	{'precision': 0.7767857142857143, 'recall': 0.6904761904761905, 'f1': 0.7310924369747899, 'number': 126}	{'precision': 0.6041666666666666, 'recall': 0.7073170731707317, 'f1': 0.6516853932584269, 'number': 41}	{'precision': 0.484375, 'recall': 0.41333333333333333, 'f1': 0.4460431654676259, 'number': 75}	{'precision': 0.726027397260274, 'recall': 0.7066666666666667, 'f1': 0.7162162162162162, 'number': 75}	0.8305	0.8956	0.8618	0.9338
0.0361	8.0	5880	0.3030	{'precision': 0.6923076923076923, 'recall': 0.6428571428571429, 'f1': 0.6666666666666666, 'number': 14}	{'precision': 0.6535433070866141, 'recall': 0.7155172413793104, 'f1': 0.683127572016461, 'number': 116}	{'precision': 0.970873786407767, 'recall': 0.9569377990430622, 'f1': 0.9638554216867469, 'number': 418}	{'precision': 0.627906976744186, 'recall': 0.8181818181818182, 'f1': 0.7105263157894738, 'number': 33}	{'precision': 0.892933618843683, 'recall': 0.892933618843683, 'f1': 0.892933618843683, 'number': 467}	{'precision': 0.8611111111111112, 'recall': 0.8857142857142857, 'f1': 0.8732394366197184, 'number': 35}	{'precision': 0.92, 'recall': 0.7666666666666667, 'f1': 0.8363636363636363, 'number': 30}	{'precision': 0.7272727272727273, 'recall': 0.6666666666666666, 'f1': 0.6956521739130435, 'number': 12}	{'precision': 0.7142857142857143, 'recall': 0.8974358974358975, 'f1': 0.7954545454545455, 'number': 39}	{'precision': 0.5909090909090909, 'recall': 0.6842105263157895, 'f1': 0.6341463414634148, 'number': 38}	{'precision': 0.90625, 'recall': 0.9863945578231292, 'f1': 0.9446254071661239, 'number': 294}	{'precision': 0.7815533980582524, 'recall': 0.8090452261306532, 'f1': 0.7950617283950617, 'number': 199}	{'precision': 0.6363636363636364, 'recall': 0.7, 'f1': 0.6666666666666666, 'number': 30}	{'precision': 0.874361593462717, 'recall': 0.9749430523917996, 'f1': 0.921917070543888, 'number': 878}	{'precision': 0.7416974169741697, 'recall': 0.9392523364485982, 'f1': 0.8288659793814432, 'number': 214}	{'precision': 0.7142857142857143, 'recall': 0.5357142857142857, 'f1': 0.6122448979591837, 'number': 28}	{'precision': 0.8, 'recall': 0.6984126984126984, 'f1': 0.7457627118644068, 'number': 126}	{'precision': 0.7692307692307693, 'recall': 0.7317073170731707, 'f1': 0.7499999999999999, 'number': 41}	{'precision': 0.36666666666666664, 'recall': 0.29333333333333333, 'f1': 0.32592592592592595, 'number': 75}	{'precision': 0.734375, 'recall': 0.6266666666666667, 'f1': 0.6762589928057554, 'number': 75}	0.8378	0.8824	0.8595	0.9406
0.0238	9.0	6615	0.2991	{'precision': 0.7222222222222222, 'recall': 0.9285714285714286, 'f1': 0.8125000000000001, 'number': 14}	{'precision': 0.6936936936936937, 'recall': 0.6637931034482759, 'f1': 0.6784140969162997, 'number': 116}	{'precision': 0.9382151029748284, 'recall': 0.9808612440191388, 'f1': 0.9590643274853801, 'number': 418}	{'precision': 0.7, 'recall': 0.8484848484848485, 'f1': 0.7671232876712328, 'number': 33}	{'precision': 0.9267139479905437, 'recall': 0.8394004282655246, 'f1': 0.8808988764044943, 'number': 467}	{'precision': 0.8857142857142857, 'recall': 0.8857142857142857, 'f1': 0.8857142857142857, 'number': 35}	{'precision': 0.9615384615384616, 'recall': 0.8333333333333334, 'f1': 0.8928571428571429, 'number': 30}	{'precision': 0.7142857142857143, 'recall': 0.4166666666666667, 'f1': 0.5263157894736842, 'number': 12}	{'precision': 0.7317073170731707, 'recall': 0.7692307692307693, 'f1': 0.7499999999999999, 'number': 39}	{'precision': 0.65625, 'recall': 0.5526315789473685, 'f1': 0.6, 'number': 38}	{'precision': 0.9361022364217252, 'recall': 0.9965986394557823, 'f1': 0.9654036243822076, 'number': 294}	{'precision': 0.7818181818181819, 'recall': 0.864321608040201, 'f1': 0.8210023866348448, 'number': 199}	{'precision': 0.6774193548387096, 'recall': 0.7, 'f1': 0.6885245901639343, 'number': 30}	{'precision': 0.8990536277602523, 'recall': 0.9738041002277904, 'f1': 0.9349371241115363, 'number': 878}	{'precision': 0.7943548387096774, 'recall': 0.9205607476635514, 'f1': 0.8528138528138528, 'number': 214}	{'precision': 0.71875, 'recall': 0.8214285714285714, 'f1': 0.7666666666666666, 'number': 28}	{'precision': 0.7904761904761904, 'recall': 0.6587301587301587, 'f1': 0.7186147186147186, 'number': 126}	{'precision': 0.7105263157894737, 'recall': 0.6585365853658537, 'f1': 0.6835443037974684, 'number': 41}	{'precision': 0.43333333333333335, 'recall': 0.3466666666666667, 'f1': 0.3851851851851852, 'number': 75}	{'precision': 0.6153846153846154, 'recall': 0.64, 'f1': 0.6274509803921569, 'number': 75}	0.8555	0.8782	0.8667	0.9449
0.0163	10.0	7350	0.3431	{'precision': 0.75, 'recall': 0.8571428571428571, 'f1': 0.7999999999999999, 'number': 14}	{'precision': 0.7102803738317757, 'recall': 0.6551724137931034, 'f1': 0.6816143497757848, 'number': 116}	{'precision': 0.9657701711491442, 'recall': 0.9449760765550239, 'f1': 0.9552599758162031, 'number': 418}	{'precision': 0.675, 'recall': 0.8181818181818182, 'f1': 0.7397260273972603, 'number': 33}	{'precision': 0.8835758835758836, 'recall': 0.9100642398286938, 'f1': 0.8966244725738397, 'number': 467}	{'precision': 0.8918918918918919, 'recall': 0.9428571428571428, 'f1': 0.9166666666666667, 'number': 35}	{'precision': 0.9629629629629629, 'recall': 0.8666666666666667, 'f1': 0.912280701754386, 'number': 30}	{'precision': 0.6666666666666666, 'recall': 0.6666666666666666, 'f1': 0.6666666666666666, 'number': 12}	{'precision': 0.7, 'recall': 0.8974358974358975, 'f1': 0.7865168539325842, 'number': 39}	{'precision': 0.6136363636363636, 'recall': 0.7105263157894737, 'f1': 0.6585365853658537, 'number': 38}	{'precision': 0.8753799392097265, 'recall': 0.9795918367346939, 'f1': 0.9245585874799359, 'number': 294}	{'precision': 0.8282828282828283, 'recall': 0.8241206030150754, 'f1': 0.8261964735516374, 'number': 199}	{'precision': 0.59375, 'recall': 0.6333333333333333, 'f1': 0.6129032258064516, 'number': 30}	{'precision': 0.8852119958634953, 'recall': 0.9749430523917996, 'f1': 0.9279132791327913, 'number': 878}	{'precision': 0.8434782608695652, 'recall': 0.9065420560747663, 'f1': 0.8738738738738738, 'number': 214}	{'precision': 0.6896551724137931, 'recall': 0.7142857142857143, 'f1': 0.7017543859649122, 'number': 28}	{'precision': 0.8, 'recall': 0.6349206349206349, 'f1': 0.7079646017699115, 'number': 126}	{'precision': 0.6857142857142857, 'recall': 0.5853658536585366, 'f1': 0.6315789473684211, 'number': 41}	{'precision': 0.3728813559322034, 'recall': 0.29333333333333333, 'f1': 0.3283582089552239, 'number': 75}	{'precision': 0.8070175438596491, 'recall': 0.6133333333333333, 'f1': 0.696969696969697, 'number': 75}	0.8521	0.8782	0.8650	0.9434
0.0127	11.0	8085	0.3841	{'precision': 0.8571428571428571, 'recall': 0.8571428571428571, 'f1': 0.8571428571428571, 'number': 14}	{'precision': 0.6470588235294118, 'recall': 0.6637931034482759, 'f1': 0.6553191489361703, 'number': 116}	{'precision': 0.9588377723970944, 'recall': 0.9473684210526315, 'f1': 0.9530685920577617, 'number': 418}	{'precision': 0.7105263157894737, 'recall': 0.8181818181818182, 'f1': 0.7605633802816901, 'number': 33}	{'precision': 0.8814968814968815, 'recall': 0.9079229122055674, 'f1': 0.8945147679324894, 'number': 467}	{'precision': 0.8333333333333334, 'recall': 0.8571428571428571, 'f1': 0.8450704225352113, 'number': 35}	{'precision': 1.0, 'recall': 0.9, 'f1': 0.9473684210526316, 'number': 30}	{'precision': 0.6, 'recall': 0.75, 'f1': 0.6666666666666665, 'number': 12}	{'precision': 0.7948717948717948, 'recall': 0.7948717948717948, 'f1': 0.7948717948717948, 'number': 39}	{'precision': 0.725, 'recall': 0.7631578947368421, 'f1': 0.7435897435897436, 'number': 38}	{'precision': 0.8803680981595092, 'recall': 0.9761904761904762, 'f1': 0.9258064516129032, 'number': 294}	{'precision': 0.7788461538461539, 'recall': 0.8140703517587939, 'f1': 0.796068796068796, 'number': 199}	{'precision': 0.5714285714285714, 'recall': 0.6666666666666666, 'f1': 0.6153846153846153, 'number': 30}	{'precision': 0.8832644628099173, 'recall': 0.9738041002277904, 'f1': 0.9263271939328277, 'number': 878}	{'precision': 0.78125, 'recall': 0.9345794392523364, 'f1': 0.851063829787234, 'number': 214}	{'precision': 0.7333333333333333, 'recall': 0.7857142857142857, 'f1': 0.7586206896551724, 'number': 28}	{'precision': 0.8260869565217391, 'recall': 0.6031746031746031, 'f1': 0.6972477064220184, 'number': 126}	{'precision': 0.7027027027027027, 'recall': 0.6341463414634146, 'f1': 0.6666666666666667, 'number': 41}	{'precision': 0.3620689655172414, 'recall': 0.28, 'f1': 0.31578947368421056, 'number': 75}	{'precision': 0.704225352112676, 'recall': 0.6666666666666666, 'f1': 0.6849315068493151, 'number': 75}	0.8420	0.8795	0.8603	0.9424
0.0091	12.0	8820	0.3916	{'precision': 0.8461538461538461, 'recall': 0.7857142857142857, 'f1': 0.8148148148148148, 'number': 14}	{'precision': 0.7087378640776699, 'recall': 0.6293103448275862, 'f1': 0.6666666666666667, 'number': 116}	{'precision': 0.9611650485436893, 'recall': 0.9473684210526315, 'f1': 0.9542168674698795, 'number': 418}	{'precision': 0.7222222222222222, 'recall': 0.7878787878787878, 'f1': 0.7536231884057971, 'number': 33}	{'precision': 0.8905263157894737, 'recall': 0.9057815845824411, 'f1': 0.8980891719745222, 'number': 467}	{'precision': 0.8857142857142857, 'recall': 0.8857142857142857, 'f1': 0.8857142857142857, 'number': 35}	{'precision': 0.9629629629629629, 'recall': 0.8666666666666667, 'f1': 0.912280701754386, 'number': 30}	{'precision': 0.375, 'recall': 0.25, 'f1': 0.3, 'number': 12}	{'precision': 0.7380952380952381, 'recall': 0.7948717948717948, 'f1': 0.7654320987654322, 'number': 39}	{'precision': 0.6097560975609756, 'recall': 0.6578947368421053, 'f1': 0.6329113924050632, 'number': 38}	{'precision': 0.8772455089820359, 'recall': 0.9965986394557823, 'f1': 0.9331210191082804, 'number': 294}	{'precision': 0.8585858585858586, 'recall': 0.8542713567839196, 'f1': 0.8564231738035265, 'number': 199}	{'precision': 0.6785714285714286, 'recall': 0.6333333333333333, 'f1': 0.6551724137931035, 'number': 30}	{'precision': 0.8640483383685801, 'recall': 0.9772209567198178, 'f1': 0.9171566007482631, 'number': 878}	{'precision': 0.8275862068965517, 'recall': 0.897196261682243, 'f1': 0.8609865470852017, 'number': 214}	{'precision': 0.6666666666666666, 'recall': 0.7857142857142857, 'f1': 0.721311475409836, 'number': 28}	{'precision': 0.8058252427184466, 'recall': 0.6587301587301587, 'f1': 0.7248908296943231, 'number': 126}	{'precision': 0.7428571428571429, 'recall': 0.6341463414634146, 'f1': 0.6842105263157895, 'number': 41}	{'precision': 0.4153846153846154, 'recall': 0.36, 'f1': 0.38571428571428573, 'number': 75}	{'precision': 0.7758620689655172, 'recall': 0.6, 'f1': 0.6766917293233082, 'number': 75}	0.8499	0.8792	0.8643	0.9429
0.0059	13.0	9555	0.3804	{'precision': 0.8571428571428571, 'recall': 0.8571428571428571, 'f1': 0.8571428571428571, 'number': 14}	{'precision': 0.6029411764705882, 'recall': 0.7068965517241379, 'f1': 0.6507936507936507, 'number': 116}	{'precision': 0.9504716981132075, 'recall': 0.9641148325358851, 'f1': 0.9572446555819477, 'number': 418}	{'precision': 0.6818181818181818, 'recall': 0.9090909090909091, 'f1': 0.7792207792207791, 'number': 33}	{'precision': 0.89171974522293, 'recall': 0.8993576017130621, 'f1': 0.8955223880597016, 'number': 467}	{'precision': 0.8888888888888888, 'recall': 0.9142857142857143, 'f1': 0.9014084507042254, 'number': 35}	{'precision': 0.9285714285714286, 'recall': 0.8666666666666667, 'f1': 0.896551724137931, 'number': 30}	{'precision': 0.6, 'recall': 0.75, 'f1': 0.6666666666666665, 'number': 12}	{'precision': 0.7674418604651163, 'recall': 0.8461538461538461, 'f1': 0.8048780487804877, 'number': 39}	{'precision': 0.6428571428571429, 'recall': 0.7105263157894737, 'f1': 0.6749999999999999, 'number': 38}	{'precision': 0.8996865203761756, 'recall': 0.9761904761904762, 'f1': 0.9363784665579119, 'number': 294}	{'precision': 0.8115942028985508, 'recall': 0.8442211055276382, 'f1': 0.8275862068965517, 'number': 199}	{'precision': 0.7307692307692307, 'recall': 0.6333333333333333, 'f1': 0.6785714285714285, 'number': 30}	{'precision': 0.8714285714285714, 'recall': 0.9726651480637813, 'f1': 0.9192680301399355, 'number': 878}	{'precision': 0.825, 'recall': 0.9252336448598131, 'f1': 0.8722466960352423, 'number': 214}	{'precision': 0.7272727272727273, 'recall': 0.8571428571428571, 'f1': 0.7868852459016394, 'number': 28}	{'precision': 0.7938144329896907, 'recall': 0.6111111111111112, 'f1': 0.6905829596412556, 'number': 126}	{'precision': 0.6842105263157895, 'recall': 0.6341463414634146, 'f1': 0.6582278481012659, 'number': 41}	{'precision': 0.45, 'recall': 0.36, 'f1': 0.39999999999999997, 'number': 75}	{'precision': 0.746031746031746, 'recall': 0.6266666666666667, 'f1': 0.6811594202898551, 'number': 75}	0.8447	0.8858	0.8648	0.9442
0.0042	14.0	10290	0.3901	{'precision': 0.8571428571428571, 'recall': 0.8571428571428571, 'f1': 0.8571428571428571, 'number': 14}	{'precision': 0.6785714285714286, 'recall': 0.6551724137931034, 'f1': 0.6666666666666666, 'number': 116}	{'precision': 0.9614457831325302, 'recall': 0.9545454545454546, 'f1': 0.9579831932773109, 'number': 418}	{'precision': 0.6363636363636364, 'recall': 0.8484848484848485, 'f1': 0.7272727272727273, 'number': 33}	{'precision': 0.8872340425531915, 'recall': 0.892933618843683, 'f1': 0.8900747065101388, 'number': 467}	{'precision': 0.8648648648648649, 'recall': 0.9142857142857143, 'f1': 0.888888888888889, 'number': 35}	{'precision': 0.896551724137931, 'recall': 0.8666666666666667, 'f1': 0.8813559322033899, 'number': 30}	{'precision': 0.45454545454545453, 'recall': 0.4166666666666667, 'f1': 0.43478260869565216, 'number': 12}	{'precision': 0.7674418604651163, 'recall': 0.8461538461538461, 'f1': 0.8048780487804877, 'number': 39}	{'precision': 0.7222222222222222, 'recall': 0.6842105263157895, 'f1': 0.7027027027027027, 'number': 38}	{'precision': 0.9082278481012658, 'recall': 0.9761904761904762, 'f1': 0.9409836065573769, 'number': 294}	{'precision': 0.8418367346938775, 'recall': 0.8291457286432161, 'f1': 0.8354430379746836, 'number': 199}	{'precision': 0.6363636363636364, 'recall': 0.7, 'f1': 0.6666666666666666, 'number': 30}	{'precision': 0.8771750255885363, 'recall': 0.9760820045558086, 'f1': 0.923989218328841, 'number': 878}	{'precision': 0.8571428571428571, 'recall': 0.897196261682243, 'f1': 0.8767123287671232, 'number': 214}	{'precision': 0.7586206896551724, 'recall': 0.7857142857142857, 'f1': 0.7719298245614034, 'number': 28}	{'precision': 0.8, 'recall': 0.6031746031746031, 'f1': 0.6877828054298644, 'number': 126}	{'precision': 0.7027027027027027, 'recall': 0.6341463414634146, 'f1': 0.6666666666666667, 'number': 41}	{'precision': 0.4264705882352941, 'recall': 0.38666666666666666, 'f1': 0.40559440559440557, 'number': 75}	{'precision': 0.696969696969697, 'recall': 0.6133333333333333, 'f1': 0.652482269503546, 'number': 75}	0.8533	0.8776	0.8653	0.9449
0.0019	15.0	11025	0.4098	{'precision': 0.8571428571428571, 'recall': 0.8571428571428571, 'f1': 0.8571428571428571, 'number': 14}	{'precision': 0.6349206349206349, 'recall': 0.6896551724137931, 'f1': 0.6611570247933884, 'number': 116}	{'precision': 0.9615384615384616, 'recall': 0.9569377990430622, 'f1': 0.9592326139088729, 'number': 418}	{'precision': 0.6363636363636364, 'recall': 0.8484848484848485, 'f1': 0.7272727272727273, 'number': 33}	{'precision': 0.8796680497925311, 'recall': 0.9079229122055674, 'f1': 0.8935721812434141, 'number': 467}	{'precision': 0.8918918918918919, 'recall': 0.9428571428571428, 'f1': 0.9166666666666667, 'number': 35}	{'precision': 0.9285714285714286, 'recall': 0.8666666666666667, 'f1': 0.896551724137931, 'number': 30}	{'precision': 0.42857142857142855, 'recall': 0.5, 'f1': 0.4615384615384615, 'number': 12}	{'precision': 0.7906976744186046, 'recall': 0.8717948717948718, 'f1': 0.8292682926829267, 'number': 39}	{'precision': 0.7222222222222222, 'recall': 0.6842105263157895, 'f1': 0.7027027027027027, 'number': 38}	{'precision': 0.9053627760252366, 'recall': 0.9761904761904762, 'f1': 0.9394435351882161, 'number': 294}	{'precision': 0.8203883495145631, 'recall': 0.8492462311557789, 'f1': 0.834567901234568, 'number': 199}	{'precision': 0.59375, 'recall': 0.6333333333333333, 'f1': 0.6129032258064516, 'number': 30}	{'precision': 0.8764044943820225, 'recall': 0.9772209567198178, 'f1': 0.9240710823909531, 'number': 878}	{'precision': 0.8502202643171806, 'recall': 0.9018691588785047, 'f1': 0.8752834467120181, 'number': 214}	{'precision': 0.7333333333333333, 'recall': 0.7857142857142857, 'f1': 0.7586206896551724, 'number': 28}	{'precision': 0.8105263157894737, 'recall': 0.6111111111111112, 'f1': 0.6968325791855204, 'number': 126}	{'precision': 0.7222222222222222, 'recall': 0.6341463414634146, 'f1': 0.6753246753246753, 'number': 41}	{'precision': 0.5370370370370371, 'recall': 0.38666666666666666, 'f1': 0.44961240310077527, 'number': 75}	{'precision': 0.71875, 'recall': 0.6133333333333333, 'f1': 0.6618705035971223, 'number': 75}	0.8521	0.8839	0.8677	0.9441

Framework versions

• Transformers 4.40.2
• Pytorch 2.3.1+cu121
• Datasets 2.19.1
• Tokenizers 0.19.1