roberta-large-finetuned-ner-ghtk-cs-3090-28July-1

This model is a fine-tuned version of FacebookAI/xlm-roberta-large on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.4224
• cmt: {'precision': 0.6923076923076923, 'recall': 0.6428571428571429, 'f1': 0.6666666666666666, 'number': 14}
• Tk: {'precision': 0.6086956521739131, 'recall': 0.3620689655172414, 'f1': 0.4540540540540541, 'number': 116}
• A: {'precision': 0.9571428571428572, 'recall': 0.9617224880382775, 'f1': 0.9594272076372317, 'number': 418}
• Gày: {'precision': 0.6341463414634146, 'recall': 0.7878787878787878, 'f1': 0.7027027027027027, 'number': 33}
• Gày trừu tượng: {'precision': 0.8983050847457628, 'recall': 0.9079229122055674, 'f1': 0.9030883919062833, 'number': 467}
• Gân hàng: {'precision': 0.9411764705882353, 'recall': 0.9142857142857143, 'f1': 0.9275362318840579, 'number': 35}
• Hương thức thanh toán: {'precision': 0.9259259259259259, 'recall': 0.8333333333333334, 'f1': 0.8771929824561403, 'number': 30}
• Hối lượng: {'precision': 0.5833333333333334, 'recall': 0.5833333333333334, 'f1': 0.5833333333333334, 'number': 12}
• Iền: {'precision': 0.7083333333333334, 'recall': 0.8717948717948718, 'f1': 0.7816091954022988, 'number': 39}
• Iờ: {'precision': 0.7105263157894737, 'recall': 0.7105263157894737, 'f1': 0.7105263157894737, 'number': 38}
• Mail: {'precision': 0.9479166666666666, 'recall': 0.9285714285714286, 'f1': 0.9381443298969072, 'number': 294}
• Ã đơn: {'precision': 0.8382352941176471, 'recall': 0.8592964824120602, 'f1': 0.8486352357320099, 'number': 199}
• Ên người: {'precision': 0.5428571428571428, 'recall': 0.6333333333333333, 'f1': 0.5846153846153846, 'number': 30}
• Đt: {'precision': 0.8721881390593047, 'recall': 0.9715261958997722, 'f1': 0.9191810344827586, 'number': 878}
• Đt trừu tượng: {'precision': 0.8584070796460177, 'recall': 0.9065420560747663, 'f1': 0.8818181818181818, 'number': 214}
• Ơn vị đo: {'precision': 0.7857142857142857, 'recall': 0.7857142857142857, 'f1': 0.7857142857142857, 'number': 28}
• Ản phẩm cụ thể: {'precision': 0.8, 'recall': 0.5714285714285714, 'f1': 0.6666666666666666, 'number': 126}
• Ản phẩm trừu tượng: {'precision': 0.6388888888888888, 'recall': 0.5609756097560976, 'f1': 0.5974025974025975, 'number': 41}
• Ịa chỉ cụ thể: {'precision': 0.4126984126984127, 'recall': 0.3466666666666667, 'f1': 0.37681159420289856, 'number': 75}
• Ịa chỉ trừu tượng: {'precision': 0.859375, 'recall': 0.7333333333333333, 'f1': 0.79136690647482, 'number': 75}
• Overall Precision: 0.8588
• Overall Recall: 0.8653
• Overall F1: 0.8620
• Overall Accuracy: 0.9426

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2.5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 15

Training results

Training Loss	Epoch	Step	Validation Loss	cmt	Tk	A	Gày	Gày trừu tượng	Gân hàng	Hương thức thanh toán	Hối lượng	Iền	Iờ	Mail	à đơn	Ên người	Đt	Đt trừu tượng	Ơn vị đo	Ản phẩm cụ thể	Ản phẩm trừu tượng	Ịa chỉ cụ thể	Ịa chỉ trừu tượng	Overall Precision	Overall Recall	Overall F1	Overall Accuracy
0.4249	1.0	735	0.2885	{'precision': 0.28, 'recall': 0.5, 'f1': 0.358974358974359, 'number': 14}	{'precision': 0.47058823529411764, 'recall': 0.13793103448275862, 'f1': 0.21333333333333335, 'number': 116}	{'precision': 0.949748743718593, 'recall': 0.9043062200956937, 'f1': 0.9264705882352942, 'number': 418}	{'precision': 0.5555555555555556, 'recall': 0.6060606060606061, 'f1': 0.5797101449275361, 'number': 33}	{'precision': 0.8520084566596194, 'recall': 0.8629550321199143, 'f1': 0.8574468085106383, 'number': 467}	{'precision': 0.8461538461538461, 'recall': 0.3142857142857143, 'f1': 0.45833333333333337, 'number': 35}	{'precision': 0.6666666666666666, 'recall': 0.4666666666666667, 'f1': 0.5490196078431373, 'number': 30}	{'precision': 0.38461538461538464, 'recall': 0.4166666666666667, 'f1': 0.4, 'number': 12}	{'precision': 0.49122807017543857, 'recall': 0.717948717948718, 'f1': 0.5833333333333334, 'number': 39}	{'precision': 0.5636363636363636, 'recall': 0.8157894736842105, 'f1': 0.6666666666666666, 'number': 38}	{'precision': 0.8772455089820359, 'recall': 0.9965986394557823, 'f1': 0.9331210191082804, 'number': 294}	{'precision': 0.7066666666666667, 'recall': 0.7989949748743719, 'f1': 0.7500000000000001, 'number': 199}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 30}	{'precision': 0.7532467532467533, 'recall': 0.9908883826879271, 'f1': 0.8558780127889819, 'number': 878}	{'precision': 0.9197530864197531, 'recall': 0.6962616822429907, 'f1': 0.7925531914893618, 'number': 214}	{'precision': 0.1111111111111111, 'recall': 0.03571428571428571, 'f1': 0.05405405405405406, 'number': 28}	{'precision': 0.85, 'recall': 0.2698412698412698, 'f1': 0.40963855421686746, 'number': 126}	{'precision': 0.5111111111111111, 'recall': 0.5609756097560976, 'f1': 0.5348837209302325, 'number': 41}	{'precision': 0.23809523809523808, 'recall': 0.06666666666666667, 'f1': 0.10416666666666667, 'number': 75}	{'precision': 0.7735849056603774, 'recall': 0.5466666666666666, 'f1': 0.640625, 'number': 75}	0.7851	0.7868	0.7860	0.9089
0.2132	2.0	1470	0.2566	{'precision': 0.4, 'recall': 0.7142857142857143, 'f1': 0.5128205128205129, 'number': 14}	{'precision': 0.34615384615384615, 'recall': 0.07758620689655173, 'f1': 0.1267605633802817, 'number': 116}	{'precision': 0.9223744292237442, 'recall': 0.9665071770334929, 'f1': 0.9439252336448598, 'number': 418}	{'precision': 0.6, 'recall': 0.09090909090909091, 'f1': 0.15789473684210525, 'number': 33}	{'precision': 0.876993166287016, 'recall': 0.8244111349036403, 'f1': 0.8498896247240618, 'number': 467}	{'precision': 0.7407407407407407, 'recall': 0.5714285714285714, 'f1': 0.6451612903225806, 'number': 35}	{'precision': 0.7419354838709677, 'recall': 0.7666666666666667, 'f1': 0.7540983606557377, 'number': 30}	{'precision': 0.45454545454545453, 'recall': 0.4166666666666667, 'f1': 0.43478260869565216, 'number': 12}	{'precision': 0.6153846153846154, 'recall': 0.20512820512820512, 'f1': 0.3076923076923077, 'number': 39}	{'precision': 0.509090909090909, 'recall': 0.7368421052631579, 'f1': 0.6021505376344085, 'number': 38}	{'precision': 0.9824561403508771, 'recall': 0.7619047619047619, 'f1': 0.8582375478927203, 'number': 294}	{'precision': 0.625, 'recall': 0.8793969849246231, 'f1': 0.7306889352818372, 'number': 199}	{'precision': 0.2, 'recall': 0.03333333333333333, 'f1': 0.05714285714285715, 'number': 30}	{'precision': 0.8246628131021194, 'recall': 0.9749430523917996, 'f1': 0.8935281837160751, 'number': 878}	{'precision': 0.675, 'recall': 0.883177570093458, 'f1': 0.7651821862348179, 'number': 214}	{'precision': 0.8, 'recall': 0.2857142857142857, 'f1': 0.4210526315789473, 'number': 28}	{'precision': 0.7948717948717948, 'recall': 0.49206349206349204, 'f1': 0.6078431372549019, 'number': 126}	{'precision': 0.4857142857142857, 'recall': 0.4146341463414634, 'f1': 0.4473684210526316, 'number': 41}	{'precision': 0.28888888888888886, 'recall': 0.17333333333333334, 'f1': 0.21666666666666665, 'number': 75}	{'precision': 0.8222222222222222, 'recall': 0.49333333333333335, 'f1': 0.6166666666666666, 'number': 75}	0.7954	0.7834	0.7894	0.9109
0.1455	3.0	2205	0.2675	{'precision': 0.5, 'recall': 0.14285714285714285, 'f1': 0.22222222222222224, 'number': 14}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 116}	{'precision': 0.9187358916478555, 'recall': 0.9736842105263158, 'f1': 0.9454123112659698, 'number': 418}	{'precision': 0.5294117647058824, 'recall': 0.8181818181818182, 'f1': 0.6428571428571428, 'number': 33}	{'precision': 0.881104033970276, 'recall': 0.8886509635974305, 'f1': 0.884861407249467, 'number': 467}	{'precision': 0.7666666666666667, 'recall': 0.6571428571428571, 'f1': 0.7076923076923077, 'number': 35}	{'precision': 0.7419354838709677, 'recall': 0.7666666666666667, 'f1': 0.7540983606557377, 'number': 30}	{'precision': 0.4, 'recall': 0.5, 'f1': 0.4444444444444445, 'number': 12}	{'precision': 0.7096774193548387, 'recall': 0.5641025641025641, 'f1': 0.6285714285714286, 'number': 39}	{'precision': 0.6521739130434783, 'recall': 0.39473684210526316, 'f1': 0.49180327868852464, 'number': 38}	{'precision': 0.9009584664536742, 'recall': 0.9591836734693877, 'f1': 0.9291598023064251, 'number': 294}	{'precision': 0.7566371681415929, 'recall': 0.8592964824120602, 'f1': 0.804705882352941, 'number': 199}	{'precision': 0.29411764705882354, 'recall': 0.16666666666666666, 'f1': 0.21276595744680848, 'number': 30}	{'precision': 0.756993006993007, 'recall': 0.9863325740318907, 'f1': 0.8565776458951533, 'number': 878}	{'precision': 0.7722007722007722, 'recall': 0.9345794392523364, 'f1': 0.8456659619450319, 'number': 214}	{'precision': 0.6470588235294118, 'recall': 0.7857142857142857, 'f1': 0.7096774193548386, 'number': 28}	{'precision': 0.7558139534883721, 'recall': 0.5158730158730159, 'f1': 0.6132075471698114, 'number': 126}	{'precision': 0.6470588235294118, 'recall': 0.5365853658536586, 'f1': 0.5866666666666668, 'number': 41}	{'precision': 0.41304347826086957, 'recall': 0.25333333333333335, 'f1': 0.3140495867768595, 'number': 75}	{'precision': 0.8636363636363636, 'recall': 0.5066666666666667, 'f1': 0.638655462184874, 'number': 75}	0.7955	0.8318	0.8132	0.9230
0.1214	4.0	2940	0.2441	{'precision': 0.5, 'recall': 0.42857142857142855, 'f1': 0.4615384615384615, 'number': 14}	{'precision': 0.4375, 'recall': 0.1206896551724138, 'f1': 0.1891891891891892, 'number': 116}	{'precision': 0.9627791563275434, 'recall': 0.9282296650717703, 'f1': 0.9451887941534713, 'number': 418}	{'precision': 0.6666666666666666, 'recall': 0.8484848484848485, 'f1': 0.7466666666666666, 'number': 33}	{'precision': 0.9124423963133641, 'recall': 0.8479657387580299, 'f1': 0.8790233074361821, 'number': 467}	{'precision': 0.9032258064516129, 'recall': 0.8, 'f1': 0.8484848484848486, 'number': 35}	{'precision': 0.9629629629629629, 'recall': 0.8666666666666667, 'f1': 0.912280701754386, 'number': 30}	{'precision': 0.25, 'recall': 0.08333333333333333, 'f1': 0.125, 'number': 12}	{'precision': 0.6140350877192983, 'recall': 0.8974358974358975, 'f1': 0.7291666666666667, 'number': 39}	{'precision': 0.4772727272727273, 'recall': 0.5526315789473685, 'f1': 0.5121951219512196, 'number': 38}	{'precision': 0.8805031446540881, 'recall': 0.9523809523809523, 'f1': 0.9150326797385621, 'number': 294}	{'precision': 0.7710280373831776, 'recall': 0.8291457286432161, 'f1': 0.7990314769975787, 'number': 199}	{'precision': 0.4782608695652174, 'recall': 0.36666666666666664, 'f1': 0.41509433962264153, 'number': 30}	{'precision': 0.8939554612937434, 'recall': 0.9601366742596811, 'f1': 0.9258649093904447, 'number': 878}	{'precision': 0.7983539094650206, 'recall': 0.9065420560747663, 'f1': 0.8490153172866522, 'number': 214}	{'precision': 0.7586206896551724, 'recall': 0.7857142857142857, 'f1': 0.7719298245614034, 'number': 28}	{'precision': 0.9024390243902439, 'recall': 0.29365079365079366, 'f1': 0.4431137724550898, 'number': 126}	{'precision': 0.7037037037037037, 'recall': 0.4634146341463415, 'f1': 0.5588235294117647, 'number': 41}	{'precision': 0.375, 'recall': 0.2, 'f1': 0.26086956521739135, 'number': 75}	{'precision': 0.7678571428571429, 'recall': 0.5733333333333334, 'f1': 0.6564885496183206, 'number': 75}	0.8517	0.8134	0.8321	0.9275
0.0889	5.0	3675	0.2556	{'precision': 0.6111111111111112, 'recall': 0.7857142857142857, 'f1': 0.6875000000000001, 'number': 14}	{'precision': 0.6324786324786325, 'recall': 0.6379310344827587, 'f1': 0.6351931330472103, 'number': 116}	{'precision': 0.9502369668246445, 'recall': 0.9593301435406698, 'f1': 0.9547619047619048, 'number': 418}	{'precision': 0.6511627906976745, 'recall': 0.8484848484848485, 'f1': 0.736842105263158, 'number': 33}	{'precision': 0.9310344827586207, 'recall': 0.867237687366167, 'f1': 0.8980044345898004, 'number': 467}	{'precision': 0.8285714285714286, 'recall': 0.8285714285714286, 'f1': 0.8285714285714286, 'number': 35}	{'precision': 0.8620689655172413, 'recall': 0.8333333333333334, 'f1': 0.847457627118644, 'number': 30}	{'precision': 0.4, 'recall': 0.3333333333333333, 'f1': 0.3636363636363636, 'number': 12}	{'precision': 0.6730769230769231, 'recall': 0.8974358974358975, 'f1': 0.7692307692307692, 'number': 39}	{'precision': 0.58, 'recall': 0.7631578947368421, 'f1': 0.6590909090909091, 'number': 38}	{'precision': 0.909375, 'recall': 0.9897959183673469, 'f1': 0.9478827361563518, 'number': 294}	{'precision': 0.8191489361702128, 'recall': 0.7738693467336684, 'f1': 0.7958656330749355, 'number': 199}	{'precision': 0.5769230769230769, 'recall': 0.5, 'f1': 0.5357142857142857, 'number': 30}	{'precision': 0.876278118609407, 'recall': 0.9760820045558086, 'f1': 0.9234913793103449, 'number': 878}	{'precision': 0.8208333333333333, 'recall': 0.9205607476635514, 'f1': 0.8678414096916299, 'number': 214}	{'precision': 0.6842105263157895, 'recall': 0.9285714285714286, 'f1': 0.7878787878787878, 'number': 28}	{'precision': 0.8611111111111112, 'recall': 0.49206349206349204, 'f1': 0.6262626262626263, 'number': 126}	{'precision': 0.4375, 'recall': 0.17073170731707318, 'f1': 0.2456140350877193, 'number': 41}	{'precision': 0.29545454545454547, 'recall': 0.17333333333333334, 'f1': 0.2184873949579832, 'number': 75}	{'precision': 0.8035714285714286, 'recall': 0.6, 'f1': 0.6870229007633588, 'number': 75}	0.8492	0.8564	0.8528	0.9357
0.0725	6.0	4410	0.2314	{'precision': 0.7058823529411765, 'recall': 0.8571428571428571, 'f1': 0.7741935483870968, 'number': 14}	{'precision': 0.6829268292682927, 'recall': 0.4827586206896552, 'f1': 0.5656565656565657, 'number': 116}	{'precision': 0.9701492537313433, 'recall': 0.9330143540669856, 'f1': 0.9512195121951219, 'number': 418}	{'precision': 0.6666666666666666, 'recall': 0.7878787878787878, 'f1': 0.7222222222222221, 'number': 33}	{'precision': 0.8694779116465864, 'recall': 0.9271948608137045, 'f1': 0.8974093264248705, 'number': 467}	{'precision': 0.7560975609756098, 'recall': 0.8857142857142857, 'f1': 0.8157894736842105, 'number': 35}	{'precision': 0.9615384615384616, 'recall': 0.8333333333333334, 'f1': 0.8928571428571429, 'number': 30}	{'precision': 0.6, 'recall': 0.5, 'f1': 0.5454545454545454, 'number': 12}	{'precision': 0.631578947368421, 'recall': 0.9230769230769231, 'f1': 0.7499999999999999, 'number': 39}	{'precision': 0.5740740740740741, 'recall': 0.8157894736842105, 'f1': 0.6739130434782609, 'number': 38}	{'precision': 0.9688581314878892, 'recall': 0.9523809523809523, 'f1': 0.9605488850771869, 'number': 294}	{'precision': 0.8155339805825242, 'recall': 0.8442211055276382, 'f1': 0.8296296296296296, 'number': 199}	{'precision': 0.625, 'recall': 0.6666666666666666, 'f1': 0.6451612903225806, 'number': 30}	{'precision': 0.8471400394477318, 'recall': 0.9783599088838268, 'f1': 0.9080338266384778, 'number': 878}	{'precision': 0.7692307692307693, 'recall': 0.8878504672897196, 'f1': 0.824295010845987, 'number': 214}	{'precision': 0.7647058823529411, 'recall': 0.9285714285714286, 'f1': 0.8387096774193549, 'number': 28}	{'precision': 0.8064516129032258, 'recall': 0.5952380952380952, 'f1': 0.684931506849315, 'number': 126}	{'precision': 0.6136363636363636, 'recall': 0.6585365853658537, 'f1': 0.6352941176470588, 'number': 41}	{'precision': 0.4032258064516129, 'recall': 0.3333333333333333, 'f1': 0.36496350364963503, 'number': 75}	{'precision': 0.8, 'recall': 0.64, 'f1': 0.7111111111111111, 'number': 75}	0.8358	0.8741	0.8545	0.9406
0.0541	7.0	5145	0.2332	{'precision': 0.6666666666666666, 'recall': 0.7142857142857143, 'f1': 0.689655172413793, 'number': 14}	{'precision': 0.6791044776119403, 'recall': 0.7844827586206896, 'f1': 0.728, 'number': 116}	{'precision': 0.9692307692307692, 'recall': 0.9043062200956937, 'f1': 0.9356435643564355, 'number': 418}	{'precision': 0.6585365853658537, 'recall': 0.8181818181818182, 'f1': 0.7297297297297297, 'number': 33}	{'precision': 0.8995726495726496, 'recall': 0.9014989293361885, 'f1': 0.9005347593582887, 'number': 467}	{'precision': 0.8108108108108109, 'recall': 0.8571428571428571, 'f1': 0.8333333333333334, 'number': 35}	{'precision': 0.8928571428571429, 'recall': 0.8333333333333334, 'f1': 0.8620689655172413, 'number': 30}	{'precision': 0.3333333333333333, 'recall': 0.4166666666666667, 'f1': 0.3703703703703704, 'number': 12}	{'precision': 0.7111111111111111, 'recall': 0.8205128205128205, 'f1': 0.7619047619047619, 'number': 39}	{'precision': 0.6666666666666666, 'recall': 0.7894736842105263, 'f1': 0.7228915662650601, 'number': 38}	{'precision': 1.0, 'recall': 0.8741496598639455, 'f1': 0.9328493647912885, 'number': 294}	{'precision': 0.821256038647343, 'recall': 0.8542713567839196, 'f1': 0.8374384236453203, 'number': 199}	{'precision': 0.7, 'recall': 0.7, 'f1': 0.7, 'number': 30}	{'precision': 0.9169435215946844, 'recall': 0.9430523917995444, 'f1': 0.9298147108366086, 'number': 878}	{'precision': 0.8106995884773662, 'recall': 0.9205607476635514, 'f1': 0.8621444201312911, 'number': 214}	{'precision': 0.6842105263157895, 'recall': 0.9285714285714286, 'f1': 0.7878787878787878, 'number': 28}	{'precision': 0.8144329896907216, 'recall': 0.626984126984127, 'f1': 0.7085201793721972, 'number': 126}	{'precision': 0.5555555555555556, 'recall': 0.7317073170731707, 'f1': 0.631578947368421, 'number': 41}	{'precision': 0.4262295081967213, 'recall': 0.3466666666666667, 'f1': 0.38235294117647056, 'number': 75}	{'precision': 0.6973684210526315, 'recall': 0.7066666666666667, 'f1': 0.7019867549668874, 'number': 75}	0.8593	0.8653	0.8623	0.9421
0.0395	8.0	5880	0.2942	{'precision': 0.6923076923076923, 'recall': 0.6428571428571429, 'f1': 0.6666666666666666, 'number': 14}	{'precision': 0.6666666666666666, 'recall': 0.46551724137931033, 'f1': 0.548223350253807, 'number': 116}	{'precision': 0.9657701711491442, 'recall': 0.9449760765550239, 'f1': 0.9552599758162031, 'number': 418}	{'precision': 0.7714285714285715, 'recall': 0.8181818181818182, 'f1': 0.7941176470588236, 'number': 33}	{'precision': 0.920704845814978, 'recall': 0.8950749464668094, 'f1': 0.9077090119435397, 'number': 467}	{'precision': 0.9117647058823529, 'recall': 0.8857142857142857, 'f1': 0.8985507246376812, 'number': 35}	{'precision': 0.9615384615384616, 'recall': 0.8333333333333334, 'f1': 0.8928571428571429, 'number': 30}	{'precision': 0.4666666666666667, 'recall': 0.5833333333333334, 'f1': 0.5185185185185186, 'number': 12}	{'precision': 0.7391304347826086, 'recall': 0.8717948717948718, 'f1': 0.7999999999999999, 'number': 39}	{'precision': 0.5813953488372093, 'recall': 0.6578947368421053, 'f1': 0.6172839506172839, 'number': 38}	{'precision': 0.9929328621908127, 'recall': 0.95578231292517, 'f1': 0.9740034662045061, 'number': 294}	{'precision': 0.8571428571428571, 'recall': 0.7537688442211056, 'f1': 0.8021390374331552, 'number': 199}	{'precision': 0.6333333333333333, 'recall': 0.6333333333333333, 'f1': 0.6333333333333333, 'number': 30}	{'precision': 0.8892339544513458, 'recall': 0.9783599088838268, 'f1': 0.9316702819956617, 'number': 878}	{'precision': 0.77431906614786, 'recall': 0.9299065420560748, 'f1': 0.8450106157112527, 'number': 214}	{'precision': 0.6451612903225806, 'recall': 0.7142857142857143, 'f1': 0.6779661016949152, 'number': 28}	{'precision': 0.8023255813953488, 'recall': 0.5476190476190477, 'f1': 0.6509433962264152, 'number': 126}	{'precision': 0.6774193548387096, 'recall': 0.5121951219512195, 'f1': 0.5833333333333334, 'number': 41}	{'precision': 0.5102040816326531, 'recall': 0.3333333333333333, 'f1': 0.4032258064516129, 'number': 75}	{'precision': 0.847457627118644, 'recall': 0.6666666666666666, 'f1': 0.7462686567164178, 'number': 75}	0.8703	0.8596	0.8649	0.9406
0.0262	9.0	6615	0.2878	{'precision': 0.75, 'recall': 0.6428571428571429, 'f1': 0.6923076923076924, 'number': 14}	{'precision': 0.6976744186046512, 'recall': 0.5172413793103449, 'f1': 0.594059405940594, 'number': 116}	{'precision': 0.9297052154195011, 'recall': 0.9808612440191388, 'f1': 0.9545983701979046, 'number': 418}	{'precision': 0.6666666666666666, 'recall': 0.7878787878787878, 'f1': 0.7222222222222221, 'number': 33}	{'precision': 0.930715935334873, 'recall': 0.8629550321199143, 'f1': 0.8955555555555554, 'number': 467}	{'precision': 0.8888888888888888, 'recall': 0.9142857142857143, 'f1': 0.9014084507042254, 'number': 35}	{'precision': 0.9615384615384616, 'recall': 0.8333333333333334, 'f1': 0.8928571428571429, 'number': 30}	{'precision': 0.5833333333333334, 'recall': 0.5833333333333334, 'f1': 0.5833333333333334, 'number': 12}	{'precision': 0.7560975609756098, 'recall': 0.7948717948717948, 'f1': 0.7749999999999999, 'number': 39}	{'precision': 0.6486486486486487, 'recall': 0.631578947368421, 'f1': 0.64, 'number': 38}	{'precision': 0.9615384615384616, 'recall': 0.935374149659864, 'f1': 0.9482758620689655, 'number': 294}	{'precision': 0.821256038647343, 'recall': 0.8542713567839196, 'f1': 0.8374384236453203, 'number': 199}	{'precision': 0.43243243243243246, 'recall': 0.5333333333333333, 'f1': 0.47761194029850745, 'number': 30}	{'precision': 0.8672032193158954, 'recall': 0.9817767653758542, 'f1': 0.9209401709401709, 'number': 878}	{'precision': 0.7860082304526749, 'recall': 0.8925233644859814, 'f1': 0.8358862144420132, 'number': 214}	{'precision': 0.6944444444444444, 'recall': 0.8928571428571429, 'f1': 0.78125, 'number': 28}	{'precision': 0.8095238095238095, 'recall': 0.5396825396825397, 'f1': 0.6476190476190475, 'number': 126}	{'precision': 0.6764705882352942, 'recall': 0.5609756097560976, 'f1': 0.6133333333333334, 'number': 41}	{'precision': 0.39436619718309857, 'recall': 0.37333333333333335, 'f1': 0.3835616438356165, 'number': 75}	{'precision': 0.7727272727272727, 'recall': 0.68, 'f1': 0.7234042553191491, 'number': 75}	0.8494	0.8653	0.8573	0.9431
0.0217	10.0	7350	0.3222	{'precision': 0.7142857142857143, 'recall': 0.7142857142857143, 'f1': 0.7142857142857143, 'number': 14}	{'precision': 0.625, 'recall': 0.5603448275862069, 'f1': 0.5909090909090908, 'number': 116}	{'precision': 0.9591346153846154, 'recall': 0.9545454545454546, 'f1': 0.9568345323741008, 'number': 418}	{'precision': 0.6585365853658537, 'recall': 0.8181818181818182, 'f1': 0.7297297297297297, 'number': 33}	{'precision': 0.8945147679324894, 'recall': 0.9079229122055674, 'f1': 0.9011689691817215, 'number': 467}	{'precision': 0.8205128205128205, 'recall': 0.9142857142857143, 'f1': 0.8648648648648648, 'number': 35}	{'precision': 0.92, 'recall': 0.7666666666666667, 'f1': 0.8363636363636363, 'number': 30}	{'precision': 0.5833333333333334, 'recall': 0.5833333333333334, 'f1': 0.5833333333333334, 'number': 12}	{'precision': 0.7659574468085106, 'recall': 0.9230769230769231, 'f1': 0.8372093023255814, 'number': 39}	{'precision': 0.6666666666666666, 'recall': 0.631578947368421, 'f1': 0.6486486486486486, 'number': 38}	{'precision': 0.9046153846153846, 'recall': 1.0, 'f1': 0.9499192245557351, 'number': 294}	{'precision': 0.7873303167420814, 'recall': 0.8743718592964824, 'f1': 0.8285714285714286, 'number': 199}	{'precision': 0.5714285714285714, 'recall': 0.6666666666666666, 'f1': 0.6153846153846153, 'number': 30}	{'precision': 0.8877338877338877, 'recall': 0.9726651480637813, 'f1': 0.9282608695652175, 'number': 878}	{'precision': 0.826271186440678, 'recall': 0.9112149532710281, 'f1': 0.8666666666666667, 'number': 214}	{'precision': 0.7777777777777778, 'recall': 0.75, 'f1': 0.7636363636363638, 'number': 28}	{'precision': 0.7875, 'recall': 0.5, 'f1': 0.6116504854368932, 'number': 126}	{'precision': 0.6363636363636364, 'recall': 0.6829268292682927, 'f1': 0.6588235294117647, 'number': 41}	{'precision': 0.5178571428571429, 'recall': 0.38666666666666666, 'f1': 0.44274809160305345, 'number': 75}	{'precision': 0.6410256410256411, 'recall': 0.6666666666666666, 'f1': 0.6535947712418301, 'number': 75}	0.8481	0.8776	0.8626	0.9417
0.0131	11.0	8085	0.3879	{'precision': 0.8333333333333334, 'recall': 0.7142857142857143, 'f1': 0.7692307692307692, 'number': 14}	{'precision': 0.7126436781609196, 'recall': 0.5344827586206896, 'f1': 0.6108374384236452, 'number': 116}	{'precision': 0.9570405727923628, 'recall': 0.9593301435406698, 'f1': 0.9581839904420549, 'number': 418}	{'precision': 0.6666666666666666, 'recall': 0.7878787878787878, 'f1': 0.7222222222222221, 'number': 33}	{'precision': 0.8833333333333333, 'recall': 0.9079229122055674, 'f1': 0.8954593453009504, 'number': 467}	{'precision': 0.8611111111111112, 'recall': 0.8857142857142857, 'f1': 0.8732394366197184, 'number': 35}	{'precision': 0.9615384615384616, 'recall': 0.8333333333333334, 'f1': 0.8928571428571429, 'number': 30}	{'precision': 1.0, 'recall': 0.5, 'f1': 0.6666666666666666, 'number': 12}	{'precision': 0.7346938775510204, 'recall': 0.9230769230769231, 'f1': 0.8181818181818182, 'number': 39}	{'precision': 0.675, 'recall': 0.7105263157894737, 'f1': 0.6923076923076923, 'number': 38}	{'precision': 0.9117647058823529, 'recall': 0.9489795918367347, 'f1': 0.9300000000000002, 'number': 294}	{'precision': 0.8341463414634146, 'recall': 0.8592964824120602, 'f1': 0.8465346534653465, 'number': 199}	{'precision': 0.6060606060606061, 'recall': 0.6666666666666666, 'f1': 0.6349206349206349, 'number': 30}	{'precision': 0.8715596330275229, 'recall': 0.9738041002277904, 'f1': 0.9198493813878429, 'number': 878}	{'precision': 0.8117154811715481, 'recall': 0.9065420560747663, 'f1': 0.8565121412803531, 'number': 214}	{'precision': 0.7037037037037037, 'recall': 0.6785714285714286, 'f1': 0.6909090909090909, 'number': 28}	{'precision': 0.7731958762886598, 'recall': 0.5952380952380952, 'f1': 0.672645739910314, 'number': 126}	{'precision': 0.6571428571428571, 'recall': 0.5609756097560976, 'f1': 0.605263157894737, 'number': 41}	{'precision': 0.5283018867924528, 'recall': 0.37333333333333335, 'f1': 0.43749999999999994, 'number': 75}	{'precision': 0.6666666666666666, 'recall': 0.6666666666666666, 'f1': 0.6666666666666666, 'number': 75}	0.8512	0.8735	0.8622	0.9413
0.0097	12.0	8820	0.3943	{'precision': 0.7142857142857143, 'recall': 0.7142857142857143, 'f1': 0.7142857142857143, 'number': 14}	{'precision': 0.611764705882353, 'recall': 0.4482758620689655, 'f1': 0.5174129353233832, 'number': 116}	{'precision': 0.9574468085106383, 'recall': 0.9688995215311005, 'f1': 0.9631391200951249, 'number': 418}	{'precision': 0.627906976744186, 'recall': 0.8181818181818182, 'f1': 0.7105263157894738, 'number': 33}	{'precision': 0.9102844638949672, 'recall': 0.8907922912205567, 'f1': 0.9004329004329003, 'number': 467}	{'precision': 0.8611111111111112, 'recall': 0.8857142857142857, 'f1': 0.8732394366197184, 'number': 35}	{'precision': 0.8888888888888888, 'recall': 0.8, 'f1': 0.8421052631578948, 'number': 30}	{'precision': 0.5833333333333334, 'recall': 0.5833333333333334, 'f1': 0.5833333333333334, 'number': 12}	{'precision': 0.6730769230769231, 'recall': 0.8974358974358975, 'f1': 0.7692307692307692, 'number': 39}	{'precision': 0.6744186046511628, 'recall': 0.7631578947368421, 'f1': 0.7160493827160495, 'number': 38}	{'precision': 0.9448275862068966, 'recall': 0.9319727891156463, 'f1': 0.9383561643835617, 'number': 294}	{'precision': 0.8173076923076923, 'recall': 0.8542713567839196, 'f1': 0.8353808353808354, 'number': 199}	{'precision': 0.5588235294117647, 'recall': 0.6333333333333333, 'f1': 0.59375, 'number': 30}	{'precision': 0.8727087576374746, 'recall': 0.9760820045558086, 'f1': 0.9215053763440859, 'number': 878}	{'precision': 0.8552631578947368, 'recall': 0.9112149532710281, 'f1': 0.8823529411764707, 'number': 214}	{'precision': 0.7307692307692307, 'recall': 0.6785714285714286, 'f1': 0.7037037037037038, 'number': 28}	{'precision': 0.782608695652174, 'recall': 0.5714285714285714, 'f1': 0.6605504587155963, 'number': 126}	{'precision': 0.725, 'recall': 0.7073170731707317, 'f1': 0.7160493827160495, 'number': 41}	{'precision': 0.46296296296296297, 'recall': 0.3333333333333333, 'f1': 0.38759689922480617, 'number': 75}	{'precision': 0.8666666666666667, 'recall': 0.6933333333333334, 'f1': 0.7703703703703704, 'number': 75}	0.8571	0.8691	0.8631	0.9406
0.007	13.0	9555	0.4295	{'precision': 0.5714285714285714, 'recall': 0.5714285714285714, 'f1': 0.5714285714285714, 'number': 14}	{'precision': 0.5757575757575758, 'recall': 0.49137931034482757, 'f1': 0.530232558139535, 'number': 116}	{'precision': 0.9588377723970944, 'recall': 0.9473684210526315, 'f1': 0.9530685920577617, 'number': 418}	{'precision': 0.5909090909090909, 'recall': 0.7878787878787878, 'f1': 0.6753246753246752, 'number': 33}	{'precision': 0.8980477223427332, 'recall': 0.8865096359743041, 'f1': 0.8922413793103448, 'number': 467}	{'precision': 0.8611111111111112, 'recall': 0.8857142857142857, 'f1': 0.8732394366197184, 'number': 35}	{'precision': 1.0, 'recall': 0.8333333333333334, 'f1': 0.9090909090909091, 'number': 30}	{'precision': 0.6153846153846154, 'recall': 0.6666666666666666, 'f1': 0.64, 'number': 12}	{'precision': 0.68, 'recall': 0.8717948717948718, 'f1': 0.7640449438202247, 'number': 39}	{'precision': 0.675, 'recall': 0.7105263157894737, 'f1': 0.6923076923076923, 'number': 38}	{'precision': 0.934931506849315, 'recall': 0.9285714285714286, 'f1': 0.931740614334471, 'number': 294}	{'precision': 0.7892376681614349, 'recall': 0.8844221105527639, 'f1': 0.8341232227488152, 'number': 199}	{'precision': 0.6129032258064516, 'recall': 0.6333333333333333, 'f1': 0.6229508196721313, 'number': 30}	{'precision': 0.8746145940390545, 'recall': 0.969248291571754, 'f1': 0.9195029713668288, 'number': 878}	{'precision': 0.8778280542986425, 'recall': 0.9065420560747663, 'f1': 0.8919540229885058, 'number': 214}	{'precision': 0.7586206896551724, 'recall': 0.7857142857142857, 'f1': 0.7719298245614034, 'number': 28}	{'precision': 0.7849462365591398, 'recall': 0.5793650793650794, 'f1': 0.6666666666666667, 'number': 126}	{'precision': 0.6571428571428571, 'recall': 0.5609756097560976, 'f1': 0.605263157894737, 'number': 41}	{'precision': 0.43859649122807015, 'recall': 0.3333333333333333, 'f1': 0.3787878787878788, 'number': 75}	{'precision': 0.7727272727272727, 'recall': 0.68, 'f1': 0.7234042553191491, 'number': 75}	0.8501	0.8643	0.8571	0.9397
0.0034	14.0	10290	0.4298	{'precision': 0.7692307692307693, 'recall': 0.7142857142857143, 'f1': 0.7407407407407408, 'number': 14}	{'precision': 0.6081081081081081, 'recall': 0.3879310344827586, 'f1': 0.47368421052631576, 'number': 116}	{'precision': 0.9550827423167849, 'recall': 0.9665071770334929, 'f1': 0.9607609988109395, 'number': 418}	{'precision': 0.6190476190476191, 'recall': 0.7878787878787878, 'f1': 0.6933333333333334, 'number': 33}	{'precision': 0.9023354564755839, 'recall': 0.9100642398286938, 'f1': 0.9061833688699361, 'number': 467}	{'precision': 0.9411764705882353, 'recall': 0.9142857142857143, 'f1': 0.9275362318840579, 'number': 35}	{'precision': 0.9259259259259259, 'recall': 0.8333333333333334, 'f1': 0.8771929824561403, 'number': 30}	{'precision': 0.6153846153846154, 'recall': 0.6666666666666666, 'f1': 0.64, 'number': 12}	{'precision': 0.7083333333333334, 'recall': 0.8717948717948718, 'f1': 0.7816091954022988, 'number': 39}	{'precision': 0.6904761904761905, 'recall': 0.7631578947368421, 'f1': 0.725, 'number': 38}	{'precision': 0.975, 'recall': 0.9285714285714286, 'f1': 0.951219512195122, 'number': 294}	{'precision': 0.8055555555555556, 'recall': 0.8743718592964824, 'f1': 0.8385542168674699, 'number': 199}	{'precision': 0.5882352941176471, 'recall': 0.6666666666666666, 'f1': 0.625, 'number': 30}	{'precision': 0.8704081632653061, 'recall': 0.9715261958997722, 'f1': 0.9181916038751345, 'number': 878}	{'precision': 0.8558951965065502, 'recall': 0.9158878504672897, 'f1': 0.8848758465011286, 'number': 214}	{'precision': 0.7777777777777778, 'recall': 0.75, 'f1': 0.7636363636363638, 'number': 28}	{'precision': 0.797752808988764, 'recall': 0.5634920634920635, 'f1': 0.6604651162790697, 'number': 126}	{'precision': 0.6052631578947368, 'recall': 0.5609756097560976, 'f1': 0.5822784810126583, 'number': 41}	{'precision': 0.43333333333333335, 'recall': 0.3466666666666667, 'f1': 0.3851851851851852, 'number': 75}	{'precision': 0.8461538461538461, 'recall': 0.7333333333333333, 'f1': 0.7857142857142856, 'number': 75}	0.8580	0.8697	0.8638	0.9419
0.0027	15.0	11025	0.4224	{'precision': 0.6923076923076923, 'recall': 0.6428571428571429, 'f1': 0.6666666666666666, 'number': 14}	{'precision': 0.6086956521739131, 'recall': 0.3620689655172414, 'f1': 0.4540540540540541, 'number': 116}	{'precision': 0.9571428571428572, 'recall': 0.9617224880382775, 'f1': 0.9594272076372317, 'number': 418}	{'precision': 0.6341463414634146, 'recall': 0.7878787878787878, 'f1': 0.7027027027027027, 'number': 33}	{'precision': 0.8983050847457628, 'recall': 0.9079229122055674, 'f1': 0.9030883919062833, 'number': 467}	{'precision': 0.9411764705882353, 'recall': 0.9142857142857143, 'f1': 0.9275362318840579, 'number': 35}	{'precision': 0.9259259259259259, 'recall': 0.8333333333333334, 'f1': 0.8771929824561403, 'number': 30}	{'precision': 0.5833333333333334, 'recall': 0.5833333333333334, 'f1': 0.5833333333333334, 'number': 12}	{'precision': 0.7083333333333334, 'recall': 0.8717948717948718, 'f1': 0.7816091954022988, 'number': 39}	{'precision': 0.7105263157894737, 'recall': 0.7105263157894737, 'f1': 0.7105263157894737, 'number': 38}	{'precision': 0.9479166666666666, 'recall': 0.9285714285714286, 'f1': 0.9381443298969072, 'number': 294}	{'precision': 0.8382352941176471, 'recall': 0.8592964824120602, 'f1': 0.8486352357320099, 'number': 199}	{'precision': 0.5428571428571428, 'recall': 0.6333333333333333, 'f1': 0.5846153846153846, 'number': 30}	{'precision': 0.8721881390593047, 'recall': 0.9715261958997722, 'f1': 0.9191810344827586, 'number': 878}	{'precision': 0.8584070796460177, 'recall': 0.9065420560747663, 'f1': 0.8818181818181818, 'number': 214}	{'precision': 0.7857142857142857, 'recall': 0.7857142857142857, 'f1': 0.7857142857142857, 'number': 28}	{'precision': 0.8, 'recall': 0.5714285714285714, 'f1': 0.6666666666666666, 'number': 126}	{'precision': 0.6388888888888888, 'recall': 0.5609756097560976, 'f1': 0.5974025974025975, 'number': 41}	{'precision': 0.4126984126984127, 'recall': 0.3466666666666667, 'f1': 0.37681159420289856, 'number': 75}	{'precision': 0.859375, 'recall': 0.7333333333333333, 'f1': 0.79136690647482, 'number': 75}	0.8588	0.8653	0.8620	0.9426

Framework versions

• Transformers 4.40.2
• Pytorch 2.3.1+cu121
• Datasets 2.19.1
• Tokenizers 0.19.1