roberta-large-ner-ghtk-cs-add-6label-20-new-data-3090-25Sep-1

This model was trained from scratch on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.3440
• Tk: {'precision': 0.6296296296296297, 'recall': 0.5862068965517241, 'f1': 0.6071428571428571, 'number': 116}
• A: {'precision': 0.9387755102040817, 'recall': 0.9605568445475638, 'f1': 0.9495412844036697, 'number': 431}
• Gày: {'precision': 0.7272727272727273, 'recall': 0.9411764705882353, 'f1': 0.8205128205128205, 'number': 34}
• Gày trừu tượng: {'precision': 0.9014373716632443, 'recall': 0.8995901639344263, 'f1': 0.9005128205128204, 'number': 488}
• Gân hàng: {'precision': 0.8, 'recall': 0.8648648648648649, 'f1': 0.8311688311688312, 'number': 37}
• Iền: {'precision': 0.7115384615384616, 'recall': 0.9487179487179487, 'f1': 0.8131868131868132, 'number': 39}
• Iờ: {'precision': 0.65, 'recall': 0.6842105263157895, 'f1': 0.6666666666666667, 'number': 38}
• Ã đơn: {'precision': 0.8564102564102564, 'recall': 0.8226600985221675, 'f1': 0.8391959798994976, 'number': 203}
• Đt: {'precision': 0.9297297297297298, 'recall': 0.979498861047836, 'f1': 0.9539656128674432, 'number': 878}
• Đt trừu tượng: {'precision': 0.7803030303030303, 'recall': 0.8841201716738197, 'f1': 0.82897384305835, 'number': 233}
• Ịa chỉ cụ thể: {'precision': 0.42592592592592593, 'recall': 0.5348837209302325, 'f1': 0.4742268041237113, 'number': 43}
• Ịa chỉ trừu tượng: {'precision': 0.7027027027027027, 'recall': 0.6842105263157895, 'f1': 0.6933333333333334, 'number': 76}
• Overall Precision: 0.8649
• Overall Recall: 0.9006
• Overall F1: 0.8824
• Overall Accuracy: 0.9472

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2.5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Tk	A	Gày	Gày trừu tượng	Gân hàng	Iền	Iờ	Ã đơn	Đt	Đt trừu tượng	Ịa chỉ cụ thể	Ịa chỉ trừu tượng	Overall Precision	Overall Recall	Overall F1	Overall Accuracy
No log	1.0	399	0.2172	{'precision': 0.5454545454545454, 'recall': 0.15517241379310345, 'f1': 0.24161073825503357, 'number': 116}	{'precision': 0.9375, 'recall': 0.9396751740139211, 'f1': 0.9385863267670915, 'number': 431}	{'precision': 0.78125, 'recall': 0.7352941176470589, 'f1': 0.7575757575757576, 'number': 34}	{'precision': 0.8604651162790697, 'recall': 0.9098360655737705, 'f1': 0.8844621513944223, 'number': 488}	{'precision': 0.8285714285714286, 'recall': 0.7837837837837838, 'f1': 0.8055555555555555, 'number': 37}	{'precision': 0.75, 'recall': 0.9230769230769231, 'f1': 0.8275862068965517, 'number': 39}	{'precision': 0.574468085106383, 'recall': 0.7105263157894737, 'f1': 0.6352941176470589, 'number': 38}	{'precision': 0.8773006134969326, 'recall': 0.7044334975369458, 'f1': 0.7814207650273224, 'number': 203}	{'precision': 0.8978328173374613, 'recall': 0.9908883826879271, 'f1': 0.9420682187330806, 'number': 878}	{'precision': 0.7508896797153025, 'recall': 0.9055793991416309, 'f1': 0.821011673151751, 'number': 233}	{'precision': 0.28, 'recall': 0.32558139534883723, 'f1': 0.30107526881720437, 'number': 43}	{'precision': 0.92, 'recall': 0.6052631578947368, 'f1': 0.7301587301587301, 'number': 76}	0.8539	0.8670	0.8604	0.9339
0.2093	2.0	798	0.2224	{'precision': 0.6142857142857143, 'recall': 0.3706896551724138, 'f1': 0.4623655913978495, 'number': 116}	{'precision': 0.9585365853658536, 'recall': 0.9118329466357309, 'f1': 0.9346016646848989, 'number': 431}	{'precision': 0.7741935483870968, 'recall': 0.7058823529411765, 'f1': 0.7384615384615385, 'number': 34}	{'precision': 0.9072164948453608, 'recall': 0.9016393442622951, 'f1': 0.9044193216855086, 'number': 488}	{'precision': 0.8421052631578947, 'recall': 0.8648648648648649, 'f1': 0.8533333333333334, 'number': 37}	{'precision': 0.7608695652173914, 'recall': 0.8974358974358975, 'f1': 0.8235294117647058, 'number': 39}	{'precision': 0.6071428571428571, 'recall': 0.8947368421052632, 'f1': 0.7234042553191489, 'number': 38}	{'precision': 0.9051094890510949, 'recall': 0.6108374384236454, 'f1': 0.7294117647058824, 'number': 203}	{'precision': 0.9462719298245614, 'recall': 0.9829157175398633, 'f1': 0.964245810055866, 'number': 878}	{'precision': 0.6453488372093024, 'recall': 0.9527896995708155, 'f1': 0.7694974003466205, 'number': 233}	{'precision': 0.6333333333333333, 'recall': 0.4418604651162791, 'f1': 0.5205479452054794, 'number': 43}	{'precision': 0.6933333333333334, 'recall': 0.6842105263157895, 'f1': 0.6887417218543047, 'number': 76}	0.8660	0.8719	0.8690	0.9386
0.1087	3.0	1197	0.2441	{'precision': 0.5384615384615384, 'recall': 0.3017241379310345, 'f1': 0.3867403314917127, 'number': 116}	{'precision': 0.9635036496350365, 'recall': 0.9187935034802784, 'f1': 0.9406175771971497, 'number': 431}	{'precision': 0.725, 'recall': 0.8529411764705882, 'f1': 0.7837837837837837, 'number': 34}	{'precision': 0.8745098039215686, 'recall': 0.9139344262295082, 'f1': 0.8937875751503006, 'number': 488}	{'precision': 0.8648648648648649, 'recall': 0.8648648648648649, 'f1': 0.8648648648648649, 'number': 37}	{'precision': 0.68, 'recall': 0.8717948717948718, 'f1': 0.7640449438202247, 'number': 39}	{'precision': 0.66, 'recall': 0.868421052631579, 'f1': 0.7500000000000001, 'number': 38}	{'precision': 0.9038461538461539, 'recall': 0.6945812807881774, 'f1': 0.7855153203342619, 'number': 203}	{'precision': 0.8695219123505976, 'recall': 0.9943052391799544, 'f1': 0.9277364505844845, 'number': 878}	{'precision': 0.7451737451737451, 'recall': 0.8283261802575107, 'f1': 0.7845528455284553, 'number': 233}	{'precision': 0.4594594594594595, 'recall': 0.3953488372093023, 'f1': 0.425, 'number': 43}	{'precision': 0.6710526315789473, 'recall': 0.6710526315789473, 'f1': 0.6710526315789473, 'number': 76}	0.8460	0.8716	0.8586	0.9390
0.0772	4.0	1596	0.2490	{'precision': 0.5849056603773585, 'recall': 0.2672413793103448, 'f1': 0.3668639053254437, 'number': 116}	{'precision': 0.9450800915331807, 'recall': 0.9582366589327146, 'f1': 0.9516129032258063, 'number': 431}	{'precision': 0.7804878048780488, 'recall': 0.9411764705882353, 'f1': 0.8533333333333334, 'number': 34}	{'precision': 0.8552380952380952, 'recall': 0.9200819672131147, 'f1': 0.8864758144126357, 'number': 488}	{'precision': 0.8648648648648649, 'recall': 0.8648648648648649, 'f1': 0.8648648648648649, 'number': 37}	{'precision': 0.8181818181818182, 'recall': 0.9230769230769231, 'f1': 0.8674698795180724, 'number': 39}	{'precision': 0.6285714285714286, 'recall': 0.5789473684210527, 'f1': 0.6027397260273972, 'number': 38}	{'precision': 0.8713450292397661, 'recall': 0.7339901477832512, 'f1': 0.7967914438502675, 'number': 203}	{'precision': 0.9282608695652174, 'recall': 0.9726651480637813, 'f1': 0.9499443826473859, 'number': 878}	{'precision': 0.8201754385964912, 'recall': 0.8025751072961373, 'f1': 0.8112798264642083, 'number': 233}	{'precision': 0.4, 'recall': 0.4186046511627907, 'f1': 0.40909090909090917, 'number': 43}	{'precision': 0.6666666666666666, 'recall': 0.6578947368421053, 'f1': 0.6622516556291391, 'number': 76}	0.8705	0.8689	0.8697	0.9403
0.0772	5.0	1995	0.2623	{'precision': 0.6422764227642277, 'recall': 0.6810344827586207, 'f1': 0.6610878661087866, 'number': 116}	{'precision': 0.9223946784922394, 'recall': 0.9651972157772621, 'f1': 0.9433106575963719, 'number': 431}	{'precision': 0.7692307692307693, 'recall': 0.8823529411764706, 'f1': 0.8219178082191781, 'number': 34}	{'precision': 0.8985801217038539, 'recall': 0.9077868852459017, 'f1': 0.9031600407747196, 'number': 488}	{'precision': 0.8888888888888888, 'recall': 0.8648648648648649, 'f1': 0.8767123287671232, 'number': 37}	{'precision': 0.7115384615384616, 'recall': 0.9487179487179487, 'f1': 0.8131868131868132, 'number': 39}	{'precision': 0.6122448979591837, 'recall': 0.7894736842105263, 'f1': 0.6896551724137931, 'number': 38}	{'precision': 0.7709251101321586, 'recall': 0.8620689655172413, 'f1': 0.813953488372093, 'number': 203}	{'precision': 0.9089005235602095, 'recall': 0.9886104783599089, 'f1': 0.9470812875068194, 'number': 878}	{'precision': 0.8558951965065502, 'recall': 0.8412017167381974, 'f1': 0.8484848484848485, 'number': 233}	{'precision': 0.3888888888888889, 'recall': 0.4883720930232558, 'f1': 0.43298969072164956, 'number': 43}	{'precision': 0.5869565217391305, 'recall': 0.7105263157894737, 'f1': 0.6428571428571428, 'number': 76}	0.8504	0.9102	0.8792	0.9430
0.0442	6.0	2394	0.2721	{'precision': 0.6179775280898876, 'recall': 0.47413793103448276, 'f1': 0.5365853658536586, 'number': 116}	{'precision': 0.9489559164733179, 'recall': 0.9489559164733179, 'f1': 0.9489559164733179, 'number': 431}	{'precision': 0.7631578947368421, 'recall': 0.8529411764705882, 'f1': 0.8055555555555555, 'number': 34}	{'precision': 0.8530534351145038, 'recall': 0.9159836065573771, 'f1': 0.883399209486166, 'number': 488}	{'precision': 0.8048780487804879, 'recall': 0.8918918918918919, 'f1': 0.8461538461538461, 'number': 37}	{'precision': 0.7254901960784313, 'recall': 0.9487179487179487, 'f1': 0.8222222222222223, 'number': 39}	{'precision': 0.5964912280701754, 'recall': 0.8947368421052632, 'f1': 0.7157894736842105, 'number': 38}	{'precision': 0.8957055214723927, 'recall': 0.7192118226600985, 'f1': 0.7978142076502732, 'number': 203}	{'precision': 0.9333333333333333, 'recall': 0.9886104783599089, 'f1': 0.9601769911504426, 'number': 878}	{'precision': 0.7884615384615384, 'recall': 0.8798283261802575, 'f1': 0.8316430020283975, 'number': 233}	{'precision': 0.36666666666666664, 'recall': 0.5116279069767442, 'f1': 0.4271844660194174, 'number': 43}	{'precision': 0.5888888888888889, 'recall': 0.6973684210526315, 'f1': 0.6385542168674698, 'number': 76}	0.8552	0.8937	0.8740	0.9426
0.0277	7.0	2793	0.3000	{'precision': 0.6491228070175439, 'recall': 0.6379310344827587, 'f1': 0.6434782608695653, 'number': 116}	{'precision': 0.9410430839002267, 'recall': 0.962877030162413, 'f1': 0.9518348623853211, 'number': 431}	{'precision': 0.725, 'recall': 0.8529411764705882, 'f1': 0.7837837837837837, 'number': 34}	{'precision': 0.8963414634146342, 'recall': 0.9036885245901639, 'f1': 0.8999999999999999, 'number': 488}	{'precision': 0.8648648648648649, 'recall': 0.8648648648648649, 'f1': 0.8648648648648649, 'number': 37}	{'precision': 0.7659574468085106, 'recall': 0.9230769230769231, 'f1': 0.8372093023255814, 'number': 39}	{'precision': 0.6428571428571429, 'recall': 0.7105263157894737, 'f1': 0.6749999999999999, 'number': 38}	{'precision': 0.8252427184466019, 'recall': 0.8374384236453202, 'f1': 0.8312958435207823, 'number': 203}	{'precision': 0.917016806722689, 'recall': 0.9943052391799544, 'f1': 0.9540983606557377, 'number': 878}	{'precision': 0.7935222672064778, 'recall': 0.8412017167381974, 'f1': 0.8166666666666667, 'number': 233}	{'precision': 0.4634146341463415, 'recall': 0.4418604651162791, 'f1': 0.45238095238095233, 'number': 43}	{'precision': 0.6753246753246753, 'recall': 0.6842105263157895, 'f1': 0.6797385620915033, 'number': 76}	0.8640	0.9037	0.8834	0.9429
0.017	8.0	3192	0.3145	{'precision': 0.6491228070175439, 'recall': 0.6379310344827587, 'f1': 0.6434782608695653, 'number': 116}	{'precision': 0.9517241379310345, 'recall': 0.9605568445475638, 'f1': 0.9561200923787528, 'number': 431}	{'precision': 0.7619047619047619, 'recall': 0.9411764705882353, 'f1': 0.8421052631578947, 'number': 34}	{'precision': 0.9178947368421052, 'recall': 0.8934426229508197, 'f1': 0.9055036344755971, 'number': 488}	{'precision': 0.8205128205128205, 'recall': 0.8648648648648649, 'f1': 0.8421052631578947, 'number': 37}	{'precision': 0.72, 'recall': 0.9230769230769231, 'f1': 0.8089887640449438, 'number': 39}	{'precision': 0.7105263157894737, 'recall': 0.7105263157894737, 'f1': 0.7105263157894737, 'number': 38}	{'precision': 0.8542713567839196, 'recall': 0.8374384236453202, 'f1': 0.845771144278607, 'number': 203}	{'precision': 0.9374313940724479, 'recall': 0.9726651480637813, 'f1': 0.9547233091112354, 'number': 878}	{'precision': 0.803088803088803, 'recall': 0.8927038626609443, 'f1': 0.8455284552845529, 'number': 233}	{'precision': 0.41509433962264153, 'recall': 0.5116279069767442, 'f1': 0.45833333333333337, 'number': 43}	{'precision': 0.68, 'recall': 0.6710526315789473, 'f1': 0.6754966887417219, 'number': 76}	0.8758	0.9006	0.8881	0.9499
0.0088	9.0	3591	0.3394	{'precision': 0.6491228070175439, 'recall': 0.6379310344827587, 'f1': 0.6434782608695653, 'number': 116}	{'precision': 0.9474885844748858, 'recall': 0.962877030162413, 'f1': 0.95512082853855, 'number': 431}	{'precision': 0.6956521739130435, 'recall': 0.9411764705882353, 'f1': 0.7999999999999999, 'number': 34}	{'precision': 0.8884462151394422, 'recall': 0.9139344262295082, 'f1': 0.901010101010101, 'number': 488}	{'precision': 0.8648648648648649, 'recall': 0.8648648648648649, 'f1': 0.8648648648648649, 'number': 37}	{'precision': 0.7115384615384616, 'recall': 0.9487179487179487, 'f1': 0.8131868131868132, 'number': 39}	{'precision': 0.6086956521739131, 'recall': 0.7368421052631579, 'f1': 0.6666666666666666, 'number': 38}	{'precision': 0.8104265402843602, 'recall': 0.8423645320197044, 'f1': 0.8260869565217391, 'number': 203}	{'precision': 0.9243070362473348, 'recall': 0.9874715261958997, 'f1': 0.9548458149779735, 'number': 878}	{'precision': 0.7822878228782287, 'recall': 0.9098712446351931, 'f1': 0.8412698412698413, 'number': 233}	{'precision': 0.4107142857142857, 'recall': 0.5348837209302325, 'f1': 0.46464646464646464, 'number': 43}	{'precision': 0.6973684210526315, 'recall': 0.6973684210526315, 'f1': 0.6973684210526315, 'number': 76}	0.8576	0.9136	0.8847	0.9466
0.0088	10.0	3990	0.3440	{'precision': 0.6296296296296297, 'recall': 0.5862068965517241, 'f1': 0.6071428571428571, 'number': 116}	{'precision': 0.9387755102040817, 'recall': 0.9605568445475638, 'f1': 0.9495412844036697, 'number': 431}	{'precision': 0.7272727272727273, 'recall': 0.9411764705882353, 'f1': 0.8205128205128205, 'number': 34}	{'precision': 0.9014373716632443, 'recall': 0.8995901639344263, 'f1': 0.9005128205128204, 'number': 488}	{'precision': 0.8, 'recall': 0.8648648648648649, 'f1': 0.8311688311688312, 'number': 37}	{'precision': 0.7115384615384616, 'recall': 0.9487179487179487, 'f1': 0.8131868131868132, 'number': 39}	{'precision': 0.65, 'recall': 0.6842105263157895, 'f1': 0.6666666666666667, 'number': 38}	{'precision': 0.8564102564102564, 'recall': 0.8226600985221675, 'f1': 0.8391959798994976, 'number': 203}	{'precision': 0.9297297297297298, 'recall': 0.979498861047836, 'f1': 0.9539656128674432, 'number': 878}	{'precision': 0.7803030303030303, 'recall': 0.8841201716738197, 'f1': 0.82897384305835, 'number': 233}	{'precision': 0.42592592592592593, 'recall': 0.5348837209302325, 'f1': 0.4742268041237113, 'number': 43}	{'precision': 0.7027027027027027, 'recall': 0.6842105263157895, 'f1': 0.6933333333333334, 'number': 76}	0.8649	0.9006	0.8824	0.9472

Framework versions

• Transformers 4.44.0
• Pytorch 2.3.1+cu121
• Datasets 2.19.1
• Tokenizers 0.19.1