roberta-large-ner-ghtk-cs-add-6label-16-new-data-3090-25Sep-1

This model was trained from scratch on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.3354
• Tk: {'precision': 0.6526315789473685, 'recall': 0.5344827586206896, 'f1': 0.5876777251184834, 'number': 116}
• A: {'precision': 0.9425287356321839, 'recall': 0.951276102088167, 'f1': 0.9468822170900693, 'number': 431}
• Gày: {'precision': 0.7073170731707317, 'recall': 0.8529411764705882, 'f1': 0.7733333333333334, 'number': 34}
• Gày trừu tượng: {'precision': 0.9064449064449065, 'recall': 0.8934426229508197, 'f1': 0.8998968008255934, 'number': 488}
• Gân hàng: {'precision': 0.8, 'recall': 0.8648648648648649, 'f1': 0.8311688311688312, 'number': 37}
• Iền: {'precision': 0.6545454545454545, 'recall': 0.9230769230769231, 'f1': 0.7659574468085106, 'number': 39}
• Iờ: {'precision': 0.6428571428571429, 'recall': 0.7105263157894737, 'f1': 0.6749999999999999, 'number': 38}
• Ã đơn: {'precision': 0.7961165048543689, 'recall': 0.8078817733990148, 'f1': 0.8019559902200489, 'number': 203}
• Đt: {'precision': 0.9259656652360515, 'recall': 0.9829157175398633, 'f1': 0.9535911602209944, 'number': 878}
• Đt trừu tượng: {'precision': 0.6970684039087948, 'recall': 0.9184549356223176, 'f1': 0.7925925925925925, 'number': 233}
• Ịa chỉ cụ thể: {'precision': 0.35384615384615387, 'recall': 0.5348837209302325, 'f1': 0.425925925925926, 'number': 43}
• Ịa chỉ trừu tượng: {'precision': 0.7285714285714285, 'recall': 0.6710526315789473, 'f1': 0.6986301369863013, 'number': 76}
• Overall Precision: 0.8476
• Overall Recall: 0.8972
• Overall F1: 0.8717
• Overall Accuracy: 0.9441

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2.5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Tk	A	Gày	Gày trừu tượng	Gân hàng	Iền	Iờ	Ã đơn	Đt	Đt trừu tượng	Ịa chỉ cụ thể	Ịa chỉ trừu tượng	Overall Precision	Overall Recall	Overall F1	Overall Accuracy
No log	1.0	388	0.1955	{'precision': 0.56, 'recall': 0.1206896551724138, 'f1': 0.19858156028368795, 'number': 116}	{'precision': 0.9222222222222223, 'recall': 0.962877030162413, 'f1': 0.94211123723042, 'number': 431}	{'precision': 0.8, 'recall': 0.9411764705882353, 'f1': 0.8648648648648648, 'number': 34}	{'precision': 0.8441558441558441, 'recall': 0.9323770491803278, 'f1': 0.8860759493670886, 'number': 488}	{'precision': 0.65, 'recall': 0.7027027027027027, 'f1': 0.6753246753246753, 'number': 37}	{'precision': 0.7, 'recall': 0.8974358974358975, 'f1': 0.7865168539325842, 'number': 39}	{'precision': 0.6153846153846154, 'recall': 0.8421052631578947, 'f1': 0.7111111111111111, 'number': 38}	{'precision': 0.8478260869565217, 'recall': 0.7684729064039408, 'f1': 0.8062015503875969, 'number': 203}	{'precision': 0.9243876464323749, 'recall': 0.9886104783599089, 'f1': 0.9554210236653826, 'number': 878}	{'precision': 0.7440273037542662, 'recall': 0.9356223175965666, 'f1': 0.8288973384030418, 'number': 233}	{'precision': 0.36065573770491804, 'recall': 0.5116279069767442, 'f1': 0.4230769230769231, 'number': 43}	{'precision': 0.5465116279069767, 'recall': 0.618421052631579, 'f1': 0.5802469135802469, 'number': 76}	0.8409	0.8869	0.8633	0.9417
0.2015	2.0	776	0.1884	{'precision': 0.64, 'recall': 0.8275862068965517, 'f1': 0.7218045112781956, 'number': 116}	{'precision': 0.8926315789473684, 'recall': 0.9837587006960556, 'f1': 0.9359823399558498, 'number': 431}	{'precision': 0.7, 'recall': 0.8235294117647058, 'f1': 0.7567567567567567, 'number': 34}	{'precision': 0.8745098039215686, 'recall': 0.9139344262295082, 'f1': 0.8937875751503006, 'number': 488}	{'precision': 0.8823529411764706, 'recall': 0.8108108108108109, 'f1': 0.8450704225352113, 'number': 37}	{'precision': 0.6851851851851852, 'recall': 0.9487179487179487, 'f1': 0.7956989247311828, 'number': 39}	{'precision': 0.7241379310344828, 'recall': 0.5526315789473685, 'f1': 0.6268656716417911, 'number': 38}	{'precision': 0.7633928571428571, 'recall': 0.8423645320197044, 'f1': 0.8009367681498829, 'number': 203}	{'precision': 0.9360086767895879, 'recall': 0.9829157175398633, 'f1': 0.9588888888888889, 'number': 878}	{'precision': 0.7785977859778598, 'recall': 0.9055793991416309, 'f1': 0.8373015873015872, 'number': 233}	{'precision': 0.21666666666666667, 'recall': 0.3023255813953488, 'f1': 0.2524271844660194, 'number': 43}	{'precision': 0.9148936170212766, 'recall': 0.5657894736842105, 'f1': 0.6991869918699187, 'number': 76}	0.8462	0.9109	0.8774	0.9413
0.1141	3.0	1164	0.1837	{'precision': 0.5728155339805825, 'recall': 0.5086206896551724, 'f1': 0.5388127853881278, 'number': 116}	{'precision': 0.9244444444444444, 'recall': 0.9651972157772621, 'f1': 0.9443813847900113, 'number': 431}	{'precision': 0.7692307692307693, 'recall': 0.8823529411764706, 'f1': 0.8219178082191781, 'number': 34}	{'precision': 0.888663967611336, 'recall': 0.8995901639344263, 'f1': 0.8940936863543788, 'number': 488}	{'precision': 0.85, 'recall': 0.918918918918919, 'f1': 0.8831168831168831, 'number': 37}	{'precision': 0.6909090909090909, 'recall': 0.9743589743589743, 'f1': 0.8085106382978723, 'number': 39}	{'precision': 0.7419354838709677, 'recall': 0.6052631578947368, 'f1': 0.6666666666666666, 'number': 38}	{'precision': 0.8556149732620321, 'recall': 0.7881773399014779, 'f1': 0.8205128205128205, 'number': 203}	{'precision': 0.9114857744994731, 'recall': 0.9851936218678815, 'f1': 0.9469074986316365, 'number': 878}	{'precision': 0.8541666666666666, 'recall': 0.8798283261802575, 'f1': 0.8668076109936574, 'number': 233}	{'precision': 0.38181818181818183, 'recall': 0.4883720930232558, 'f1': 0.42857142857142855, 'number': 43}	{'precision': 0.8181818181818182, 'recall': 0.5921052631578947, 'f1': 0.6870229007633587, 'number': 76}	0.8655	0.8926	0.8788	0.9475
0.0787	4.0	1552	0.2607	{'precision': 0.5616438356164384, 'recall': 0.35344827586206895, 'f1': 0.43386243386243384, 'number': 116}	{'precision': 0.913232104121475, 'recall': 0.9767981438515081, 'f1': 0.9439461883408071, 'number': 431}	{'precision': 0.7894736842105263, 'recall': 0.8823529411764706, 'f1': 0.8333333333333333, 'number': 34}	{'precision': 0.8872651356993737, 'recall': 0.8709016393442623, 'f1': 0.8790072388831438, 'number': 488}	{'precision': 0.9166666666666666, 'recall': 0.8918918918918919, 'f1': 0.9041095890410958, 'number': 37}	{'precision': 0.7608695652173914, 'recall': 0.8974358974358975, 'f1': 0.8235294117647058, 'number': 39}	{'precision': 0.6101694915254238, 'recall': 0.9473684210526315, 'f1': 0.7422680412371134, 'number': 38}	{'precision': 0.8904109589041096, 'recall': 0.6403940886699507, 'f1': 0.7449856733524355, 'number': 203}	{'precision': 0.9287257019438445, 'recall': 0.979498861047836, 'f1': 0.9534368070953437, 'number': 878}	{'precision': 0.7642857142857142, 'recall': 0.9184549356223176, 'f1': 0.834307992202729, 'number': 233}	{'precision': 0.44, 'recall': 0.5116279069767442, 'f1': 0.4731182795698925, 'number': 43}	{'precision': 0.7027027027027027, 'recall': 0.6842105263157895, 'f1': 0.6933333333333334, 'number': 76}	0.8617	0.8788	0.8702	0.9414
0.0787	5.0	1940	0.2347	{'precision': 0.6222222222222222, 'recall': 0.4827586206896552, 'f1': 0.5436893203883495, 'number': 116}	{'precision': 0.9197396963123644, 'recall': 0.9837587006960556, 'f1': 0.9506726457399103, 'number': 431}	{'precision': 0.7317073170731707, 'recall': 0.8823529411764706, 'f1': 0.8, 'number': 34}	{'precision': 0.8774703557312253, 'recall': 0.9098360655737705, 'f1': 0.8933601609657947, 'number': 488}	{'precision': 0.8717948717948718, 'recall': 0.918918918918919, 'f1': 0.8947368421052632, 'number': 37}	{'precision': 0.7115384615384616, 'recall': 0.9487179487179487, 'f1': 0.8131868131868132, 'number': 39}	{'precision': 0.6545454545454545, 'recall': 0.9473684210526315, 'f1': 0.7741935483870966, 'number': 38}	{'precision': 0.8421052631578947, 'recall': 0.7881773399014779, 'f1': 0.8142493638676845, 'number': 203}	{'precision': 0.9347826086956522, 'recall': 0.979498861047836, 'f1': 0.9566184649610678, 'number': 878}	{'precision': 0.726962457337884, 'recall': 0.9141630901287554, 'f1': 0.8098859315589354, 'number': 233}	{'precision': 0.4, 'recall': 0.5116279069767442, 'f1': 0.44897959183673475, 'number': 43}	{'precision': 0.654320987654321, 'recall': 0.6973684210526315, 'f1': 0.6751592356687897, 'number': 76}	0.8512	0.9056	0.8776	0.9461
0.0486	6.0	2328	0.2583	{'precision': 0.65625, 'recall': 0.5431034482758621, 'f1': 0.5943396226415094, 'number': 116}	{'precision': 0.9244444444444444, 'recall': 0.9651972157772621, 'f1': 0.9443813847900113, 'number': 431}	{'precision': 0.6976744186046512, 'recall': 0.8823529411764706, 'f1': 0.7792207792207793, 'number': 34}	{'precision': 0.888671875, 'recall': 0.9323770491803278, 'f1': 0.91, 'number': 488}	{'precision': 0.7906976744186046, 'recall': 0.918918918918919, 'f1': 0.85, 'number': 37}	{'precision': 0.6440677966101694, 'recall': 0.9743589743589743, 'f1': 0.7755102040816326, 'number': 39}	{'precision': 0.6170212765957447, 'recall': 0.7631578947368421, 'f1': 0.6823529411764706, 'number': 38}	{'precision': 0.8306010928961749, 'recall': 0.7487684729064039, 'f1': 0.7875647668393783, 'number': 203}	{'precision': 0.9344086021505377, 'recall': 0.989749430523918, 'f1': 0.9612831858407079, 'number': 878}	{'precision': 0.6891025641025641, 'recall': 0.9227467811158798, 'f1': 0.7889908256880733, 'number': 233}	{'precision': 0.3333333333333333, 'recall': 0.4883720930232558, 'f1': 0.39622641509433965, 'number': 43}	{'precision': 0.7285714285714285, 'recall': 0.6710526315789473, 'f1': 0.6986301369863013, 'number': 76}	0.8451	0.9071	0.875	0.9443
0.0356	7.0	2716	0.3199	{'precision': 0.5486725663716814, 'recall': 0.5344827586206896, 'f1': 0.5414847161572053, 'number': 116}	{'precision': 0.9266666666666666, 'recall': 0.9675174013921114, 'f1': 0.9466515323496028, 'number': 431}	{'precision': 0.6904761904761905, 'recall': 0.8529411764705882, 'f1': 0.7631578947368423, 'number': 34}	{'precision': 0.8809523809523809, 'recall': 0.9098360655737705, 'f1': 0.8951612903225806, 'number': 488}	{'precision': 0.8095238095238095, 'recall': 0.918918918918919, 'f1': 0.860759493670886, 'number': 37}	{'precision': 0.6792452830188679, 'recall': 0.9230769230769231, 'f1': 0.7826086956521738, 'number': 39}	{'precision': 0.5813953488372093, 'recall': 0.6578947368421053, 'f1': 0.6172839506172839, 'number': 38}	{'precision': 0.7877358490566038, 'recall': 0.8226600985221675, 'f1': 0.8048192771084337, 'number': 203}	{'precision': 0.9588100686498856, 'recall': 0.9544419134396356, 'f1': 0.9566210045662101, 'number': 878}	{'precision': 0.6920529801324503, 'recall': 0.8969957081545065, 'f1': 0.7813084112149533, 'number': 233}	{'precision': 0.4642857142857143, 'recall': 0.6046511627906976, 'f1': 0.5252525252525253, 'number': 43}	{'precision': 0.7162162162162162, 'recall': 0.6973684210526315, 'f1': 0.7066666666666668, 'number': 76}	0.8463	0.8945	0.8697	0.9430
0.0193	8.0	3104	0.3177	{'precision': 0.6129032258064516, 'recall': 0.49137931034482757, 'f1': 0.5454545454545454, 'number': 116}	{'precision': 0.9170305676855895, 'recall': 0.974477958236659, 'f1': 0.9448818897637796, 'number': 431}	{'precision': 0.7045454545454546, 'recall': 0.9117647058823529, 'f1': 0.794871794871795, 'number': 34}	{'precision': 0.8923395445134575, 'recall': 0.8831967213114754, 'f1': 0.8877445932028836, 'number': 488}	{'precision': 0.8048780487804879, 'recall': 0.8918918918918919, 'f1': 0.8461538461538461, 'number': 37}	{'precision': 0.7058823529411765, 'recall': 0.9230769230769231, 'f1': 0.8000000000000002, 'number': 39}	{'precision': 0.6, 'recall': 0.631578947368421, 'f1': 0.6153846153846154, 'number': 38}	{'precision': 0.8298969072164949, 'recall': 0.7931034482758621, 'f1': 0.8110831234256927, 'number': 203}	{'precision': 0.9227467811158798, 'recall': 0.979498861047836, 'f1': 0.9502762430939227, 'number': 878}	{'precision': 0.6837060702875399, 'recall': 0.9184549356223176, 'f1': 0.7838827838827838, 'number': 233}	{'precision': 0.4098360655737705, 'recall': 0.5813953488372093, 'f1': 0.4807692307692308, 'number': 43}	{'precision': 0.6973684210526315, 'recall': 0.6973684210526315, 'f1': 0.6973684210526315, 'number': 76}	0.8417	0.8964	0.8682	0.9416
0.0193	9.0	3492	0.3247	{'precision': 0.6458333333333334, 'recall': 0.5344827586206896, 'f1': 0.5849056603773585, 'number': 116}	{'precision': 0.9450800915331807, 'recall': 0.9582366589327146, 'f1': 0.9516129032258063, 'number': 431}	{'precision': 0.7073170731707317, 'recall': 0.8529411764705882, 'f1': 0.7733333333333334, 'number': 34}	{'precision': 0.8973305954825462, 'recall': 0.8954918032786885, 'f1': 0.8964102564102564, 'number': 488}	{'precision': 0.825, 'recall': 0.8918918918918919, 'f1': 0.8571428571428571, 'number': 37}	{'precision': 0.6545454545454545, 'recall': 0.9230769230769231, 'f1': 0.7659574468085106, 'number': 39}	{'precision': 0.6153846153846154, 'recall': 0.631578947368421, 'f1': 0.6233766233766234, 'number': 38}	{'precision': 0.8029556650246306, 'recall': 0.8029556650246306, 'f1': 0.8029556650246306, 'number': 203}	{'precision': 0.9241452991452992, 'recall': 0.9851936218678815, 'f1': 0.9536934950385887, 'number': 878}	{'precision': 0.7244897959183674, 'recall': 0.9141630901287554, 'f1': 0.808349146110057, 'number': 233}	{'precision': 0.4262295081967213, 'recall': 0.6046511627906976, 'f1': 0.4999999999999999, 'number': 43}	{'precision': 0.7313432835820896, 'recall': 0.6447368421052632, 'f1': 0.6853146853146853, 'number': 76}	0.8527	0.8983	0.8749	0.9451
0.0108	10.0	3880	0.3354	{'precision': 0.6526315789473685, 'recall': 0.5344827586206896, 'f1': 0.5876777251184834, 'number': 116}	{'precision': 0.9425287356321839, 'recall': 0.951276102088167, 'f1': 0.9468822170900693, 'number': 431}	{'precision': 0.7073170731707317, 'recall': 0.8529411764705882, 'f1': 0.7733333333333334, 'number': 34}	{'precision': 0.9064449064449065, 'recall': 0.8934426229508197, 'f1': 0.8998968008255934, 'number': 488}	{'precision': 0.8, 'recall': 0.8648648648648649, 'f1': 0.8311688311688312, 'number': 37}	{'precision': 0.6545454545454545, 'recall': 0.9230769230769231, 'f1': 0.7659574468085106, 'number': 39}	{'precision': 0.6428571428571429, 'recall': 0.7105263157894737, 'f1': 0.6749999999999999, 'number': 38}	{'precision': 0.7961165048543689, 'recall': 0.8078817733990148, 'f1': 0.8019559902200489, 'number': 203}	{'precision': 0.9259656652360515, 'recall': 0.9829157175398633, 'f1': 0.9535911602209944, 'number': 878}	{'precision': 0.6970684039087948, 'recall': 0.9184549356223176, 'f1': 0.7925925925925925, 'number': 233}	{'precision': 0.35384615384615387, 'recall': 0.5348837209302325, 'f1': 0.425925925925926, 'number': 43}	{'precision': 0.7285714285714285, 'recall': 0.6710526315789473, 'f1': 0.6986301369863013, 'number': 76}	0.8476	0.8972	0.8717	0.9441

Framework versions

• Transformers 4.44.0
• Pytorch 2.3.1+cu121
• Datasets 2.19.1
• Tokenizers 0.19.1