lilt-en-funsd-9

This model is a fine-tuned version of SCUT-DLVCLab/lilt-roberta-en-base on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.2476
• Other: {'precision': 0.9375824175824176, 'recall': 0.9330708661417323, 'f1': 0.9353212014909011, 'number': 2286}
• Billing Address: {'precision': 0.7586206896551724, 'recall': 0.8148148148148148, 'f1': 0.7857142857142857, 'number': 27}
• Credits: {'precision': 1.0, 'recall': 0.6666666666666666, 'f1': 0.8, 'number': 3}
• Currency: {'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 3}
• Due Date: {'precision': 0.9642857142857143, 'recall': 0.9310344827586207, 'f1': 0.9473684210526316, 'number': 29}
• Invoice Date: {'precision': 0.9259259259259259, 'recall': 0.9615384615384616, 'f1': 0.9433962264150944, 'number': 52}
• Invoice Number: {'precision': 0.9387755102040817, 'recall': 0.9387755102040817, 'f1': 0.9387755102040817, 'number': 49}
• Line Amount: {'precision': 0.8969072164948454, 'recall': 0.9354838709677419, 'f1': 0.9157894736842105, 'number': 93}
• Line Catlog Number: {'precision': 0.75, 'recall': 0.375, 'f1': 0.5, 'number': 8}
• Line Item Name: {'precision': 0.81, 'recall': 0.84375, 'f1': 0.826530612244898, 'number': 96}
• Line Other Item Name: {'precision': 1.0, 'recall': 0.8888888888888888, 'f1': 0.9411764705882353, 'number': 18}
• Line Quantity: {'precision': 0.8133333333333334, 'recall': 0.8970588235294118, 'f1': 0.8531468531468531, 'number': 68}
• Line Rate: {'precision': 0.7468354430379747, 'recall': 0.855072463768116, 'f1': 0.7972972972972974, 'number': 69}
• Order Date: {'precision': 0.8, 'recall': 0.7272727272727273, 'f1': 0.761904761904762, 'number': 11}
• Other Charges: {'precision': 1.0, 'recall': 0.9411764705882353, 'f1': 0.9696969696969697, 'number': 17}
• Payment Terms: {'precision': 0.9333333333333333, 'recall': 0.9655172413793104, 'f1': 0.9491525423728815, 'number': 29}
• Po Number: {'precision': 1.0, 'recall': 0.8, 'f1': 0.888888888888889, 'number': 25}
• Remit Address: {'precision': 0.47058823529411764, 'recall': 0.6153846153846154, 'f1': 0.5333333333333333, 'number': 13}
• Shipping Address: {'precision': 0.5833333333333334, 'recall': 0.7368421052631579, 'f1': 0.6511627906976745, 'number': 19}
• Subtotal: {'precision': 0.85, 'recall': 1.0, 'f1': 0.9189189189189189, 'number': 17}
• Tax: {'precision': 0.8095238095238095, 'recall': 0.8947368421052632, 'f1': 0.8500000000000001, 'number': 19}
• Total Amount: {'precision': 0.9180327868852459, 'recall': 0.9491525423728814, 'f1': 0.9333333333333333, 'number': 59}
• Vendor Address: {'precision': 0.7647058823529411, 'recall': 0.9629629629629629, 'f1': 0.8524590163934426, 'number': 27}
• Vendor Name: {'precision': 0.819672131147541, 'recall': 0.9433962264150944, 'f1': 0.8771929824561403, 'number': 53}
• Overall Precision: 0.9117
• Overall Recall: 0.9223
• Overall F1: 0.9170
• Overall Accuracy: 0.9540

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 4
• eval_batch_size: 4
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• training_steps: 1000
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Other	Billing Address	Credits	Currency	Due Date	Invoice Date	Invoice Number	Line Amount	Line Catlog Number	Line Item Name	Line Other Item Name	Line Quantity	Line Rate	Order Date	Other Charges	Payment Terms	Po Number	Remit Address	Shipping Address	Subtotal	Tax	Total Amount	Vendor Address	Vendor Name	Overall Precision	Overall Recall	Overall F1	Overall Accuracy
1.2864	1.59	100	0.5527	{'precision': 0.8186506231198969, 'recall': 0.8333333333333334, 'f1': 0.8259267288098852, 'number': 2286}	{'precision': 0.047619047619047616, 'recall': 0.1111111111111111, 'f1': 0.06666666666666667, 'number': 27}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 29}	{'precision': 0.36283185840707965, 'recall': 0.7884615384615384, 'f1': 0.49696969696969695, 'number': 52}	{'precision': 0.631578947368421, 'recall': 0.4897959183673469, 'f1': 0.5517241379310346, 'number': 49}	{'precision': 0.3978494623655914, 'recall': 0.7956989247311828, 'f1': 0.5304659498207885, 'number': 93}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 8}	{'precision': 0.44144144144144143, 'recall': 0.5104166666666666, 'f1': 0.4734299516908212, 'number': 96}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 18}	{'precision': 0.6, 'recall': 0.5294117647058824, 'f1': 0.5625, 'number': 68}	{'precision': 0.5050505050505051, 'recall': 0.7246376811594203, 'f1': 0.5952380952380952, 'number': 69}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 11}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 17}	{'precision': 0.6, 'recall': 0.5172413793103449, 'f1': 0.5555555555555556, 'number': 29}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 25}	{'precision': 0.13333333333333333, 'recall': 0.15384615384615385, 'f1': 0.14285714285714288, 'number': 13}	{'precision': 0.03225806451612903, 'recall': 0.05263157894736842, 'f1': 0.039999999999999994, 'number': 19}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 17}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 19}	{'precision': 0.31, 'recall': 0.5254237288135594, 'f1': 0.389937106918239, 'number': 59}	{'precision': 0.19148936170212766, 'recall': 0.3333333333333333, 'f1': 0.24324324324324323, 'number': 27}	{'precision': 0.3157894736842105, 'recall': 0.11320754716981132, 'f1': 0.16666666666666666, 'number': 53}	0.6943	0.7269	0.7102	0.8354
0.4073	3.17	200	0.4005	{'precision': 0.8913427561837456, 'recall': 0.8827646544181977, 'f1': 0.8870329670329671, 'number': 2286}	{'precision': 0.3090909090909091, 'recall': 0.6296296296296297, 'f1': 0.41463414634146345, 'number': 27}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.5757575757575758, 'recall': 0.6551724137931034, 'f1': 0.6129032258064515, 'number': 29}	{'precision': 0.6923076923076923, 'recall': 0.8653846153846154, 'f1': 0.7692307692307693, 'number': 52}	{'precision': 0.8095238095238095, 'recall': 0.6938775510204082, 'f1': 0.7472527472527472, 'number': 49}	{'precision': 0.6991869918699187, 'recall': 0.9247311827956989, 'f1': 0.7962962962962962, 'number': 93}	{'precision': 1.0, 'recall': 0.375, 'f1': 0.5454545454545454, 'number': 8}	{'precision': 0.6354166666666666, 'recall': 0.6354166666666666, 'f1': 0.6354166666666666, 'number': 96}	{'precision': 0.6666666666666666, 'recall': 0.5555555555555556, 'f1': 0.606060606060606, 'number': 18}	{'precision': 0.6021505376344086, 'recall': 0.8235294117647058, 'f1': 0.6956521739130435, 'number': 68}	{'precision': 0.5957446808510638, 'recall': 0.8115942028985508, 'f1': 0.6871165644171778, 'number': 69}	{'precision': 1.0, 'recall': 0.36363636363636365, 'f1': 0.5333333333333333, 'number': 11}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 17}	{'precision': 0.9032258064516129, 'recall': 0.9655172413793104, 'f1': 0.9333333333333333, 'number': 29}	{'precision': 0.8333333333333334, 'recall': 0.2, 'f1': 0.3225806451612903, 'number': 25}	{'precision': 0.23076923076923078, 'recall': 0.46153846153846156, 'f1': 0.30769230769230776, 'number': 13}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 19}	{'precision': 0.4444444444444444, 'recall': 0.23529411764705882, 'f1': 0.30769230769230765, 'number': 17}	{'precision': 0.5, 'recall': 0.21052631578947367, 'f1': 0.2962962962962963, 'number': 19}	{'precision': 0.5802469135802469, 'recall': 0.7966101694915254, 'f1': 0.6714285714285715, 'number': 59}	{'precision': 0.3888888888888889, 'recall': 0.7777777777777778, 'f1': 0.5185185185185185, 'number': 27}	{'precision': 0.7288135593220338, 'recall': 0.8113207547169812, 'f1': 0.7678571428571428, 'number': 53}	0.8113	0.8307	0.8209	0.8892
0.2169	4.76	300	0.2615	{'precision': 0.9206140350877193, 'recall': 0.9181977252843394, 'f1': 0.9194042925974594, 'number': 2286}	{'precision': 0.5238095238095238, 'recall': 0.8148148148148148, 'f1': 0.6376811594202898, 'number': 27}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.6666666666666666, 'recall': 0.6666666666666666, 'f1': 0.6666666666666666, 'number': 3}	{'precision': 0.7714285714285715, 'recall': 0.9310344827586207, 'f1': 0.8437500000000001, 'number': 29}	{'precision': 0.8166666666666667, 'recall': 0.9423076923076923, 'f1': 0.8749999999999999, 'number': 52}	{'precision': 0.8269230769230769, 'recall': 0.8775510204081632, 'f1': 0.8514851485148514, 'number': 49}	{'precision': 0.7798165137614679, 'recall': 0.9139784946236559, 'f1': 0.8415841584158414, 'number': 93}	{'precision': 0.3333333333333333, 'recall': 0.375, 'f1': 0.35294117647058826, 'number': 8}	{'precision': 0.7555555555555555, 'recall': 0.7083333333333334, 'f1': 0.7311827956989247, 'number': 96}	{'precision': 0.9411764705882353, 'recall': 0.8888888888888888, 'f1': 0.9142857142857143, 'number': 18}	{'precision': 0.7215189873417721, 'recall': 0.8382352941176471, 'f1': 0.7755102040816326, 'number': 68}	{'precision': 0.7, 'recall': 0.8115942028985508, 'f1': 0.7516778523489933, 'number': 69}	{'precision': 0.6666666666666666, 'recall': 0.36363636363636365, 'f1': 0.4705882352941177, 'number': 11}	{'precision': 0.8, 'recall': 0.9411764705882353, 'f1': 0.8648648648648648, 'number': 17}	{'precision': 0.875, 'recall': 0.9655172413793104, 'f1': 0.9180327868852458, 'number': 29}	{'precision': 0.9090909090909091, 'recall': 0.4, 'f1': 0.5555555555555556, 'number': 25}	{'precision': 0.5, 'recall': 0.5384615384615384, 'f1': 0.5185185185185186, 'number': 13}	{'precision': 0.45454545454545453, 'recall': 0.5263157894736842, 'f1': 0.4878048780487805, 'number': 19}	{'precision': 0.4642857142857143, 'recall': 0.7647058823529411, 'f1': 0.5777777777777777, 'number': 17}	{'precision': 0.625, 'recall': 0.5263157894736842, 'f1': 0.5714285714285714, 'number': 19}	{'precision': 0.7796610169491526, 'recall': 0.7796610169491526, 'f1': 0.7796610169491526, 'number': 59}	{'precision': 0.7333333333333333, 'recall': 0.8148148148148148, 'f1': 0.7719298245614035, 'number': 27}	{'precision': 0.676056338028169, 'recall': 0.9056603773584906, 'f1': 0.7741935483870968, 'number': 53}	0.8660	0.8871	0.8764	0.9386
0.124	6.35	400	0.2573	{'precision': 0.9328291814946619, 'recall': 0.9173228346456693, 'f1': 0.9250110277900307, 'number': 2286}	{'precision': 0.8076923076923077, 'recall': 0.7777777777777778, 'f1': 0.7924528301886792, 'number': 27}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.6666666666666666, 'recall': 0.6666666666666666, 'f1': 0.6666666666666666, 'number': 3}	{'precision': 0.8709677419354839, 'recall': 0.9310344827586207, 'f1': 0.9, 'number': 29}	{'precision': 0.8771929824561403, 'recall': 0.9615384615384616, 'f1': 0.9174311926605504, 'number': 52}	{'precision': 0.8867924528301887, 'recall': 0.9591836734693877, 'f1': 0.9215686274509803, 'number': 49}	{'precision': 0.8613861386138614, 'recall': 0.9354838709677419, 'f1': 0.8969072164948454, 'number': 93}	{'precision': 0.8333333333333334, 'recall': 0.625, 'f1': 0.7142857142857143, 'number': 8}	{'precision': 0.7254901960784313, 'recall': 0.7708333333333334, 'f1': 0.7474747474747475, 'number': 96}	{'precision': 0.9411764705882353, 'recall': 0.8888888888888888, 'f1': 0.9142857142857143, 'number': 18}	{'precision': 0.782051282051282, 'recall': 0.8970588235294118, 'f1': 0.8356164383561644, 'number': 68}	{'precision': 0.6867469879518072, 'recall': 0.8260869565217391, 'f1': 0.75, 'number': 69}	{'precision': 0.75, 'recall': 0.5454545454545454, 'f1': 0.631578947368421, 'number': 11}	{'precision': 0.7619047619047619, 'recall': 0.9411764705882353, 'f1': 0.8421052631578947, 'number': 17}	{'precision': 0.9032258064516129, 'recall': 0.9655172413793104, 'f1': 0.9333333333333333, 'number': 29}	{'precision': 0.9333333333333333, 'recall': 0.56, 'f1': 0.7000000000000001, 'number': 25}	{'precision': 0.4375, 'recall': 0.5384615384615384, 'f1': 0.4827586206896552, 'number': 13}	{'precision': 0.6666666666666666, 'recall': 0.8421052631578947, 'f1': 0.744186046511628, 'number': 19}	{'precision': 0.40476190476190477, 'recall': 1.0, 'f1': 0.576271186440678, 'number': 17}	{'precision': 0.6842105263157895, 'recall': 0.6842105263157895, 'f1': 0.6842105263157895, 'number': 19}	{'precision': 0.828125, 'recall': 0.8983050847457628, 'f1': 0.8617886178861789, 'number': 59}	{'precision': 0.7333333333333333, 'recall': 0.8148148148148148, 'f1': 0.7719298245614035, 'number': 27}	{'precision': 0.7719298245614035, 'recall': 0.8301886792452831, 'f1': 0.8, 'number': 53}	0.8876	0.8997	0.8936	0.9424
0.0775	7.94	500	0.2435	{'precision': 0.9391771019677997, 'recall': 0.9186351706036745, 'f1': 0.9287925696594426, 'number': 2286}	{'precision': 0.75, 'recall': 0.7777777777777778, 'f1': 0.7636363636363638, 'number': 27}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.6666666666666666, 'recall': 0.6666666666666666, 'f1': 0.6666666666666666, 'number': 3}	{'precision': 0.9615384615384616, 'recall': 0.8620689655172413, 'f1': 0.9090909090909091, 'number': 29}	{'precision': 0.9259259259259259, 'recall': 0.9615384615384616, 'f1': 0.9433962264150944, 'number': 52}	{'precision': 0.734375, 'recall': 0.9591836734693877, 'f1': 0.831858407079646, 'number': 49}	{'precision': 0.86, 'recall': 0.9247311827956989, 'f1': 0.8911917098445595, 'number': 93}	{'precision': 0.4444444444444444, 'recall': 0.5, 'f1': 0.47058823529411764, 'number': 8}	{'precision': 0.7373737373737373, 'recall': 0.7604166666666666, 'f1': 0.7487179487179487, 'number': 96}	{'precision': 1.0, 'recall': 0.8888888888888888, 'f1': 0.9411764705882353, 'number': 18}	{'precision': 0.8133333333333334, 'recall': 0.8970588235294118, 'f1': 0.8531468531468531, 'number': 68}	{'precision': 0.7532467532467533, 'recall': 0.8405797101449275, 'f1': 0.7945205479452054, 'number': 69}	{'precision': 0.5, 'recall': 0.5454545454545454, 'f1': 0.5217391304347826, 'number': 11}	{'precision': 1.0, 'recall': 0.9411764705882353, 'f1': 0.9696969696969697, 'number': 17}	{'precision': 0.9655172413793104, 'recall': 0.9655172413793104, 'f1': 0.9655172413793104, 'number': 29}	{'precision': 1.0, 'recall': 0.72, 'f1': 0.8372093023255813, 'number': 25}	{'precision': 0.5, 'recall': 0.6153846153846154, 'f1': 0.5517241379310345, 'number': 13}	{'precision': 0.6956521739130435, 'recall': 0.8421052631578947, 'f1': 0.761904761904762, 'number': 19}	{'precision': 0.68, 'recall': 1.0, 'f1': 0.8095238095238095, 'number': 17}	{'precision': 0.6666666666666666, 'recall': 0.7368421052631579, 'f1': 0.7, 'number': 19}	{'precision': 0.8142857142857143, 'recall': 0.9661016949152542, 'f1': 0.8837209302325583, 'number': 59}	{'precision': 0.8125, 'recall': 0.9629629629629629, 'f1': 0.8813559322033898, 'number': 27}	{'precision': 0.7611940298507462, 'recall': 0.9622641509433962, 'f1': 0.85, 'number': 53}	0.8986	0.9061	0.9024	0.9469
0.0482	9.52	600	0.2551	{'precision': 0.9391381608174145, 'recall': 0.9247594050743657, 'f1': 0.9318933215781353, 'number': 2286}	{'precision': 0.6052631578947368, 'recall': 0.8518518518518519, 'f1': 0.7076923076923076, 'number': 27}	{'precision': 1.0, 'recall': 0.6666666666666666, 'f1': 0.8, 'number': 3}	{'precision': 0.6666666666666666, 'recall': 0.6666666666666666, 'f1': 0.6666666666666666, 'number': 3}	{'precision': 0.9629629629629629, 'recall': 0.896551724137931, 'f1': 0.9285714285714286, 'number': 29}	{'precision': 0.9090909090909091, 'recall': 0.9615384615384616, 'f1': 0.9345794392523366, 'number': 52}	{'precision': 0.9387755102040817, 'recall': 0.9387755102040817, 'f1': 0.9387755102040817, 'number': 49}	{'precision': 0.8431372549019608, 'recall': 0.9247311827956989, 'f1': 0.882051282051282, 'number': 93}	{'precision': 0.6, 'recall': 0.375, 'f1': 0.4615384615384615, 'number': 8}	{'precision': 0.7604166666666666, 'recall': 0.7604166666666666, 'f1': 0.7604166666666666, 'number': 96}	{'precision': 0.8666666666666667, 'recall': 0.7222222222222222, 'f1': 0.7878787878787877, 'number': 18}	{'precision': 0.8428571428571429, 'recall': 0.8676470588235294, 'f1': 0.855072463768116, 'number': 68}	{'precision': 0.6477272727272727, 'recall': 0.8260869565217391, 'f1': 0.7261146496815287, 'number': 69}	{'precision': 0.8181818181818182, 'recall': 0.8181818181818182, 'f1': 0.8181818181818182, 'number': 11}	{'precision': 0.8421052631578947, 'recall': 0.9411764705882353, 'f1': 0.8888888888888888, 'number': 17}	{'precision': 0.9333333333333333, 'recall': 0.9655172413793104, 'f1': 0.9491525423728815, 'number': 29}	{'precision': 1.0, 'recall': 0.8, 'f1': 0.888888888888889, 'number': 25}	{'precision': 0.3684210526315789, 'recall': 0.5384615384615384, 'f1': 0.4375, 'number': 13}	{'precision': 0.5454545454545454, 'recall': 0.631578947368421, 'f1': 0.5853658536585366, 'number': 19}	{'precision': 0.7083333333333334, 'recall': 1.0, 'f1': 0.8292682926829268, 'number': 17}	{'precision': 0.7, 'recall': 0.7368421052631579, 'f1': 0.717948717948718, 'number': 19}	{'precision': 0.9, 'recall': 0.9152542372881356, 'f1': 0.9075630252100839, 'number': 59}	{'precision': 0.7058823529411765, 'recall': 0.8888888888888888, 'f1': 0.7868852459016393, 'number': 27}	{'precision': 0.796875, 'recall': 0.9622641509433962, 'f1': 0.8717948717948717, 'number': 53}	0.8982	0.9081	0.9031	0.9480
0.0348	11.11	700	0.2432	{'precision': 0.9347154830172033, 'recall': 0.9269466316710411, 'f1': 0.9308148473533934, 'number': 2286}	{'precision': 0.7857142857142857, 'recall': 0.8148148148148148, 'f1': 0.7999999999999999, 'number': 27}	{'precision': 1.0, 'recall': 0.6666666666666666, 'f1': 0.8, 'number': 3}	{'precision': 0.6666666666666666, 'recall': 0.6666666666666666, 'f1': 0.6666666666666666, 'number': 3}	{'precision': 1.0, 'recall': 0.8620689655172413, 'f1': 0.9259259259259259, 'number': 29}	{'precision': 0.9259259259259259, 'recall': 0.9615384615384616, 'f1': 0.9433962264150944, 'number': 52}	{'precision': 0.8571428571428571, 'recall': 0.9795918367346939, 'f1': 0.9142857142857143, 'number': 49}	{'precision': 0.8969072164948454, 'recall': 0.9354838709677419, 'f1': 0.9157894736842105, 'number': 93}	{'precision': 0.75, 'recall': 0.375, 'f1': 0.5, 'number': 8}	{'precision': 0.7352941176470589, 'recall': 0.78125, 'f1': 0.7575757575757576, 'number': 96}	{'precision': 0.9411764705882353, 'recall': 0.8888888888888888, 'f1': 0.9142857142857143, 'number': 18}	{'precision': 0.7972972972972973, 'recall': 0.8676470588235294, 'f1': 0.8309859154929577, 'number': 68}	{'precision': 0.7341772151898734, 'recall': 0.8405797101449275, 'f1': 0.7837837837837838, 'number': 69}	{'precision': 0.6666666666666666, 'recall': 0.7272727272727273, 'f1': 0.6956521739130435, 'number': 11}	{'precision': 0.8888888888888888, 'recall': 0.9411764705882353, 'f1': 0.9142857142857143, 'number': 17}	{'precision': 0.9655172413793104, 'recall': 0.9655172413793104, 'f1': 0.9655172413793104, 'number': 29}	{'precision': 0.9545454545454546, 'recall': 0.84, 'f1': 0.8936170212765958, 'number': 25}	{'precision': 0.6153846153846154, 'recall': 0.6153846153846154, 'f1': 0.6153846153846154, 'number': 13}	{'precision': 0.52, 'recall': 0.6842105263157895, 'f1': 0.5909090909090909, 'number': 19}	{'precision': 0.68, 'recall': 1.0, 'f1': 0.8095238095238095, 'number': 17}	{'precision': 0.7619047619047619, 'recall': 0.8421052631578947, 'f1': 0.8, 'number': 19}	{'precision': 0.9032258064516129, 'recall': 0.9491525423728814, 'f1': 0.9256198347107438, 'number': 59}	{'precision': 0.6764705882352942, 'recall': 0.8518518518518519, 'f1': 0.7540983606557378, 'number': 27}	{'precision': 0.8166666666666667, 'recall': 0.9245283018867925, 'f1': 0.8672566371681416, 'number': 53}	0.9016	0.9129	0.9072	0.9502
0.0254	12.7	800	0.2360	{'precision': 0.9307624890446976, 'recall': 0.9291338582677166, 'f1': 0.9299474605954465, 'number': 2286}	{'precision': 0.75, 'recall': 0.7777777777777778, 'f1': 0.7636363636363638, 'number': 27}	{'precision': 1.0, 'recall': 0.6666666666666666, 'f1': 0.8, 'number': 3}	{'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 3}	{'precision': 1.0, 'recall': 0.9310344827586207, 'f1': 0.9642857142857143, 'number': 29}	{'precision': 0.9259259259259259, 'recall': 0.9615384615384616, 'f1': 0.9433962264150944, 'number': 52}	{'precision': 0.9591836734693877, 'recall': 0.9591836734693877, 'f1': 0.9591836734693877, 'number': 49}	{'precision': 0.8969072164948454, 'recall': 0.9354838709677419, 'f1': 0.9157894736842105, 'number': 93}	{'precision': 1.0, 'recall': 0.375, 'f1': 0.5454545454545454, 'number': 8}	{'precision': 0.7788461538461539, 'recall': 0.84375, 'f1': 0.81, 'number': 96}	{'precision': 1.0, 'recall': 0.8888888888888888, 'f1': 0.9411764705882353, 'number': 18}	{'precision': 0.8133333333333334, 'recall': 0.8970588235294118, 'f1': 0.8531468531468531, 'number': 68}	{'precision': 0.7468354430379747, 'recall': 0.855072463768116, 'f1': 0.7972972972972974, 'number': 69}	{'precision': 0.875, 'recall': 0.6363636363636364, 'f1': 0.7368421052631579, 'number': 11}	{'precision': 0.9411764705882353, 'recall': 0.9411764705882353, 'f1': 0.9411764705882353, 'number': 17}	{'precision': 0.9655172413793104, 'recall': 0.9655172413793104, 'f1': 0.9655172413793104, 'number': 29}	{'precision': 1.0, 'recall': 0.8, 'f1': 0.888888888888889, 'number': 25}	{'precision': 0.5333333333333333, 'recall': 0.6153846153846154, 'f1': 0.5714285714285715, 'number': 13}	{'precision': 0.6, 'recall': 0.7894736842105263, 'f1': 0.6818181818181819, 'number': 19}	{'precision': 0.7727272727272727, 'recall': 1.0, 'f1': 0.8717948717948718, 'number': 17}	{'precision': 0.7142857142857143, 'recall': 0.7894736842105263, 'f1': 0.7500000000000001, 'number': 19}	{'precision': 0.9322033898305084, 'recall': 0.9322033898305084, 'f1': 0.9322033898305084, 'number': 59}	{'precision': 0.8333333333333334, 'recall': 0.9259259259259259, 'f1': 0.8771929824561403, 'number': 27}	{'precision': 0.8333333333333334, 'recall': 0.9433962264150944, 'f1': 0.8849557522123894, 'number': 53}	0.9075	0.9181	0.9128	0.9526
0.02	14.29	900	0.2531	{'precision': 0.9403710247349824, 'recall': 0.9313210848643919, 'f1': 0.9358241758241758, 'number': 2286}	{'precision': 0.6875, 'recall': 0.8148148148148148, 'f1': 0.7457627118644067, 'number': 27}	{'precision': 1.0, 'recall': 0.6666666666666666, 'f1': 0.8, 'number': 3}	{'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 3}	{'precision': 0.9655172413793104, 'recall': 0.9655172413793104, 'f1': 0.9655172413793104, 'number': 29}	{'precision': 0.9259259259259259, 'recall': 0.9615384615384616, 'f1': 0.9433962264150944, 'number': 52}	{'precision': 0.8703703703703703, 'recall': 0.9591836734693877, 'f1': 0.912621359223301, 'number': 49}	{'precision': 0.8969072164948454, 'recall': 0.9354838709677419, 'f1': 0.9157894736842105, 'number': 93}	{'precision': 0.75, 'recall': 0.375, 'f1': 0.5, 'number': 8}	{'precision': 0.7766990291262136, 'recall': 0.8333333333333334, 'f1': 0.8040201005025125, 'number': 96}	{'precision': 0.9411764705882353, 'recall': 0.8888888888888888, 'f1': 0.9142857142857143, 'number': 18}	{'precision': 0.8133333333333334, 'recall': 0.8970588235294118, 'f1': 0.8531468531468531, 'number': 68}	{'precision': 0.7468354430379747, 'recall': 0.855072463768116, 'f1': 0.7972972972972974, 'number': 69}	{'precision': 0.8, 'recall': 0.7272727272727273, 'f1': 0.761904761904762, 'number': 11}	{'precision': 1.0, 'recall': 0.9411764705882353, 'f1': 0.9696969696969697, 'number': 17}	{'precision': 0.9655172413793104, 'recall': 0.9655172413793104, 'f1': 0.9655172413793104, 'number': 29}	{'precision': 1.0, 'recall': 0.8, 'f1': 0.888888888888889, 'number': 25}	{'precision': 0.3684210526315789, 'recall': 0.5384615384615384, 'f1': 0.4375, 'number': 13}	{'precision': 0.4444444444444444, 'recall': 0.631578947368421, 'f1': 0.5217391304347826, 'number': 19}	{'precision': 0.85, 'recall': 1.0, 'f1': 0.9189189189189189, 'number': 17}	{'precision': 0.7391304347826086, 'recall': 0.8947368421052632, 'f1': 0.8095238095238095, 'number': 19}	{'precision': 0.9193548387096774, 'recall': 0.9661016949152542, 'f1': 0.9421487603305785, 'number': 59}	{'precision': 0.8181818181818182, 'recall': 1.0, 'f1': 0.9, 'number': 27}	{'precision': 0.819672131147541, 'recall': 0.9433962264150944, 'f1': 0.8771929824561403, 'number': 53}	0.9081	0.9210	0.9145	0.9515
0.016	15.87	1000	0.2476	{'precision': 0.9375824175824176, 'recall': 0.9330708661417323, 'f1': 0.9353212014909011, 'number': 2286}	{'precision': 0.7586206896551724, 'recall': 0.8148148148148148, 'f1': 0.7857142857142857, 'number': 27}	{'precision': 1.0, 'recall': 0.6666666666666666, 'f1': 0.8, 'number': 3}	{'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 3}	{'precision': 0.9642857142857143, 'recall': 0.9310344827586207, 'f1': 0.9473684210526316, 'number': 29}	{'precision': 0.9259259259259259, 'recall': 0.9615384615384616, 'f1': 0.9433962264150944, 'number': 52}	{'precision': 0.9387755102040817, 'recall': 0.9387755102040817, 'f1': 0.9387755102040817, 'number': 49}	{'precision': 0.8969072164948454, 'recall': 0.9354838709677419, 'f1': 0.9157894736842105, 'number': 93}	{'precision': 0.75, 'recall': 0.375, 'f1': 0.5, 'number': 8}	{'precision': 0.81, 'recall': 0.84375, 'f1': 0.826530612244898, 'number': 96}	{'precision': 1.0, 'recall': 0.8888888888888888, 'f1': 0.9411764705882353, 'number': 18}	{'precision': 0.8133333333333334, 'recall': 0.8970588235294118, 'f1': 0.8531468531468531, 'number': 68}	{'precision': 0.7468354430379747, 'recall': 0.855072463768116, 'f1': 0.7972972972972974, 'number': 69}	{'precision': 0.8, 'recall': 0.7272727272727273, 'f1': 0.761904761904762, 'number': 11}	{'precision': 1.0, 'recall': 0.9411764705882353, 'f1': 0.9696969696969697, 'number': 17}	{'precision': 0.9333333333333333, 'recall': 0.9655172413793104, 'f1': 0.9491525423728815, 'number': 29}	{'precision': 1.0, 'recall': 0.8, 'f1': 0.888888888888889, 'number': 25}	{'precision': 0.47058823529411764, 'recall': 0.6153846153846154, 'f1': 0.5333333333333333, 'number': 13}	{'precision': 0.5833333333333334, 'recall': 0.7368421052631579, 'f1': 0.6511627906976745, 'number': 19}	{'precision': 0.85, 'recall': 1.0, 'f1': 0.9189189189189189, 'number': 17}	{'precision': 0.8095238095238095, 'recall': 0.8947368421052632, 'f1': 0.8500000000000001, 'number': 19}	{'precision': 0.9180327868852459, 'recall': 0.9491525423728814, 'f1': 0.9333333333333333, 'number': 59}	{'precision': 0.7647058823529411, 'recall': 0.9629629629629629, 'f1': 0.8524590163934426, 'number': 27}	{'precision': 0.819672131147541, 'recall': 0.9433962264150944, 'f1': 0.8771929824561403, 'number': 53}	0.9117	0.9223	0.9170	0.9540

Framework versions

• Transformers 4.28.0
• Pytorch 2.0.1+cu118
• Datasets 2.13.2.dev0
• Tokenizers 0.13.3