layoutlm-funsd

This model is a fine-tuned version of microsoft/layoutlm-base-uncased on the funsd dataset. It achieves the following results on the evaluation set:

• Loss: 0.7243
• Answer: {'precision': 0.7051835853131749, 'recall': 0.8071693448702101, 'f1': 0.7527377521613834, 'number': 809}
• Header: {'precision': 0.3706896551724138, 'recall': 0.36134453781512604, 'f1': 0.36595744680851067, 'number': 119}
• Question: {'precision': 0.8041704442429737, 'recall': 0.8328638497652582, 'f1': 0.8182656826568265, 'number': 1065}
• Overall Precision: 0.7380
• Overall Recall: 0.7943
• Overall F1: 0.7651
• Overall Accuracy: 0.8003

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 3e-05
• train_batch_size: 128
• eval_batch_size: 64
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 50
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Answer	Header	Question	Overall Precision	Overall Recall	Overall F1	Overall Accuracy
1.1725	1.0	2	1.0951	{'precision': 0.33885350318471336, 'recall': 0.3288009888751545, 'f1': 0.33375156838143033, 'number': 809}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 119}	{'precision': 0.559967585089141, 'recall': 0.6488262910798122, 'f1': 0.6011309264897782, 'number': 1065}	0.4738	0.4802	0.4769	0.6364
1.0154	2.0	4	0.9732	{'precision': 0.4147521160822249, 'recall': 0.42398022249690975, 'f1': 0.4193154034229829, 'number': 809}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 119}	{'precision': 0.5925020374898126, 'recall': 0.6826291079812207, 'f1': 0.6343804537521816, 'number': 1065}	0.5184	0.5369	0.5275	0.6891
0.9362	3.0	6	0.8900	{'precision': 0.5035714285714286, 'recall': 0.522867737948084, 'f1': 0.5130382049727107, 'number': 809}	{'precision': 0.06896551724137931, 'recall': 0.01680672268907563, 'f1': 0.027027027027027025, 'number': 119}	{'precision': 0.6452159187129551, 'recall': 0.7154929577464789, 'f1': 0.678539626001781, 'number': 1065}	0.5790	0.5956	0.5872	0.7197
0.8256	4.0	8	0.8352	{'precision': 0.5638179800221975, 'recall': 0.6279357231149567, 'f1': 0.5941520467836258, 'number': 809}	{'precision': 0.06976744186046512, 'recall': 0.025210084033613446, 'f1': 0.037037037037037035, 'number': 119}	{'precision': 0.6519607843137255, 'recall': 0.7492957746478873, 'f1': 0.6972477064220184, 'number': 1065}	0.6038	0.6568	0.6292	0.7434
0.7591	5.0	10	0.7736	{'precision': 0.6031914893617021, 'recall': 0.7008652657601978, 'f1': 0.6483704974271013, 'number': 809}	{'precision': 0.10204081632653061, 'recall': 0.04201680672268908, 'f1': 0.05952380952380952, 'number': 119}	{'precision': 0.6701612903225806, 'recall': 0.780281690140845, 'f1': 0.7210412147505423, 'number': 1065}	0.6294	0.7040	0.6646	0.7644
0.7242	6.0	12	0.7291	{'precision': 0.5970619097586569, 'recall': 0.7033374536464772, 'f1': 0.6458569807037458, 'number': 809}	{'precision': 0.12727272727272726, 'recall': 0.058823529411764705, 'f1': 0.08045977011494251, 'number': 119}	{'precision': 0.7053264604810997, 'recall': 0.7708920187793428, 'f1': 0.7366532077164648, 'number': 1065}	0.6432	0.7010	0.6708	0.7638
0.6542	7.0	14	0.6921	{'precision': 0.6148148148148148, 'recall': 0.7181705809641533, 'f1': 0.6624857468643102, 'number': 809}	{'precision': 0.1506849315068493, 'recall': 0.09243697478991597, 'f1': 0.11458333333333334, 'number': 119}	{'precision': 0.7185929648241206, 'recall': 0.8056338028169014, 'f1': 0.7596281540504649, 'number': 1065}	0.6555	0.7275	0.6897	0.7776
0.6076	8.0	16	0.6709	{'precision': 0.6371220020855057, 'recall': 0.7552533992583437, 'f1': 0.6911764705882354, 'number': 809}	{'precision': 0.20253164556962025, 'recall': 0.13445378151260504, 'f1': 0.1616161616161616, 'number': 119}	{'precision': 0.7142857142857143, 'recall': 0.8215962441314554, 'f1': 0.7641921397379913, 'number': 1065}	0.6637	0.7536	0.7058	0.7878
0.5743	9.0	18	0.6503	{'precision': 0.6582278481012658, 'recall': 0.7713226205191595, 'f1': 0.7103016505406944, 'number': 809}	{'precision': 0.24691358024691357, 'recall': 0.16806722689075632, 'f1': 0.2, 'number': 119}	{'precision': 0.7366638441998307, 'recall': 0.8169014084507042, 'f1': 0.7747105966162066, 'number': 1065}	0.6851	0.7597	0.7204	0.7929
0.5316	10.0	20	0.6438	{'precision': 0.6608695652173913, 'recall': 0.7515451174289246, 'f1': 0.7032967032967032, 'number': 809}	{'precision': 0.23863636363636365, 'recall': 0.17647058823529413, 'f1': 0.20289855072463767, 'number': 119}	{'precision': 0.7390202702702703, 'recall': 0.8215962441314554, 'f1': 0.7781236104935527, 'number': 1065}	0.6861	0.7546	0.7188	0.7944
0.5033	11.0	22	0.6252	{'precision': 0.6775599128540305, 'recall': 0.7688504326328801, 'f1': 0.7203242617255357, 'number': 809}	{'precision': 0.3218390804597701, 'recall': 0.23529411764705882, 'f1': 0.27184466019417475, 'number': 119}	{'precision': 0.7491467576791809, 'recall': 0.8244131455399061, 'f1': 0.7849798837729102, 'number': 1065}	0.7019	0.7667	0.7329	0.8021
0.5073	12.0	24	0.6364	{'precision': 0.6750261233019854, 'recall': 0.7985166872682324, 'f1': 0.7315968289920726, 'number': 809}	{'precision': 0.30612244897959184, 'recall': 0.25210084033613445, 'f1': 0.2764976958525346, 'number': 119}	{'precision': 0.7528089887640449, 'recall': 0.8178403755868544, 'f1': 0.7839783978397841, 'number': 1065}	0.6994	0.7762	0.7358	0.7987
0.4453	13.0	26	0.6300	{'precision': 0.6767782426778243, 'recall': 0.799752781211372, 'f1': 0.7331444759206799, 'number': 809}	{'precision': 0.26785714285714285, 'recall': 0.25210084033613445, 'f1': 0.2597402597402597, 'number': 119}	{'precision': 0.7495769881556683, 'recall': 0.831924882629108, 'f1': 0.7886070315976857, 'number': 1065}	0.6947	0.7842	0.7367	0.8006
0.4563	14.0	28	0.6225	{'precision': 0.6713819368879217, 'recall': 0.7626699629171817, 'f1': 0.7141203703703703, 'number': 809}	{'precision': 0.2743362831858407, 'recall': 0.2605042016806723, 'f1': 0.26724137931034486, 'number': 119}	{'precision': 0.7542662116040956, 'recall': 0.8300469483568075, 'f1': 0.7903442109968708, 'number': 1065}	0.6951	0.7687	0.7300	0.7987
0.414	15.0	30	0.6206	{'precision': 0.6900328587075575, 'recall': 0.7787391841779975, 'f1': 0.7317073170731707, 'number': 809}	{'precision': 0.27884615384615385, 'recall': 0.24369747899159663, 'f1': 0.2600896860986547, 'number': 119}	{'precision': 0.7674624226348364, 'recall': 0.8150234741784037, 'f1': 0.7905282331511838, 'number': 1065}	0.7109	0.7662	0.7375	0.8033
0.4023	16.0	32	0.6221	{'precision': 0.6893203883495146, 'recall': 0.7898640296662547, 'f1': 0.7361751152073734, 'number': 809}	{'precision': 0.2621359223300971, 'recall': 0.226890756302521, 'f1': 0.24324324324324326, 'number': 119}	{'precision': 0.7527993109388458, 'recall': 0.8206572769953052, 'f1': 0.7852650494159928, 'number': 1065}	0.7029	0.7727	0.7361	0.8027
0.3783	17.0	34	0.6263	{'precision': 0.693304535637149, 'recall': 0.7935723114956736, 'f1': 0.740057636887608, 'number': 809}	{'precision': 0.25892857142857145, 'recall': 0.24369747899159663, 'f1': 0.2510822510822511, 'number': 119}	{'precision': 0.7519116397621071, 'recall': 0.8309859154929577, 'f1': 0.7894736842105263, 'number': 1065}	0.7025	0.7807	0.7395	0.8018
0.3868	18.0	36	0.6347	{'precision': 0.6956989247311828, 'recall': 0.799752781211372, 'f1': 0.7441058079355952, 'number': 809}	{'precision': 0.2845528455284553, 'recall': 0.29411764705882354, 'f1': 0.2892561983471075, 'number': 119}	{'precision': 0.771729587357331, 'recall': 0.8253521126760563, 'f1': 0.7976406533575316, 'number': 1065}	0.7121	0.7832	0.7460	0.8027
0.324	19.0	38	0.6480	{'precision': 0.6813880126182965, 'recall': 0.8009888751545118, 'f1': 0.7363636363636363, 'number': 809}	{'precision': 0.28, 'recall': 0.29411764705882354, 'f1': 0.28688524590163933, 'number': 119}	{'precision': 0.775692582663092, 'recall': 0.8150234741784037, 'f1': 0.7948717948717948, 'number': 1065}	0.7066	0.7782	0.7407	0.7999
0.3436	20.0	40	0.6438	{'precision': 0.6919786096256685, 'recall': 0.799752781211372, 'f1': 0.7419724770642202, 'number': 809}	{'precision': 0.2682926829268293, 'recall': 0.2773109243697479, 'f1': 0.27272727272727276, 'number': 119}	{'precision': 0.7775816416593115, 'recall': 0.8272300469483568, 'f1': 0.8016378525932666, 'number': 1065}	0.7125	0.7832	0.7462	0.8015
0.3081	21.0	42	0.6469	{'precision': 0.7048458149779736, 'recall': 0.7911001236093943, 'f1': 0.7454863133372162, 'number': 809}	{'precision': 0.2966101694915254, 'recall': 0.29411764705882354, 'f1': 0.2953586497890296, 'number': 119}	{'precision': 0.7796167247386759, 'recall': 0.8403755868544601, 'f1': 0.8088567555354722, 'number': 1065}	0.7222	0.7878	0.7535	0.8075
0.3109	22.0	44	0.6553	{'precision': 0.6980306345733042, 'recall': 0.788627935723115, 'f1': 0.7405687753917585, 'number': 809}	{'precision': 0.29310344827586204, 'recall': 0.2857142857142857, 'f1': 0.2893617021276596, 'number': 119}	{'precision': 0.7737991266375546, 'recall': 0.831924882629108, 'f1': 0.8018099547511313, 'number': 1065}	0.7163	0.7817	0.7476	0.8024
0.3021	23.0	46	0.6704	{'precision': 0.7031763417305587, 'recall': 0.7935723114956736, 'f1': 0.7456445993031359, 'number': 809}	{'precision': 0.275, 'recall': 0.2773109243697479, 'f1': 0.27615062761506276, 'number': 119}	{'precision': 0.78584229390681, 'recall': 0.8234741784037559, 'f1': 0.8042182485098579, 'number': 1065}	0.7222	0.7787	0.7494	0.7991
0.2921	24.0	48	0.6767	{'precision': 0.7011995637949836, 'recall': 0.7948084054388134, 'f1': 0.7450753186558517, 'number': 809}	{'precision': 0.29310344827586204, 'recall': 0.2857142857142857, 'f1': 0.2893617021276596, 'number': 119}	{'precision': 0.7777777777777778, 'recall': 0.8215962441314554, 'f1': 0.7990867579908676, 'number': 1065}	0.7192	0.7787	0.7478	0.7980
0.2837	25.0	50	0.6758	{'precision': 0.6989130434782609, 'recall': 0.7948084054388134, 'f1': 0.7437825332562175, 'number': 809}	{'precision': 0.2982456140350877, 'recall': 0.2857142857142857, 'f1': 0.2918454935622318, 'number': 119}	{'precision': 0.7662901824500434, 'recall': 0.828169014084507, 'f1': 0.796028880866426, 'number': 1065}	0.7135	0.7822	0.7463	0.7983
0.2565	26.0	52	0.6793	{'precision': 0.6942949407965554, 'recall': 0.7972805933250927, 'f1': 0.7422324510932106, 'number': 809}	{'precision': 0.3153153153153153, 'recall': 0.29411764705882354, 'f1': 0.30434782608695654, 'number': 119}	{'precision': 0.7700348432055749, 'recall': 0.8300469483568075, 'f1': 0.7989154993221871, 'number': 1065}	0.7148	0.7847	0.7481	0.7970
0.2487	27.0	54	0.6859	{'precision': 0.6886993603411514, 'recall': 0.7985166872682324, 'f1': 0.7395535203205496, 'number': 809}	{'precision': 0.3275862068965517, 'recall': 0.31932773109243695, 'f1': 0.3234042553191489, 'number': 119}	{'precision': 0.7835420393559929, 'recall': 0.8225352112676056, 'f1': 0.8025652771415483, 'number': 1065}	0.7182	0.7827	0.7491	0.7959
0.2663	28.0	56	0.6907	{'precision': 0.692390139335477, 'recall': 0.7985166872682324, 'f1': 0.7416762342135478, 'number': 809}	{'precision': 0.36065573770491804, 'recall': 0.3697478991596639, 'f1': 0.36514522821576767, 'number': 119}	{'precision': 0.793418647166362, 'recall': 0.8150234741784037, 'f1': 0.8040759610930986, 'number': 1065}	0.7250	0.7817	0.7523	0.7938
0.2679	29.0	58	0.6872	{'precision': 0.7095343680709535, 'recall': 0.7911001236093943, 'f1': 0.7481005260081823, 'number': 809}	{'precision': 0.3435114503816794, 'recall': 0.37815126050420167, 'f1': 0.36, 'number': 119}	{'precision': 0.7789566755083996, 'recall': 0.8272300469483568, 'f1': 0.802367941712204, 'number': 1065}	0.7237	0.7858	0.7534	0.7990
0.2272	30.0	60	0.6887	{'precision': 0.7052401746724891, 'recall': 0.7985166872682324, 'f1': 0.7489855072463769, 'number': 809}	{'precision': 0.3706896551724138, 'recall': 0.36134453781512604, 'f1': 0.36595744680851067, 'number': 119}	{'precision': 0.7846425419240953, 'recall': 0.8347417840375587, 'f1': 0.8089171974522293, 'number': 1065}	0.7289	0.7918	0.7590	0.7977
0.2263	31.0	62	0.6959	{'precision': 0.6960257787325457, 'recall': 0.8009888751545118, 'f1': 0.7448275862068966, 'number': 809}	{'precision': 0.35135135135135137, 'recall': 0.3277310924369748, 'f1': 0.3391304347826087, 'number': 119}	{'precision': 0.7912578055307761, 'recall': 0.8328638497652582, 'f1': 0.8115279048490394, 'number': 1065}	0.7277	0.7898	0.7575	0.7973
0.2366	32.0	64	0.6995	{'precision': 0.6982758620689655, 'recall': 0.8009888751545118, 'f1': 0.7461139896373058, 'number': 809}	{'precision': 0.3652173913043478, 'recall': 0.35294117647058826, 'f1': 0.35897435897435903, 'number': 119}	{'precision': 0.7920792079207921, 'recall': 0.8262910798122066, 'f1': 0.8088235294117647, 'number': 1065}	0.7289	0.7878	0.7572	0.7963
0.214	33.0	66	0.6985	{'precision': 0.7050438596491229, 'recall': 0.7948084054388134, 'f1': 0.747239976757699, 'number': 809}	{'precision': 0.36585365853658536, 'recall': 0.37815126050420167, 'f1': 0.371900826446281, 'number': 119}	{'precision': 0.7907390917186109, 'recall': 0.8338028169014085, 'f1': 0.8117001828153564, 'number': 1065}	0.7303	0.7908	0.7593	0.7990
0.2189	34.0	68	0.6991	{'precision': 0.7067833698030634, 'recall': 0.7985166872682324, 'f1': 0.7498549042367965, 'number': 809}	{'precision': 0.3524590163934426, 'recall': 0.36134453781512604, 'f1': 0.35684647302904565, 'number': 119}	{'precision': 0.7921847246891652, 'recall': 0.8375586854460094, 'f1': 0.8142400730260155, 'number': 1065}	0.7313	0.7933	0.7610	0.8012
0.1994	35.0	70	0.7038	{'precision': 0.6935312831389183, 'recall': 0.8084054388133498, 'f1': 0.7465753424657534, 'number': 809}	{'precision': 0.3684210526315789, 'recall': 0.35294117647058826, 'f1': 0.3605150214592275, 'number': 119}	{'precision': 0.7903225806451613, 'recall': 0.828169014084507, 'f1': 0.8088033012379642, 'number': 1065}	0.7262	0.7918	0.7576	0.7990
0.2139	36.0	72	0.7073	{'precision': 0.6878914405010439, 'recall': 0.8145859085290482, 'f1': 0.745897000565931, 'number': 809}	{'precision': 0.3761467889908257, 'recall': 0.3445378151260504, 'f1': 0.3596491228070175, 'number': 119}	{'precision': 0.7965641952983725, 'recall': 0.8272300469483568, 'f1': 0.8116075541225242, 'number': 1065}	0.7276	0.7933	0.7590	0.7984
0.2208	37.0	74	0.7039	{'precision': 0.6869109947643979, 'recall': 0.8108776266996292, 'f1': 0.7437641723356009, 'number': 809}	{'precision': 0.3853211009174312, 'recall': 0.35294117647058826, 'f1': 0.36842105263157904, 'number': 119}	{'precision': 0.7980072463768116, 'recall': 0.8272300469483568, 'f1': 0.8123559243891194, 'number': 1065}	0.7283	0.7923	0.7590	0.8012
0.2015	38.0	76	0.7031	{'precision': 0.7013963480128894, 'recall': 0.8071693448702101, 'f1': 0.7505747126436783, 'number': 809}	{'precision': 0.3805309734513274, 'recall': 0.36134453781512604, 'f1': 0.3706896551724138, 'number': 119}	{'precision': 0.7974683544303798, 'recall': 0.828169014084507, 'f1': 0.8125287885766928, 'number': 1065}	0.7340	0.7918	0.7618	0.8060
0.2028	39.0	78	0.7049	{'precision': 0.7100656455142232, 'recall': 0.8022249690976514, 'f1': 0.7533372025536854, 'number': 809}	{'precision': 0.37606837606837606, 'recall': 0.3697478991596639, 'f1': 0.3728813559322034, 'number': 119}	{'precision': 0.7965796579657966, 'recall': 0.8309859154929577, 'f1': 0.8134191176470588, 'number': 1065}	0.7367	0.7918	0.7632	0.8050
0.1794	40.0	80	0.7078	{'precision': 0.7075575027382256, 'recall': 0.7985166872682324, 'f1': 0.7502903600464577, 'number': 809}	{'precision': 0.3728813559322034, 'recall': 0.3697478991596639, 'f1': 0.37130801687763715, 'number': 119}	{'precision': 0.799819657348963, 'recall': 0.8328638497652582, 'f1': 0.8160073597056118, 'number': 1065}	0.7369	0.7913	0.7631	0.8041
0.1939	41.0	82	0.7132	{'precision': 0.7007534983853606, 'recall': 0.8046971569839307, 'f1': 0.7491369390103566, 'number': 809}	{'precision': 0.3793103448275862, 'recall': 0.3697478991596639, 'f1': 0.374468085106383, 'number': 119}	{'precision': 0.8, 'recall': 0.8300469483568075, 'f1': 0.8147465437788018, 'number': 1065}	0.7344	0.7923	0.7622	0.8004
0.1763	42.0	84	0.7196	{'precision': 0.697228144989339, 'recall': 0.8084054388133498, 'f1': 0.748712077847739, 'number': 809}	{'precision': 0.3826086956521739, 'recall': 0.3697478991596639, 'f1': 0.37606837606837606, 'number': 119}	{'precision': 0.7969314079422383, 'recall': 0.8291079812206573, 'f1': 0.8127013345605153, 'number': 1065}	0.7316	0.7933	0.7612	0.7983
0.1864	43.0	86	0.7207	{'precision': 0.7008547008547008, 'recall': 0.8108776266996292, 'f1': 0.7518624641833811, 'number': 809}	{'precision': 0.37606837606837606, 'recall': 0.3697478991596639, 'f1': 0.3728813559322034, 'number': 119}	{'precision': 0.7992766726943942, 'recall': 0.8300469483568075, 'f1': 0.8143712574850298, 'number': 1065}	0.7337	0.7948	0.7630	0.7991
0.1852	44.0	88	0.7192	{'precision': 0.7067099567099567, 'recall': 0.8071693448702101, 'f1': 0.753606462781304, 'number': 809}	{'precision': 0.3697478991596639, 'recall': 0.3697478991596639, 'f1': 0.3697478991596639, 'number': 119}	{'precision': 0.7992799279927992, 'recall': 0.8338028169014085, 'f1': 0.8161764705882354, 'number': 1065}	0.7358	0.7953	0.7644	0.8012
0.1821	45.0	90	0.7190	{'precision': 0.7071583514099783, 'recall': 0.8059332509270705, 'f1': 0.753321779318313, 'number': 809}	{'precision': 0.3706896551724138, 'recall': 0.36134453781512604, 'f1': 0.36595744680851067, 'number': 119}	{'precision': 0.8034265103697025, 'recall': 0.8366197183098592, 'f1': 0.8196872125114996, 'number': 1065}	0.7387	0.7958	0.7662	0.8018
0.1804	46.0	92	0.7194	{'precision': 0.7114754098360656, 'recall': 0.8046971569839307, 'f1': 0.7552204176334106, 'number': 809}	{'precision': 0.3739130434782609, 'recall': 0.36134453781512604, 'f1': 0.36752136752136755, 'number': 119}	{'precision': 0.8016230838593328, 'recall': 0.8347417840375587, 'f1': 0.8178472861085557, 'number': 1065}	0.7401	0.7943	0.7662	0.8011
0.1879	47.0	94	0.7206	{'precision': 0.7099236641221374, 'recall': 0.8046971569839307, 'f1': 0.7543453070683662, 'number': 809}	{'precision': 0.3739130434782609, 'recall': 0.36134453781512604, 'f1': 0.36752136752136755, 'number': 119}	{'precision': 0.8052536231884058, 'recall': 0.8347417840375587, 'f1': 0.8197325956662057, 'number': 1065}	0.7411	0.7943	0.7668	0.8015
0.1754	48.0	96	0.7223	{'precision': 0.7074756229685807, 'recall': 0.8071693448702101, 'f1': 0.754041570438799, 'number': 809}	{'precision': 0.37719298245614036, 'recall': 0.36134453781512604, 'f1': 0.36909871244635195, 'number': 119}	{'precision': 0.8070973612374887, 'recall': 0.8328638497652582, 'f1': 0.8197781885397413, 'number': 1065}	0.7411	0.7943	0.7668	0.8010
0.1712	49.0	98	0.7238	{'precision': 0.705945945945946, 'recall': 0.8071693448702101, 'f1': 0.7531718569780853, 'number': 809}	{'precision': 0.37719298245614036, 'recall': 0.36134453781512604, 'f1': 0.36909871244635195, 'number': 119}	{'precision': 0.8056312443233424, 'recall': 0.8328638497652582, 'f1': 0.8190212373037857, 'number': 1065}	0.7397	0.7943	0.7660	0.8005
0.1834	50.0	100	0.7243	{'precision': 0.7051835853131749, 'recall': 0.8071693448702101, 'f1': 0.7527377521613834, 'number': 809}	{'precision': 0.3706896551724138, 'recall': 0.36134453781512604, 'f1': 0.36595744680851067, 'number': 119}	{'precision': 0.8041704442429737, 'recall': 0.8328638497652582, 'f1': 0.8182656826568265, 'number': 1065}	0.7380	0.7943	0.7651	0.8003

Framework versions

• Transformers 4.22.1
• Pytorch 1.12.1+cu102
• Datasets 2.5.1
• Tokenizers 0.12.1