Hugging Face's logo

pvbhanuteja
/
layoutlm-funsd

Token Classification
Transformers
PyTorch
TensorBoard
Safetensors
layoutlm
Generated from Trainer
Inference Endpoints
Model card Files Metrics Community
1
layoutlm-funsd / README.md
pvbhanuteja's picture
pvbhanuteja
End of training
97be247
preview code
|
raw
history blame contribute delete
47 kB
metadata
tags:
  - generated_from_trainer
datasets:
  - funsd
model-index:
  - name: layoutlm-funsd
    results: []

layoutlm-funsd

This model is a fine-tuned version of pvbhanuteja/layoutlm-funsd on the funsd dataset. It achieves the following results on the evaluation set:

  • Loss: 1.1395
  • Answer: {'precision': 0.733934611048478, 'recall': 0.8046971569839307, 'f1': 0.767688679245283, 'number': 809}
  • Header: {'precision': 0.4066666666666667, 'recall': 0.5126050420168067, 'f1': 0.4535315985130111, 'number': 119}
  • Question: {'precision': 0.7980339588918678, 'recall': 0.8384976525821596, 'f1': 0.8177655677655677, 'number': 1065}
  • Overall Precision: 0.7444
  • Overall Recall: 0.8053
  • Overall F1: 0.7737
  • Overall Accuracy: 0.8054

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 3e-05
  • train_batch_size: 64
  • eval_batch_size: 32
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 100
  • mixed_precision_training: Native AMP

Training results

Training Loss Epoch Step Validation Loss Answer Header Question Overall Precision Overall Recall Overall F1 Overall Accuracy
0.7854 1.0 3 0.7718 {'precision': 0.5876826722338204, 'recall': 0.695920889987639, 'f1': 0.6372382569326542, 'number': 809} {'precision': 0.1509433962264151, 'recall': 0.06722689075630252, 'f1': 0.09302325581395347, 'number': 119} {'precision': 0.6840731070496083, 'recall': 0.7380281690140845, 'f1': 0.7100271002710027, 'number': 1065} 0.6282 0.6809 0.6535 0.7603
0.6636 2.0 6 0.7427 {'precision': 0.6303418803418803, 'recall': 0.7292954264524104, 'f1': 0.67621776504298, 'number': 809} {'precision': 0.2289156626506024, 'recall': 0.15966386554621848, 'f1': 0.18811881188118812, 'number': 119} {'precision': 0.6728295819935691, 'recall': 0.7859154929577464, 'f1': 0.7249891728020789, 'number': 1065} 0.6390 0.7255 0.6795 0.7810
0.5784 3.0 9 0.6996 {'precision': 0.6334033613445378, 'recall': 0.7453646477132262, 'f1': 0.6848381601362863, 'number': 809} {'precision': 0.23529411764705882, 'recall': 0.13445378151260504, 'f1': 0.17112299465240638, 'number': 119} {'precision': 0.705161854768154, 'recall': 0.7568075117370892, 'f1': 0.7300724637681159, 'number': 1065} 0.6588 0.7150 0.6858 0.7843
0.5096 4.0 12 0.7029 {'precision': 0.6794150731158605, 'recall': 0.7466007416563659, 'f1': 0.7114252061248527, 'number': 809} {'precision': 0.27380952380952384, 'recall': 0.19327731092436976, 'f1': 0.2266009852216749, 'number': 119} {'precision': 0.7071029529130087, 'recall': 0.831924882629108, 'f1': 0.7644521138912856, 'number': 1065} 0.6797 0.7592 0.7172 0.7928
0.4932 5.0 15 0.6843 {'precision': 0.6684266103484688, 'recall': 0.7824474660074165, 'f1': 0.7209567198177677, 'number': 809} {'precision': 0.2653061224489796, 'recall': 0.2184873949579832, 'f1': 0.23963133640552997, 'number': 119} {'precision': 0.7347114556416882, 'recall': 0.8009389671361502, 'f1': 0.7663971248876907, 'number': 1065} 0.6854 0.7587 0.7202 0.7976
0.4558 6.0 18 0.6809 {'precision': 0.6920492721164614, 'recall': 0.7639060568603214, 'f1': 0.7262044653349001, 'number': 809} {'precision': 0.29245283018867924, 'recall': 0.2605042016806723, 'f1': 0.27555555555555555, 'number': 119} {'precision': 0.7493495229835212, 'recall': 0.8112676056338028, 'f1': 0.7790802524797115, 'number': 1065} 0.7031 0.7592 0.7300 0.8022
0.4103 7.0 21 0.6674 {'precision': 0.6886486486486486, 'recall': 0.7873918417799752, 'f1': 0.7347174163783161, 'number': 809} {'precision': 0.3, 'recall': 0.25210084033613445, 'f1': 0.273972602739726, 'number': 119} {'precision': 0.7483221476510067, 'recall': 0.8375586854460094, 'f1': 0.7904297740363314, 'number': 1065} 0.7032 0.7822 0.7406 0.8006
0.3867 8.0 24 0.6610 {'precision': 0.7100115074798619, 'recall': 0.7626699629171817, 'f1': 0.735399284862932, 'number': 809} {'precision': 0.30303030303030304, 'recall': 0.33613445378151263, 'f1': 0.3187250996015936, 'number': 119} {'precision': 0.759825327510917, 'recall': 0.8169014084507042, 'f1': 0.7873303167420814, 'number': 1065} 0.7116 0.7662 0.7379 0.8094
0.3632 9.0 27 0.6517 {'precision': 0.7088465845464725, 'recall': 0.7824474660074165, 'f1': 0.7438307873090482, 'number': 809} {'precision': 0.29357798165137616, 'recall': 0.2689075630252101, 'f1': 0.28070175438596495, 'number': 119} {'precision': 0.768695652173913, 'recall': 0.8300469483568075, 'f1': 0.798194130925508, 'number': 1065} 0.7198 0.7772 0.7474 0.8168
0.3275 10.0 30 0.6857 {'precision': 0.7166666666666667, 'recall': 0.7972805933250927, 'f1': 0.7548273844353424, 'number': 809} {'precision': 0.2695035460992908, 'recall': 0.31932773109243695, 'f1': 0.2923076923076923, 'number': 119} {'precision': 0.766695576756288, 'recall': 0.8300469483568075, 'f1': 0.7971145175834085, 'number': 1065} 0.7142 0.7863 0.7485 0.8043
0.2981 11.0 33 0.6884 {'precision': 0.7378190255220418, 'recall': 0.7861557478368356, 'f1': 0.7612208258527828, 'number': 809} {'precision': 0.34959349593495936, 'recall': 0.36134453781512604, 'f1': 0.35537190082644626, 'number': 119} {'precision': 0.7722513089005235, 'recall': 0.8309859154929577, 'f1': 0.8005427408412483, 'number': 1065} 0.7339 0.7847 0.7585 0.8067
0.2841 12.0 36 0.6951 {'precision': 0.7202718006795017, 'recall': 0.7861557478368356, 'f1': 0.7517730496453902, 'number': 809} {'precision': 0.336283185840708, 'recall': 0.31932773109243695, 'f1': 0.32758620689655166, 'number': 119} {'precision': 0.7684943429068756, 'recall': 0.8291079812206573, 'f1': 0.7976513098464317, 'number': 1065} 0.7259 0.7812 0.7525 0.8109
0.2505 13.0 39 0.7074 {'precision': 0.7242152466367713, 'recall': 0.7985166872682324, 'f1': 0.7595532039976484, 'number': 809} {'precision': 0.3049645390070922, 'recall': 0.36134453781512604, 'f1': 0.3307692307692308, 'number': 119} {'precision': 0.7823371989295272, 'recall': 0.8234741784037559, 'f1': 0.8023787740164685, 'number': 1065} 0.7270 0.7858 0.7552 0.8054
0.2416 14.0 42 0.7138 {'precision': 0.7323462414578588, 'recall': 0.7948084054388134, 'f1': 0.7622999407231773, 'number': 809} {'precision': 0.328, 'recall': 0.3445378151260504, 'f1': 0.33606557377049184, 'number': 119} {'precision': 0.7828773168578994, 'recall': 0.8328638497652582, 'f1': 0.8070973612374885, 'number': 1065} 0.7355 0.7883 0.7610 0.8116
0.2138 15.0 45 0.7212 {'precision': 0.7307692307692307, 'recall': 0.7985166872682324, 'f1': 0.7631423508564678, 'number': 809} {'precision': 0.3333333333333333, 'recall': 0.35294117647058826, 'f1': 0.34285714285714286, 'number': 119} {'precision': 0.7901785714285714, 'recall': 0.8309859154929577, 'f1': 0.8100686498855836, 'number': 1065} 0.7385 0.7893 0.7630 0.8155
0.2019 16.0 48 0.7338 {'precision': 0.7417893544733862, 'recall': 0.8096415327564895, 'f1': 0.7742316784869978, 'number': 809} {'precision': 0.37209302325581395, 'recall': 0.40336134453781514, 'f1': 0.3870967741935484, 'number': 119} {'precision': 0.7945945945945946, 'recall': 0.828169014084507, 'f1': 0.8110344827586206, 'number': 1065} 0.7469 0.7953 0.7704 0.8137
0.1807 17.0 51 0.7435 {'precision': 0.7295454545454545, 'recall': 0.7935723114956736, 'f1': 0.7602131438721137, 'number': 809} {'precision': 0.3787878787878788, 'recall': 0.42016806722689076, 'f1': 0.398406374501992, 'number': 119} {'precision': 0.7898032200357782, 'recall': 0.8291079812206573, 'f1': 0.8089784699954191, 'number': 1065} 0.7394 0.7903 0.7640 0.8178
0.173 18.0 54 0.7623 {'precision': 0.7337807606263982, 'recall': 0.8108776266996292, 'f1': 0.7704051673517321, 'number': 809} {'precision': 0.37777777777777777, 'recall': 0.42857142857142855, 'f1': 0.40157480314960625, 'number': 119} {'precision': 0.7865961199294532, 'recall': 0.8375586854460094, 'f1': 0.8112778535698044, 'number': 1065} 0.7393 0.8023 0.7695 0.8124
0.1463 19.0 57 0.7833 {'precision': 0.7365470852017937, 'recall': 0.8121137206427689, 'f1': 0.7724867724867724, 'number': 809} {'precision': 0.38235294117647056, 'recall': 0.4369747899159664, 'f1': 0.40784313725490196, 'number': 119} {'precision': 0.7901785714285714, 'recall': 0.8309859154929577, 'f1': 0.8100686498855836, 'number': 1065} 0.7421 0.7998 0.7699 0.8120
0.1429 20.0 60 0.7812 {'precision': 0.7403628117913832, 'recall': 0.8071693448702101, 'f1': 0.7723240685984624, 'number': 809} {'precision': 0.3770491803278688, 'recall': 0.3865546218487395, 'f1': 0.38174273858921165, 'number': 119} {'precision': 0.7859054415700267, 'recall': 0.8272300469483568, 'f1': 0.8060384263494967, 'number': 1065} 0.7435 0.7928 0.7674 0.8153
0.1263 21.0 63 0.7958 {'precision': 0.7327293318233296, 'recall': 0.799752781211372, 'f1': 0.764775413711584, 'number': 809} {'precision': 0.3986013986013986, 'recall': 0.4789915966386555, 'f1': 0.4351145038167939, 'number': 119} {'precision': 0.8021978021978022, 'recall': 0.8225352112676056, 'f1': 0.812239221140473, 'number': 1065} 0.7460 0.7928 0.7687 0.8139
0.1285 22.0 66 0.7985 {'precision': 0.7421171171171171, 'recall': 0.8145859085290482, 'f1': 0.7766647024160284, 'number': 809} {'precision': 0.41732283464566927, 'recall': 0.44537815126050423, 'f1': 0.43089430894308944, 'number': 119} {'precision': 0.7955156950672646, 'recall': 0.8328638497652582, 'f1': 0.8137614678899082, 'number': 1065} 0.7507 0.8023 0.7756 0.8178
0.1141 23.0 69 0.8143 {'precision': 0.7497129735935706, 'recall': 0.8071693448702101, 'f1': 0.7773809523809524, 'number': 809} {'precision': 0.3958333333333333, 'recall': 0.4789915966386555, 'f1': 0.43346007604562736, 'number': 119} {'precision': 0.8052536231884058, 'recall': 0.8347417840375587, 'f1': 0.8197325956662057, 'number': 1065} 0.7546 0.8023 0.7777 0.8161
0.1133 24.0 72 0.8220 {'precision': 0.7482993197278912, 'recall': 0.8158220024721878, 'f1': 0.7806031933767001, 'number': 809} {'precision': 0.39855072463768115, 'recall': 0.46218487394957986, 'f1': 0.42801556420233466, 'number': 119} {'precision': 0.7974910394265233, 'recall': 0.8356807511737089, 'f1': 0.8161393856029343, 'number': 1065} 0.7514 0.8053 0.7774 0.8160
0.1054 25.0 75 0.8361 {'precision': 0.7426966292134831, 'recall': 0.8170580964153276, 'f1': 0.7781047675103001, 'number': 809} {'precision': 0.3829787234042553, 'recall': 0.453781512605042, 'f1': 0.4153846153846153, 'number': 119} {'precision': 0.7976723366159355, 'recall': 0.8366197183098592, 'f1': 0.8166819431714023, 'number': 1065} 0.7477 0.8058 0.7757 0.8126
0.0977 26.0 78 0.8533 {'precision': 0.7444196428571429, 'recall': 0.8244746600741656, 'f1': 0.7824046920821115, 'number': 809} {'precision': 0.3782051282051282, 'recall': 0.4957983193277311, 'f1': 0.4290909090909091, 'number': 119} {'precision': 0.8014505893019039, 'recall': 0.8300469483568075, 'f1': 0.8154981549815499, 'number': 1065} 0.7471 0.8078 0.7763 0.8101
0.0892 27.0 81 0.8621 {'precision': 0.7412429378531074, 'recall': 0.8108776266996292, 'f1': 0.7744982290436836, 'number': 809} {'precision': 0.4108527131782946, 'recall': 0.44537815126050423, 'f1': 0.4274193548387097, 'number': 119} {'precision': 0.7895204262877442, 'recall': 0.8347417840375587, 'f1': 0.8115015974440895, 'number': 1065} 0.7467 0.8018 0.7733 0.8091
0.0849 28.0 84 0.8762 {'precision': 0.7410313901345291, 'recall': 0.8170580964153276, 'f1': 0.7771898883009994, 'number': 809} {'precision': 0.3973509933774834, 'recall': 0.5042016806722689, 'f1': 0.44444444444444436, 'number': 119} {'precision': 0.8053259871441689, 'recall': 0.8234741784037559, 'f1': 0.8142989786443826, 'number': 1065} 0.7495 0.8018 0.7748 0.8091
0.0872 29.0 87 0.8853 {'precision': 0.7511210762331838, 'recall': 0.8281829419035847, 'f1': 0.7877718988830099, 'number': 809} {'precision': 0.3937007874015748, 'recall': 0.42016806722689076, 'f1': 0.4065040650406504, 'number': 119} {'precision': 0.7943262411347518, 'recall': 0.8413145539906103, 'f1': 0.8171454628362973, 'number': 1065} 0.7527 0.8108 0.7807 0.8097
0.0735 30.0 90 0.9033 {'precision': 0.7508610792192881, 'recall': 0.8084054388133498, 'f1': 0.7785714285714286, 'number': 809} {'precision': 0.40789473684210525, 'recall': 0.5210084033613446, 'f1': 0.45756457564575653, 'number': 119} {'precision': 0.8034420289855072, 'recall': 0.8328638497652582, 'f1': 0.8178884278469339, 'number': 1065} 0.7536 0.8043 0.7782 0.8068
0.0679 31.0 93 0.9204 {'precision': 0.745475113122172, 'recall': 0.8145859085290482, 'f1': 0.7784997046662729, 'number': 809} {'precision': 0.39552238805970147, 'recall': 0.44537815126050423, 'f1': 0.4189723320158103, 'number': 119} {'precision': 0.809437386569873, 'recall': 0.8375586854460094, 'f1': 0.823257960313798, 'number': 1065} 0.7566 0.8048 0.7800 0.8041
0.0688 32.0 96 0.9282 {'precision': 0.7525539160045402, 'recall': 0.8195302843016069, 'f1': 0.7846153846153846, 'number': 809} {'precision': 0.40458015267175573, 'recall': 0.44537815126050423, 'f1': 0.424, 'number': 119} {'precision': 0.7994652406417112, 'recall': 0.8422535211267606, 'f1': 0.8203017832647461, 'number': 1065} 0.7559 0.8093 0.7817 0.8054
0.0636 33.0 99 0.9372 {'precision': 0.7508571428571429, 'recall': 0.8121137206427689, 'f1': 0.7802850356294537, 'number': 809} {'precision': 0.42657342657342656, 'recall': 0.5126050420168067, 'f1': 0.46564885496183206, 'number': 119} {'precision': 0.8210332103321033, 'recall': 0.8356807511737089, 'f1': 0.8282922289436947, 'number': 1065} 0.7650 0.8068 0.7853 0.8055
0.064 34.0 102 0.9531 {'precision': 0.7339246119733924, 'recall': 0.8182941903584673, 'f1': 0.7738164815897136, 'number': 809} {'precision': 0.4357142857142857, 'recall': 0.5126050420168067, 'f1': 0.47104247104247104, 'number': 119} {'precision': 0.8237476808905381, 'recall': 0.8338028169014085, 'f1': 0.8287447503499767, 'number': 1065} 0.7599 0.8083 0.7834 0.8057
0.0547 35.0 105 0.9549 {'precision': 0.7440543601359003, 'recall': 0.8121137206427689, 'f1': 0.7765957446808511, 'number': 809} {'precision': 0.42857142857142855, 'recall': 0.5042016806722689, 'f1': 0.4633204633204633, 'number': 119} {'precision': 0.8012533572068039, 'recall': 0.8403755868544601, 'f1': 0.8203483043079742, 'number': 1065} 0.7533 0.8088 0.7801 0.8039
0.0575 36.0 108 0.9460 {'precision': 0.7488738738738738, 'recall': 0.8220024721878862, 'f1': 0.7837360047142015, 'number': 809} {'precision': 0.43884892086330934, 'recall': 0.5126050420168067, 'f1': 0.4728682170542636, 'number': 119} {'precision': 0.8057553956834532, 'recall': 0.8413145539906103, 'f1': 0.8231511254019293, 'number': 1065} 0.7583 0.8138 0.7851 0.8094
0.0562 37.0 111 0.9400 {'precision': 0.7384960718294051, 'recall': 0.8133498145859085, 'f1': 0.7741176470588235, 'number': 809} {'precision': 0.43661971830985913, 'recall': 0.5210084033613446, 'f1': 0.47509578544061304, 'number': 119} {'precision': 0.8227146814404432, 'recall': 0.8366197183098592, 'f1': 0.829608938547486, 'number': 1065} 0.7613 0.8083 0.7841 0.8104
0.056 38.0 114 0.9528 {'precision': 0.7310267857142857, 'recall': 0.8096415327564895, 'f1': 0.7683284457478006, 'number': 809} {'precision': 0.40939597315436244, 'recall': 0.5126050420168067, 'f1': 0.4552238805970149, 'number': 119} {'precision': 0.8021486123545211, 'recall': 0.8413145539906103, 'f1': 0.8212648945921174, 'number': 1065} 0.7456 0.8088 0.7759 0.8078
0.0489 39.0 117 0.9570 {'precision': 0.7250554323725056, 'recall': 0.8084054388133498, 'f1': 0.7644652250146114, 'number': 809} {'precision': 0.40268456375838924, 'recall': 0.5042016806722689, 'f1': 0.44776119402985076, 'number': 119} {'precision': 0.8127272727272727, 'recall': 0.8394366197183099, 'f1': 0.8258660508083141, 'number': 1065} 0.7476 0.8068 0.7761 0.8084
0.0474 40.0 120 0.9818 {'precision': 0.738015607580825, 'recall': 0.8182941903584673, 'f1': 0.7760844079718641, 'number': 809} {'precision': 0.4066666666666667, 'recall': 0.5126050420168067, 'f1': 0.4535315985130111, 'number': 119} {'precision': 0.8209647495361782, 'recall': 0.8309859154929577, 'f1': 0.8259449370041997, 'number': 1065} 0.7567 0.8068 0.7810 0.8052
0.0449 41.0 123 0.9890 {'precision': 0.7421171171171171, 'recall': 0.8145859085290482, 'f1': 0.7766647024160284, 'number': 809} {'precision': 0.4064516129032258, 'recall': 0.5294117647058824, 'f1': 0.4598540145985402, 'number': 119} {'precision': 0.7981981981981981, 'recall': 0.831924882629108, 'f1': 0.8147126436781609, 'number': 1065} 0.7469 0.8068 0.7757 0.8050
0.0386 42.0 126 0.9969 {'precision': 0.7378531073446327, 'recall': 0.8071693448702101, 'f1': 0.7709563164108618, 'number': 809} {'precision': 0.4161073825503356, 'recall': 0.5210084033613446, 'f1': 0.46268656716417916, 'number': 119} {'precision': 0.7937777777777778, 'recall': 0.8384976525821596, 'f1': 0.8155251141552512, 'number': 1065} 0.7448 0.8068 0.7746 0.8050
0.0366 43.0 129 1.0134 {'precision': 0.745230078563412, 'recall': 0.8207663782447466, 'f1': 0.7811764705882352, 'number': 809} {'precision': 0.4144736842105263, 'recall': 0.5294117647058824, 'f1': 0.4649446494464945, 'number': 119} {'precision': 0.8150873965041399, 'recall': 0.831924882629108, 'f1': 0.8234200743494424, 'number': 1065} 0.7573 0.8093 0.7824 0.8067
0.0378 44.0 132 1.0138 {'precision': 0.7390817469204927, 'recall': 0.8158220024721878, 'f1': 0.7755581668625147, 'number': 809} {'precision': 0.4117647058823529, 'recall': 0.5294117647058824, 'f1': 0.463235294117647, 'number': 119} {'precision': 0.8235840297121634, 'recall': 0.8328638497652582, 'f1': 0.8281979458450046, 'number': 1065} 0.7584 0.8078 0.7823 0.8063
0.0419 45.0 135 1.0164 {'precision': 0.7400681044267877, 'recall': 0.8059332509270705, 'f1': 0.7715976331360946, 'number': 809} {'precision': 0.3880597014925373, 'recall': 0.4369747899159664, 'f1': 0.41106719367588934, 'number': 119} {'precision': 0.8136363636363636, 'recall': 0.8403755868544601, 'f1': 0.8267898383371823, 'number': 1065} 0.7560 0.8023 0.7785 0.8066
0.0384 46.0 138 1.0165 {'precision': 0.7241379310344828, 'recall': 0.8046971569839307, 'f1': 0.7622950819672132, 'number': 809} {'precision': 0.40939597315436244, 'recall': 0.5126050420168067, 'f1': 0.4552238805970149, 'number': 119} {'precision': 0.8149171270718232, 'recall': 0.8309859154929577, 'f1': 0.8228730822873082, 'number': 1065} 0.7484 0.8013 0.7739 0.8054
0.0336 47.0 141 1.0123 {'precision': 0.7248618784530386, 'recall': 0.8108776266996292, 'f1': 0.765460910151692, 'number': 809} {'precision': 0.41721854304635764, 'recall': 0.5294117647058824, 'f1': 0.4666666666666667, 'number': 119} {'precision': 0.8151571164510166, 'recall': 0.828169014084507, 'f1': 0.8216115510013973, 'number': 1065} 0.7488 0.8033 0.7751 0.8066
0.0341 48.0 144 1.0189 {'precision': 0.7284768211920529, 'recall': 0.8158220024721878, 'f1': 0.7696793002915452, 'number': 809} {'precision': 0.4013605442176871, 'recall': 0.4957983193277311, 'f1': 0.443609022556391, 'number': 119} {'precision': 0.7996406109613656, 'recall': 0.8356807511737089, 'f1': 0.8172635445362718, 'number': 1065} 0.7428 0.8073 0.7737 0.8060
0.0301 49.0 147 1.0265 {'precision': 0.7322834645669292, 'recall': 0.8046971569839307, 'f1': 0.7667844522968198, 'number': 809} {'precision': 0.42758620689655175, 'recall': 0.5210084033613446, 'f1': 0.4696969696969697, 'number': 119} {'precision': 0.8036036036036036, 'recall': 0.8375586854460094, 'f1': 0.8202298850574712, 'number': 1065} 0.7486 0.8053 0.7759 0.8055
0.0284 50.0 150 1.0386 {'precision': 0.7300884955752213, 'recall': 0.8158220024721878, 'f1': 0.7705779334500875, 'number': 809} {'precision': 0.4305555555555556, 'recall': 0.5210084033613446, 'f1': 0.47148288973384034, 'number': 119} {'precision': 0.8151875571820677, 'recall': 0.8366197183098592, 'f1': 0.8257645968489342, 'number': 1065} 0.7534 0.8093 0.7804 0.8070
0.0296 51.0 153 1.0616 {'precision': 0.7266739846322722, 'recall': 0.8182941903584673, 'f1': 0.769767441860465, 'number': 809} {'precision': 0.4064516129032258, 'recall': 0.5294117647058824, 'f1': 0.4598540145985402, 'number': 119} {'precision': 0.8117001828153565, 'recall': 0.8338028169014085, 'f1': 0.8226030569708198, 'number': 1065} 0.7468 0.8093 0.7768 0.8022
0.0286 52.0 156 1.0679 {'precision': 0.7313266443701226, 'recall': 0.8108776266996292, 'f1': 0.7690504103165299, 'number': 809} {'precision': 0.42105263157894735, 'recall': 0.5378151260504201, 'f1': 0.47232472324723246, 'number': 119} {'precision': 0.8092643051771117, 'recall': 0.8366197183098592, 'f1': 0.8227146814404432, 'number': 1065} 0.7493 0.8083 0.7777 0.8006
0.0268 53.0 159 1.0635 {'precision': 0.7344632768361582, 'recall': 0.8034610630407911, 'f1': 0.7674144037780402, 'number': 809} {'precision': 0.410958904109589, 'recall': 0.5042016806722689, 'f1': 0.4528301886792453, 'number': 119} {'precision': 0.8054054054054054, 'recall': 0.8394366197183099, 'f1': 0.8220689655172414, 'number': 1065} 0.7492 0.8048 0.7760 0.8006
0.0231 54.0 162 1.0634 {'precision': 0.7351290684624018, 'recall': 0.8096415327564895, 'f1': 0.7705882352941176, 'number': 809} {'precision': 0.4161073825503356, 'recall': 0.5210084033613446, 'f1': 0.46268656716417916, 'number': 119} {'precision': 0.8054298642533937, 'recall': 0.8356807511737089, 'f1': 0.8202764976958525, 'number': 1065} 0.7492 0.8063 0.7767 0.8026
0.0258 55.0 165 1.0696 {'precision': 0.7307262569832402, 'recall': 0.8084054388133498, 'f1': 0.767605633802817, 'number': 809} {'precision': 0.4155844155844156, 'recall': 0.5378151260504201, 'f1': 0.46886446886446886, 'number': 119} {'precision': 0.8091324200913242, 'recall': 0.831924882629108, 'f1': 0.8203703703703705, 'number': 1065} 0.7481 0.8048 0.7754 0.8031
0.025 56.0 168 1.0740 {'precision': 0.739524348810872, 'recall': 0.8071693448702101, 'f1': 0.7718676122931442, 'number': 809} {'precision': 0.4195804195804196, 'recall': 0.5042016806722689, 'f1': 0.4580152671755725, 'number': 119} {'precision': 0.8018099547511313, 'recall': 0.831924882629108, 'f1': 0.816589861751152, 'number': 1065} 0.7504 0.8023 0.7755 0.8035
0.0247 57.0 171 1.0777 {'precision': 0.7391799544419134, 'recall': 0.8022249690976514, 'f1': 0.7694131594546533, 'number': 809} {'precision': 0.41605839416058393, 'recall': 0.4789915966386555, 'f1': 0.4453125, 'number': 119} {'precision': 0.8016157989228008, 'recall': 0.8384976525821596, 'f1': 0.8196420376319412, 'number': 1065} 0.7511 0.8023 0.7758 0.8035
0.022 58.0 174 1.0866 {'precision': 0.7369614512471655, 'recall': 0.8034610630407911, 'f1': 0.768775872264932, 'number': 809} {'precision': 0.4125874125874126, 'recall': 0.4957983193277311, 'f1': 0.450381679389313, 'number': 119} {'precision': 0.8007213706041478, 'recall': 0.8338028169014085, 'f1': 0.8169273229070838, 'number': 1065} 0.7484 0.8013 0.7739 0.8029
0.0195 59.0 177 1.0924 {'precision': 0.7398190045248869, 'recall': 0.8084054388133498, 'f1': 0.7725930301240402, 'number': 809} {'precision': 0.41216216216216217, 'recall': 0.5126050420168067, 'f1': 0.4569288389513108, 'number': 119} {'precision': 0.8119266055045872, 'recall': 0.8309859154929577, 'f1': 0.8213457076566124, 'number': 1065} 0.7540 0.8028 0.7776 0.8046
0.0249 60.0 180 1.0896 {'precision': 0.740909090909091, 'recall': 0.8059332509270705, 'f1': 0.7720544701006513, 'number': 809} {'precision': 0.4189189189189189, 'recall': 0.5210084033613446, 'f1': 0.46441947565543074, 'number': 119} {'precision': 0.816420664206642, 'recall': 0.8309859154929577, 'f1': 0.8236389018147976, 'number': 1065} 0.7571 0.8023 0.7790 0.8057
0.0226 61.0 183 1.0869 {'precision': 0.7431506849315068, 'recall': 0.8046971569839307, 'f1': 0.772700296735905, 'number': 809} {'precision': 0.4178082191780822, 'recall': 0.5126050420168067, 'f1': 0.460377358490566, 'number': 119} {'precision': 0.8191881918819188, 'recall': 0.8338028169014085, 'f1': 0.8264308980921358, 'number': 1065} 0.7597 0.8028 0.7807 0.8068
0.0183 62.0 186 1.0987 {'precision': 0.7362514029180696, 'recall': 0.8108776266996292, 'f1': 0.7717647058823529, 'number': 809} {'precision': 0.41216216216216217, 'recall': 0.5126050420168067, 'f1': 0.4569288389513108, 'number': 119} {'precision': 0.8141674333026679, 'recall': 0.8309859154929577, 'f1': 0.8224907063197026, 'number': 1065} 0.7535 0.8038 0.7779 0.8057
0.0201 63.0 189 1.1089 {'precision': 0.7358916478555305, 'recall': 0.8059332509270705, 'f1': 0.7693215339233038, 'number': 809} {'precision': 0.41496598639455784, 'recall': 0.5126050420168067, 'f1': 0.4586466165413534, 'number': 119} {'precision': 0.8154981549815498, 'recall': 0.8300469483568075, 'f1': 0.822708236389018, 'number': 1065} 0.7544 0.8013 0.7771 0.8046
0.02 64.0 192 1.1082 {'precision': 0.7456647398843931, 'recall': 0.7972805933250927, 'f1': 0.7706093189964157, 'number': 809} {'precision': 0.4125874125874126, 'recall': 0.4957983193277311, 'f1': 0.450381679389313, 'number': 119} {'precision': 0.8157653528872594, 'recall': 0.8356807511737089, 'f1': 0.8256029684601113, 'number': 1065} 0.7594 0.7998 0.7791 0.8020
0.02 65.0 195 1.1083 {'precision': 0.7396788990825688, 'recall': 0.7972805933250927, 'f1': 0.7674003569303985, 'number': 809} {'precision': 0.39705882352941174, 'recall': 0.453781512605042, 'f1': 0.4235294117647058, 'number': 119} {'precision': 0.7969723953695459, 'recall': 0.8403755868544601, 'f1': 0.8180987202925045, 'number': 1065} 0.7480 0.7998 0.7730 0.8013
0.0191 66.0 198 1.1049 {'precision': 0.7349943374858438, 'recall': 0.8022249690976514, 'f1': 0.7671394799054374, 'number': 809} {'precision': 0.42028985507246375, 'recall': 0.48739495798319327, 'f1': 0.4513618677042802, 'number': 119} {'precision': 0.8063063063063063, 'recall': 0.8403755868544601, 'f1': 0.8229885057471265, 'number': 1065} 0.7518 0.8038 0.7769 0.8036
0.0183 67.0 201 1.1034 {'precision': 0.7337078651685394, 'recall': 0.8071693448702101, 'f1': 0.768687463213655, 'number': 809} {'precision': 0.40397350993377484, 'recall': 0.5126050420168067, 'f1': 0.45185185185185184, 'number': 119} {'precision': 0.8124428179322964, 'recall': 0.8338028169014085, 'f1': 0.8229842446709916, 'number': 1065} 0.7507 0.8038 0.7764 0.8049
0.0204 68.0 204 1.1038 {'precision': 0.732739420935412, 'recall': 0.8133498145859085, 'f1': 0.7709431751611013, 'number': 809} {'precision': 0.3881578947368421, 'recall': 0.4957983193277311, 'f1': 0.4354243542435424, 'number': 119} {'precision': 0.8106129917657823, 'recall': 0.831924882629108, 'f1': 0.8211306765523634, 'number': 1065} 0.7480 0.8043 0.7751 0.8053
0.0184 69.0 207 1.1015 {'precision': 0.7322222222222222, 'recall': 0.8145859085290482, 'f1': 0.7712112346401404, 'number': 809} {'precision': 0.4244604316546763, 'recall': 0.4957983193277311, 'f1': 0.45736434108527135, 'number': 119} {'precision': 0.8110808356039964, 'recall': 0.8384976525821596, 'f1': 0.8245614035087719, 'number': 1065} 0.7528 0.8083 0.7796 0.8067
0.0174 70.0 210 1.0981 {'precision': 0.7352941176470589, 'recall': 0.8034610630407911, 'f1': 0.7678676904902539, 'number': 809} {'precision': 0.40939597315436244, 'recall': 0.5126050420168067, 'f1': 0.4552238805970149, 'number': 119} {'precision': 0.8098271155595996, 'recall': 0.8356807511737089, 'f1': 0.822550831792976, 'number': 1065} 0.7509 0.8033 0.7762 0.8057
0.016 71.0 213 1.1055 {'precision': 0.7398190045248869, 'recall': 0.8084054388133498, 'f1': 0.7725930301240402, 'number': 809} {'precision': 0.40606060606060607, 'recall': 0.5630252100840336, 'f1': 0.47183098591549294, 'number': 119} {'precision': 0.815668202764977, 'recall': 0.8309859154929577, 'f1': 0.8232558139534883, 'number': 1065} 0.7526 0.8058 0.7783 0.8068
0.0156 72.0 216 1.1039 {'precision': 0.7370203160270881, 'recall': 0.8071693448702101, 'f1': 0.7705014749262538, 'number': 809} {'precision': 0.4050632911392405, 'recall': 0.5378151260504201, 'f1': 0.46209386281588444, 'number': 119} {'precision': 0.8098271155595996, 'recall': 0.8356807511737089, 'f1': 0.822550831792976, 'number': 1065} 0.7499 0.8063 0.7771 0.8082
0.0165 73.0 219 1.0998 {'precision': 0.7358916478555305, 'recall': 0.8059332509270705, 'f1': 0.7693215339233038, 'number': 809} {'precision': 0.4357142857142857, 'recall': 0.5126050420168067, 'f1': 0.47104247104247104, 'number': 119} {'precision': 0.8045045045045045, 'recall': 0.8384976525821596, 'f1': 0.8211494252873562, 'number': 1065} 0.7519 0.8058 0.7779 0.8082
0.0156 74.0 222 1.1038 {'precision': 0.7378531073446327, 'recall': 0.8071693448702101, 'f1': 0.7709563164108618, 'number': 809} {'precision': 0.43703703703703706, 'recall': 0.4957983193277311, 'f1': 0.4645669291338583, 'number': 119} {'precision': 0.8055805580558055, 'recall': 0.8403755868544601, 'f1': 0.8226102941176471, 'number': 1065} 0.7541 0.8063 0.7793 0.8077
0.0161 75.0 225 1.1180 {'precision': 0.7348993288590604, 'recall': 0.8121137206427689, 'f1': 0.7715795654726952, 'number': 809} {'precision': 0.4305555555555556, 'recall': 0.5210084033613446, 'f1': 0.47148288973384034, 'number': 119} {'precision': 0.8113035551504102, 'recall': 0.8356807511737089, 'f1': 0.8233117483811285, 'number': 1065} 0.7536 0.8073 0.7796 0.8053
0.0145 76.0 228 1.1341 {'precision': 0.734375, 'recall': 0.8133498145859085, 'f1': 0.7718475073313783, 'number': 809} {'precision': 0.4125, 'recall': 0.5546218487394958, 'f1': 0.47311827956989244, 'number': 119} {'precision': 0.8162511542012927, 'recall': 0.8300469483568075, 'f1': 0.8230912476722533, 'number': 1065} 0.7518 0.8068 0.7783 0.8047
0.0183 77.0 231 1.1368 {'precision': 0.7338530066815144, 'recall': 0.8145859085290482, 'f1': 0.7721148213239603, 'number': 809} {'precision': 0.40764331210191085, 'recall': 0.5378151260504201, 'f1': 0.463768115942029, 'number': 119} {'precision': 0.807832422586521, 'recall': 0.8328638497652582, 'f1': 0.820157189089228, 'number': 1065} 0.7478 0.8078 0.7767 0.8043
0.0151 78.0 234 1.1366 {'precision': 0.7323628219484882, 'recall': 0.8084054388133498, 'f1': 0.7685076380728554, 'number': 809} {'precision': 0.41333333333333333, 'recall': 0.5210084033613446, 'f1': 0.4609665427509294, 'number': 119} {'precision': 0.800718132854578, 'recall': 0.8375586854460094, 'f1': 0.8187241854061496, 'number': 1065} 0.7455 0.8068 0.7749 0.8021
0.0134 79.0 237 1.1315 {'precision': 0.7319819819819819, 'recall': 0.8034610630407911, 'f1': 0.7660577489687684, 'number': 809} {'precision': 0.4154929577464789, 'recall': 0.4957983193277311, 'f1': 0.4521072796934866, 'number': 119} {'precision': 0.7939609236234458, 'recall': 0.8394366197183099, 'f1': 0.8160657234139663, 'number': 1065} 0.7435 0.8043 0.7727 0.8025
0.0156 80.0 240 1.1281 {'precision': 0.7338618346545867, 'recall': 0.8009888751545118, 'f1': 0.7659574468085106, 'number': 809} {'precision': 0.40268456375838924, 'recall': 0.5042016806722689, 'f1': 0.44776119402985076, 'number': 119} {'precision': 0.8057813911472448, 'recall': 0.8375586854460094, 'f1': 0.8213627992633518, 'number': 1065} 0.7480 0.8028 0.7744 0.8038
0.0125 81.0 243 1.1303 {'precision': 0.7341628959276018, 'recall': 0.8022249690976514, 'f1': 0.7666863555818074, 'number': 809} {'precision': 0.41830065359477125, 'recall': 0.5378151260504201, 'f1': 0.47058823529411764, 'number': 119} {'precision': 0.8065395095367848, 'recall': 0.8338028169014085, 'f1': 0.8199445983379502, 'number': 1065} 0.7488 0.8033 0.7751 0.8035
0.0141 82.0 246 1.1316 {'precision': 0.7320627802690582, 'recall': 0.8071693448702101, 'f1': 0.7677836566725456, 'number': 809} {'precision': 0.41830065359477125, 'recall': 0.5378151260504201, 'f1': 0.47058823529411764, 'number': 119} {'precision': 0.8054545454545454, 'recall': 0.831924882629108, 'f1': 0.8184757505773671, 'number': 1065} 0.7473 0.8043 0.7748 0.8038
0.0158 83.0 249 1.1313 {'precision': 0.7395715896279594, 'recall': 0.8108776266996292, 'f1': 0.7735849056603773, 'number': 809} {'precision': 0.40131578947368424, 'recall': 0.5126050420168067, 'f1': 0.4501845018450184, 'number': 119} {'precision': 0.8034420289855072, 'recall': 0.8328638497652582, 'f1': 0.8178884278469339, 'number': 1065} 0.7485 0.8048 0.7756 0.8055
0.0126 84.0 252 1.1293 {'precision': 0.7386877828054299, 'recall': 0.8071693448702101, 'f1': 0.7714116952155936, 'number': 809} {'precision': 0.41216216216216217, 'recall': 0.5126050420168067, 'f1': 0.4569288389513108, 'number': 119} {'precision': 0.8025247971145176, 'recall': 0.8356807511737089, 'f1': 0.8187672493100275, 'number': 1065} 0.7492 0.8048 0.7760 0.8055
0.0139 85.0 255 1.1277 {'precision': 0.7341628959276018, 'recall': 0.8022249690976514, 'f1': 0.7666863555818074, 'number': 809} {'precision': 0.4041095890410959, 'recall': 0.4957983193277311, 'f1': 0.44528301886792454, 'number': 119} {'precision': 0.8005415162454874, 'recall': 0.8328638497652582, 'f1': 0.8163828808099403, 'number': 1065} 0.7460 0.8003 0.7722 0.8057
0.0129 86.0 258 1.1275 {'precision': 0.7319004524886877, 'recall': 0.799752781211372, 'f1': 0.7643236857649144, 'number': 809} {'precision': 0.4, 'recall': 0.48739495798319327, 'f1': 0.4393939393939394, 'number': 119} {'precision': 0.8043478260869565, 'recall': 0.8338028169014085, 'f1': 0.8188105117565699, 'number': 1065} 0.7468 0.7993 0.7722 0.8046
0.0135 87.0 261 1.1298 {'precision': 0.7329545454545454, 'recall': 0.7972805933250927, 'f1': 0.7637655417406749, 'number': 809} {'precision': 0.4097222222222222, 'recall': 0.4957983193277311, 'f1': 0.44866920152091255, 'number': 119} {'precision': 0.8067150635208712, 'recall': 0.8347417840375587, 'f1': 0.8204891555145363, 'number': 1065} 0.7493 0.7993 0.7735 0.8041
0.0147 88.0 264 1.1335 {'precision': 0.7352272727272727, 'recall': 0.799752781211372, 'f1': 0.7661338069863826, 'number': 809} {'precision': 0.4166666666666667, 'recall': 0.5042016806722689, 'f1': 0.4562737642585551, 'number': 119} {'precision': 0.8083560399636693, 'recall': 0.8356807511737089, 'f1': 0.8217913204062788, 'number': 1065} 0.7515 0.8013 0.7756 0.8046
0.0136 89.0 267 1.1368 {'precision': 0.7377979568671964, 'recall': 0.8034610630407911, 'f1': 0.7692307692307694, 'number': 809} {'precision': 0.40540540540540543, 'recall': 0.5042016806722689, 'f1': 0.449438202247191, 'number': 119} {'precision': 0.8032490974729242, 'recall': 0.8356807511737089, 'f1': 0.8191440404970087, 'number': 1065} 0.7487 0.8028 0.7748 0.8057
0.0129 90.0 270 1.1411 {'precision': 0.7420814479638009, 'recall': 0.8108776266996292, 'f1': 0.7749556999409333, 'number': 809} {'precision': 0.40268456375838924, 'recall': 0.5042016806722689, 'f1': 0.44776119402985076, 'number': 119} {'precision': 0.801980198019802, 'recall': 0.8366197183098592, 'f1': 0.8189338235294118, 'number': 1065} 0.7495 0.8063 0.7769 0.8059
0.0131 91.0 273 1.1437 {'precision': 0.7406989853438557, 'recall': 0.8121137206427689, 'f1': 0.7747641509433963, 'number': 809} {'precision': 0.4105960264900662, 'recall': 0.5210084033613446, 'f1': 0.45925925925925926, 'number': 119} {'precision': 0.7946428571428571, 'recall': 0.8356807511737089, 'f1': 0.8146453089244852, 'number': 1065} 0.7456 0.8073 0.7752 0.8050
0.0128 92.0 276 1.1459 {'precision': 0.7370786516853932, 'recall': 0.8108776266996292, 'f1': 0.7722189523248971, 'number': 809} {'precision': 0.40522875816993464, 'recall': 0.5210084033613446, 'f1': 0.4558823529411765, 'number': 119} {'precision': 0.7911111111111111, 'recall': 0.8356807511737089, 'f1': 0.812785388127854, 'number': 1065} 0.7417 0.8068 0.7729 0.8049
0.0111 93.0 279 1.1463 {'precision': 0.7387387387387387, 'recall': 0.8108776266996292, 'f1': 0.7731290512669416, 'number': 809} {'precision': 0.3935483870967742, 'recall': 0.5126050420168067, 'f1': 0.44525547445255476, 'number': 119} {'precision': 0.791814946619217, 'recall': 0.8356807511737089, 'f1': 0.8131566925536775, 'number': 1065} 0.7416 0.8063 0.7726 0.8040
0.0129 94.0 282 1.1449 {'precision': 0.7381489841986456, 'recall': 0.8084054388133498, 'f1': 0.7716814159292036, 'number': 809} {'precision': 0.3961038961038961, 'recall': 0.5126050420168067, 'f1': 0.44688644688644696, 'number': 119} {'precision': 0.79375, 'recall': 0.8347417840375587, 'f1': 0.8137299771167047, 'number': 1065} 0.7426 0.8048 0.7725 0.8042
0.0139 95.0 285 1.1425 {'precision': 0.7322834645669292, 'recall': 0.8046971569839307, 'f1': 0.7667844522968198, 'number': 809} {'precision': 0.3961038961038961, 'recall': 0.5126050420168067, 'f1': 0.44688644688644696, 'number': 119} {'precision': 0.7930419268510259, 'recall': 0.8347417840375587, 'f1': 0.8133577310155535, 'number': 1065} 0.7398 0.8033 0.7703 0.8032
0.0132 96.0 288 1.1416 {'precision': 0.7319819819819819, 'recall': 0.8034610630407911, 'f1': 0.7660577489687684, 'number': 809} {'precision': 0.40131578947368424, 'recall': 0.5126050420168067, 'f1': 0.4501845018450184, 'number': 119} {'precision': 0.7962466487935657, 'recall': 0.8366197183098592, 'f1': 0.8159340659340658, 'number': 1065} 0.7420 0.8038 0.7717 0.8045
0.0116 97.0 291 1.1405 {'precision': 0.7322834645669292, 'recall': 0.8046971569839307, 'f1': 0.7667844522968198, 'number': 809} {'precision': 0.40397350993377484, 'recall': 0.5126050420168067, 'f1': 0.45185185185185184, 'number': 119} {'precision': 0.7978533094812165, 'recall': 0.8375586854460094, 'f1': 0.8172240036646817, 'number': 1065} 0.7433 0.8048 0.7728 0.8043
0.0124 98.0 294 1.1399 {'precision': 0.7331081081081081, 'recall': 0.8046971569839307, 'f1': 0.7672362993517973, 'number': 809} {'precision': 0.40397350993377484, 'recall': 0.5126050420168067, 'f1': 0.45185185185185184, 'number': 119} {'precision': 0.7978533094812165, 'recall': 0.8375586854460094, 'f1': 0.8172240036646817, 'number': 1065} 0.7436 0.8048 0.7730 0.8047
0.0114 99.0 297 1.1395 {'precision': 0.7331081081081081, 'recall': 0.8046971569839307, 'f1': 0.7672362993517973, 'number': 809} {'precision': 0.4066666666666667, 'recall': 0.5126050420168067, 'f1': 0.4535315985130111, 'number': 119} {'precision': 0.7971403038427167, 'recall': 0.8375586854460094, 'f1': 0.8168498168498167, 'number': 1065} 0.7436 0.8048 0.7730 0.8052
0.0108 100.0 300 1.1395 {'precision': 0.733934611048478, 'recall': 0.8046971569839307, 'f1': 0.767688679245283, 'number': 809} {'precision': 0.4066666666666667, 'recall': 0.5126050420168067, 'f1': 0.4535315985130111, 'number': 119} {'precision': 0.7980339588918678, 'recall': 0.8384976525821596, 'f1': 0.8177655677655677, 'number': 1065} 0.7444 0.8053 0.7737 0.8054

Framework versions

  • Transformers 4.22.0.dev0
  • Pytorch 1.12.1+cu116
  • Datasets 2.4.0
  • Tokenizers 0.12.1