Edit model card

FlanT5-Medical-QA-LoRA

This model is a fine-tuned version of google/flan-t5-base on an unknown dataset. It achieves the following results on the evaluation set:

  • Loss: nan

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 0.0005
  • train_batch_size: 8
  • eval_batch_size: 8
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 5

Training results

Training Loss Epoch Step Validation Loss
No log 0.0168 10 2.6777
No log 0.0337 20 2.625
No log 0.0505 30 2.5820
No log 0.0673 40 2.5566
No log 0.0842 50 2.5391
No log 0.1010 60 2.5020
No log 0.1178 70 2.4824
No log 0.1347 80 2.4609
No log 0.1515 90 2.4668
2.9267 0.1684 100 2.4453
2.9267 0.1852 110 2.4375
2.9267 0.2020 120 2.4199
2.9267 0.2189 130 2.4082
2.9267 0.2357 140 2.3984
2.9267 0.2525 150 2.3770
2.9267 0.2694 160 2.375
2.9267 0.2862 170 2.3574
2.9267 0.3030 180 2.3574
2.9267 0.3199 190 2.3398
2.7261 0.3367 200 2.3281
2.7261 0.3535 210 2.3125
2.7261 0.3704 220 2.3027
2.7261 0.3872 230 2.2930
2.7261 0.4040 240 2.2930
2.7261 0.4209 250 2.2676
2.7261 0.4377 260 2.2676
2.7261 0.4545 270 2.2578
2.7261 0.4714 280 2.2617
2.7261 0.4882 290 2.2539
2.6159 0.5051 300 2.2402
2.6159 0.5219 310 2.2344
2.6159 0.5387 320 2.2363
2.6159 0.5556 330 2.2266
2.6159 0.5724 340 2.2188
2.6159 0.5892 350 2.2266
2.6159 0.6061 360 2.2031
2.6159 0.6229 370 2.1953
2.6159 0.6397 380 2.1914
2.6159 0.6566 390 2.1855
2.5187 0.6734 400 2.1836
2.5187 0.6902 410 2.1836
2.5187 0.7071 420 2.1738
2.5187 0.7239 430 2.1738
2.5187 0.7407 440 2.1621
2.5187 0.7576 450 2.1621
2.5187 0.7744 460 2.1621
2.5187 0.7912 470 2.1445
2.5187 0.8081 480 2.1465
2.5187 0.8249 490 2.1367
2.4576 0.8418 500 2.1445
2.4576 0.8586 510 2.1484
2.4576 0.8754 520 2.1328
2.4576 0.8923 530 2.1348
2.4576 0.9091 540 2.1270
2.4576 0.9259 550 2.125
2.4576 0.9428 560 2.1172
2.4576 0.9596 570 2.1191
2.4576 0.9764 580 2.1152
2.4576 0.9933 590 2.1230
2.4285 1.0101 600 2.1113
2.4285 1.0269 610 2.1055
2.4285 1.0438 620 2.1152
2.4285 1.0606 630 2.1094
2.4285 1.0774 640 2.1016
2.4285 1.0943 650 2.0977
2.4285 1.1111 660 2.0918
2.4285 1.1279 670 2.0977
2.4285 1.1448 680 2.0996
2.4285 1.1616 690 2.1035
2.3754 1.1785 700 2.0957
2.3754 1.1953 710 2.0938
2.3754 1.2121 720 2.1035
2.3754 1.2290 730 2.0996
2.3754 1.2458 740 2.1016
2.3754 1.2626 750 2.0977
2.3754 1.2795 760 2.1113
2.3754 1.2963 770 2.1074
2.3754 1.3131 780 2.1172
2.3754 1.3300 790 2.1230
2.404 1.3468 800 2.1426
2.404 1.3636 810 2.1406
2.404 1.3805 820 nan
2.404 1.3973 830 nan
2.404 1.4141 840 nan
2.404 1.4310 850 nan
2.404 1.4478 860 nan
2.404 1.4646 870 nan
2.404 1.4815 880 nan
2.404 1.4983 890 nan
2.3092 1.5152 900 nan
2.3092 1.5320 910 nan
2.3092 1.5488 920 nan
2.3092 1.5657 930 nan
2.3092 1.5825 940 nan
2.3092 1.5993 950 nan
2.3092 1.6162 960 nan
2.3092 1.6330 970 nan
2.3092 1.6498 980 nan
2.3092 1.6667 990 nan
0.0 1.6835 1000 nan
0.0 1.7003 1010 nan
0.0 1.7172 1020 nan
0.0 1.7340 1030 nan
0.0 1.7508 1040 nan
0.0 1.7677 1050 nan
0.0 1.7845 1060 nan
0.0 1.8013 1070 nan
0.0 1.8182 1080 nan
0.0 1.8350 1090 nan
0.0 1.8519 1100 nan
0.0 1.8687 1110 nan
0.0 1.8855 1120 nan
0.0 1.9024 1130 nan
0.0 1.9192 1140 nan
0.0 1.9360 1150 nan
0.0 1.9529 1160 nan
0.0 1.9697 1170 nan
0.0 1.9865 1180 nan
0.0 2.0034 1190 nan
0.0 2.0202 1200 nan
0.0 2.0370 1210 nan
0.0 2.0539 1220 nan
0.0 2.0707 1230 nan
0.0 2.0875 1240 nan
0.0 2.1044 1250 nan
0.0 2.1212 1260 nan
0.0 2.1380 1270 nan
0.0 2.1549 1280 nan
0.0 2.1717 1290 nan
0.0 2.1886 1300 nan
0.0 2.2054 1310 nan
0.0 2.2222 1320 nan
0.0 2.2391 1330 nan
0.0 2.2559 1340 nan
0.0 2.2727 1350 nan
0.0 2.2896 1360 nan
0.0 2.3064 1370 nan
0.0 2.3232 1380 nan
0.0 2.3401 1390 nan
0.0 2.3569 1400 nan
0.0 2.3737 1410 nan
0.0 2.3906 1420 nan
0.0 2.4074 1430 nan
0.0 2.4242 1440 nan
0.0 2.4411 1450 nan
0.0 2.4579 1460 nan
0.0 2.4747 1470 nan
0.0 2.4916 1480 nan
0.0 2.5084 1490 nan
0.0 2.5253 1500 nan
0.0 2.5421 1510 nan
0.0 2.5589 1520 nan
0.0 2.5758 1530 nan
0.0 2.5926 1540 nan
0.0 2.6094 1550 nan
0.0 2.6263 1560 nan
0.0 2.6431 1570 nan
0.0 2.6599 1580 nan
0.0 2.6768 1590 nan
0.0 2.6936 1600 nan
0.0 2.7104 1610 nan
0.0 2.7273 1620 nan
0.0 2.7441 1630 nan
0.0 2.7609 1640 nan
0.0 2.7778 1650 nan
0.0 2.7946 1660 nan
0.0 2.8114 1670 nan
0.0 2.8283 1680 nan
0.0 2.8451 1690 nan
0.0 2.8620 1700 nan
0.0 2.8788 1710 nan
0.0 2.8956 1720 nan
0.0 2.9125 1730 nan
0.0 2.9293 1740 nan
0.0 2.9461 1750 nan
0.0 2.9630 1760 nan
0.0 2.9798 1770 nan
0.0 2.9966 1780 nan
0.0 3.0135 1790 nan
0.0 3.0303 1800 nan
0.0 3.0471 1810 nan
0.0 3.0640 1820 nan
0.0 3.0808 1830 nan
0.0 3.0976 1840 nan
0.0 3.1145 1850 nan
0.0 3.1313 1860 nan
0.0 3.1481 1870 nan
0.0 3.1650 1880 nan
0.0 3.1818 1890 nan
0.0 3.1987 1900 nan
0.0 3.2155 1910 nan
0.0 3.2323 1920 nan
0.0 3.2492 1930 nan
0.0 3.2660 1940 nan
0.0 3.2828 1950 nan
0.0 3.2997 1960 nan
0.0 3.3165 1970 nan
0.0 3.3333 1980 nan
0.0 3.3502 1990 nan
0.0 3.3670 2000 nan
0.0 3.3838 2010 nan
0.0 3.4007 2020 nan
0.0 3.4175 2030 nan
0.0 3.4343 2040 nan
0.0 3.4512 2050 nan
0.0 3.4680 2060 nan
0.0 3.4848 2070 nan
0.0 3.5017 2080 nan
0.0 3.5185 2090 nan
0.0 3.5354 2100 nan
0.0 3.5522 2110 nan
0.0 3.5690 2120 nan
0.0 3.5859 2130 nan
0.0 3.6027 2140 nan
0.0 3.6195 2150 nan
0.0 3.6364 2160 nan
0.0 3.6532 2170 nan
0.0 3.6700 2180 nan
0.0 3.6869 2190 nan
0.0 3.7037 2200 nan
0.0 3.7205 2210 nan
0.0 3.7374 2220 nan
0.0 3.7542 2230 nan
0.0 3.7710 2240 nan
0.0 3.7879 2250 nan
0.0 3.8047 2260 nan
0.0 3.8215 2270 nan
0.0 3.8384 2280 nan
0.0 3.8552 2290 nan
0.0 3.8721 2300 nan
0.0 3.8889 2310 nan
0.0 3.9057 2320 nan
0.0 3.9226 2330 nan
0.0 3.9394 2340 nan
0.0 3.9562 2350 nan
0.0 3.9731 2360 nan
0.0 3.9899 2370 nan
0.0 4.0067 2380 nan
0.0 4.0236 2390 nan
0.0 4.0404 2400 nan
0.0 4.0572 2410 nan
0.0 4.0741 2420 nan
0.0 4.0909 2430 nan
0.0 4.1077 2440 nan
0.0 4.1246 2450 nan
0.0 4.1414 2460 nan
0.0 4.1582 2470 nan
0.0 4.1751 2480 nan
0.0 4.1919 2490 nan
0.0 4.2088 2500 nan
0.0 4.2256 2510 nan
0.0 4.2424 2520 nan
0.0 4.2593 2530 nan
0.0 4.2761 2540 nan
0.0 4.2929 2550 nan
0.0 4.3098 2560 nan
0.0 4.3266 2570 nan
0.0 4.3434 2580 nan
0.0 4.3603 2590 nan
0.0 4.3771 2600 nan
0.0 4.3939 2610 nan
0.0 4.4108 2620 nan
0.0 4.4276 2630 nan
0.0 4.4444 2640 nan
0.0 4.4613 2650 nan
0.0 4.4781 2660 nan
0.0 4.4949 2670 nan
0.0 4.5118 2680 nan
0.0 4.5286 2690 nan
0.0 4.5455 2700 nan
0.0 4.5623 2710 nan
0.0 4.5791 2720 nan
0.0 4.5960 2730 nan
0.0 4.6128 2740 nan
0.0 4.6296 2750 nan
0.0 4.6465 2760 nan
0.0 4.6633 2770 nan
0.0 4.6801 2780 nan
0.0 4.6970 2790 nan
0.0 4.7138 2800 nan
0.0 4.7306 2810 nan
0.0 4.7475 2820 nan
0.0 4.7643 2830 nan
0.0 4.7811 2840 nan
0.0 4.7980 2850 nan
0.0 4.8148 2860 nan
0.0 4.8316 2870 nan
0.0 4.8485 2880 nan
0.0 4.8653 2890 nan
0.0 4.8822 2900 nan
0.0 4.8990 2910 nan
0.0 4.9158 2920 nan
0.0 4.9327 2930 nan
0.0 4.9495 2940 nan
0.0 4.9663 2950 nan
0.0 4.9832 2960 nan
0.0 5.0 2970 nan

Framework versions

  • PEFT 0.12.0
  • Transformers 4.43.2
  • Pytorch 1.13.1+cu117
  • Datasets 2.19.2
  • Tokenizers 0.19.1
Downloads last month
2
Inference API
Unable to determine this model’s pipeline type. Check the docs .

Model tree for aryaadhi/FlanT5-Medical-QA-LoRA

Adapter
(127)
this model