Hugging Face's logo

RylanSchaeffer
/
collapse_gemma-2-2b_hs2_accumulate_iter11_sftsd1

Safetensors
gemma2
trl
sft
Generated from Trainer
Model card Files Community
collapse_gemma-2-2b_hs2_accumulate_iter11_sftsd1 / README.md
RylanSchaeffer's picture
RylanSchaeffer
End of training
fb1c4a8 verified
preview code
|
raw
history blame contribute delete
16.7 kB
metadata
license: gemma
base_model: google/gemma-2-2b
tags:
  - trl
  - sft
  - generated_from_trainer
model-index:
  - name: collapse_gemma-2-2b_hs2_accumulate_iter11_sftsd1
    results: []

collapse_gemma-2-2b_hs2_accumulate_iter11_sftsd1

This model is a fine-tuned version of google/gemma-2-2b on an unknown dataset. It achieves the following results on the evaluation set:

  • Loss: 1.0961
  • Num Input Tokens Seen: 56359768

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 8e-06
  • train_batch_size: 8
  • eval_batch_size: 16
  • seed: 1
  • gradient_accumulation_steps: 16
  • total_train_batch_size: 128
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: constant_with_warmup
  • lr_scheduler_warmup_ratio: 0.05
  • num_epochs: 1

Training results

Training Loss Epoch Step Validation Loss Input Tokens Seen
No log 0 0 1.3909 0
1.6209 0.0048 5 1.3888 260784
1.6489 0.0095 10 1.3680 526144
1.532 0.0143 15 1.3201 802968
1.4996 0.0190 20 1.2669 1075152
1.3397 0.0238 25 1.2273 1346840
1.3125 0.0286 30 1.1901 1611296
1.1233 0.0333 35 1.1868 1879352
0.9443 0.0381 40 1.2076 2150000
0.8999 0.0428 45 1.2196 2423208
0.7159 0.0476 50 1.2657 2690856
0.5995 0.0524 55 1.2849 2959080
0.5344 0.0571 60 1.2687 3228184
0.4838 0.0619 65 1.2509 3494504
0.4883 0.0666 70 1.2302 3753896
0.2679 0.0714 75 1.2422 4017544
0.3494 0.0762 80 1.2179 4279264
0.2953 0.0809 85 1.2130 4546928
0.3641 0.0857 90 1.2049 4813768
0.3191 0.0904 95 1.1886 5081944
0.2461 0.0952 100 1.1918 5354328
0.2695 0.1000 105 1.1858 5614768
0.2698 0.1047 110 1.1833 5876376
0.233 0.1095 115 1.1827 6142224
0.2352 0.1143 120 1.1814 6407280
0.2541 0.1190 125 1.1773 6668672
0.2663 0.1238 130 1.1767 6941760
0.2468 0.1285 135 1.1729 7204472
0.2495 0.1333 140 1.1707 7475488
0.1993 0.1381 145 1.1663 7743640
0.2654 0.1428 150 1.1684 8002848
0.2451 0.1476 155 1.1671 8262672
0.2106 0.1523 160 1.1616 8533696
0.1963 0.1571 165 1.1632 8807600
0.1678 0.1619 170 1.1628 9072528
0.2143 0.1666 175 1.1583 9342824
0.1857 0.1714 180 1.1554 9613104
0.2452 0.1761 185 1.1616 9877512
0.2276 0.1809 190 1.1538 10145024
0.1419 0.1857 195 1.1536 10415848
0.2847 0.1904 200 1.1557 10688320
0.1709 0.1952 205 1.1516 10955016
0.2264 0.1999 210 1.1518 11221864
0.2114 0.2047 215 1.1476 11497224
0.1591 0.2095 220 1.1493 11764448
0.2429 0.2142 225 1.1469 12032800
0.222 0.2190 230 1.1445 12296112
0.1844 0.2237 235 1.1441 12567544
0.2173 0.2285 240 1.1410 12829728
0.2398 0.2333 245 1.1391 13093064
0.1395 0.2380 250 1.1423 13355296
0.1644 0.2428 255 1.1410 13617216
0.1951 0.2475 260 1.1406 13887744
0.1772 0.2523 265 1.1408 14158392
0.2206 0.2571 270 1.1384 14432008
0.2658 0.2618 275 1.1363 14695872
0.1841 0.2666 280 1.1364 14962984
0.1656 0.2713 285 1.1373 15239000
0.2024 0.2761 290 1.1360 15503752
0.1559 0.2809 295 1.1363 15765512
0.1714 0.2856 300 1.1352 16036816
0.102 0.2904 305 1.1352 16300064
0.2057 0.2952 310 1.1364 16571744
0.2353 0.2999 315 1.1326 16840544
0.1378 0.3047 320 1.1306 17110016
0.1395 0.3094 325 1.1366 17380776
0.1747 0.3142 330 1.1318 17647416
0.1444 0.3190 335 1.1308 17913208
0.2003 0.3237 340 1.1325 18180568
0.1373 0.3285 345 1.1339 18451296
0.1483 0.3332 350 1.1310 18726416
0.2017 0.3380 355 1.1290 18999216
0.1496 0.3428 360 1.1284 19277048
0.1912 0.3475 365 1.1289 19546024
0.1944 0.3523 370 1.1312 19817824
0.1897 0.3570 375 1.1294 20083960
0.1735 0.3618 380 1.1252 20350640
0.2085 0.3666 385 1.1258 20619120
0.1385 0.3713 390 1.1300 20888696
0.1942 0.3761 395 1.1233 21156856
0.1413 0.3808 400 1.1238 21425648
0.2178 0.3856 405 1.1257 21696448
0.2536 0.3904 410 1.1219 21967312
0.1956 0.3951 415 1.1249 22234304
0.1643 0.3999 420 1.1239 22503168
0.2683 0.4046 425 1.1195 22769672
0.1949 0.4094 430 1.1190 23040264
0.2001 0.4142 435 1.1240 23309600
0.1348 0.4189 440 1.1218 23579856
0.1836 0.4237 445 1.1212 23852144
0.1498 0.4284 450 1.1212 24114304
0.1595 0.4332 455 1.1242 24376912
0.1384 0.4380 460 1.1204 24644368
0.1569 0.4427 465 1.1194 24915744
0.1477 0.4475 470 1.1190 25183280
0.1853 0.4522 475 1.1173 25457376
0.1485 0.4570 480 1.1187 25732664
0.165 0.4618 485 1.1204 26004360
0.1977 0.4665 490 1.1197 26270144
0.1273 0.4713 495 1.1173 26541272
0.2433 0.4760 500 1.1174 26806808
0.1909 0.4808 505 1.1178 27074376
0.191 0.4856 510 1.1189 27338952
0.2088 0.4903 515 1.1169 27606808
0.1777 0.4951 520 1.1147 27875304
0.208 0.4999 525 1.1175 28144272
0.1745 0.5046 530 1.1159 28409000
0.1306 0.5094 535 1.1128 28674056
0.1432 0.5141 540 1.1160 28943648
0.2056 0.5189 545 1.1164 29207648
0.1777 0.5237 550 1.1132 29477544
0.2033 0.5284 555 1.1140 29744816
0.1983 0.5332 560 1.1136 30021232
0.2389 0.5379 565 1.1130 30291032
0.1681 0.5427 570 1.1152 30555728
0.1639 0.5475 575 1.1131 30827752
0.195 0.5522 580 1.1102 31097840
0.1447 0.5570 585 1.1113 31373424
0.2198 0.5617 590 1.1115 31639232
0.1382 0.5665 595 1.1116 31901832
0.1605 0.5713 600 1.1122 32167752
0.2186 0.5760 605 1.1121 32436896
0.1891 0.5808 610 1.1104 32710184
0.1787 0.5855 615 1.1113 32984864
0.1706 0.5903 620 1.1107 33251232
0.2048 0.5951 625 1.1105 33527304
0.191 0.5998 630 1.1102 33798576
0.124 0.6046 635 1.1098 34063624
0.1499 0.6093 640 1.1079 34330376
0.1055 0.6141 645 1.1087 34599840
0.164 0.6189 650 1.1103 34865960
0.1665 0.6236 655 1.1105 35135704
0.14 0.6284 660 1.1088 35404640
0.1862 0.6331 665 1.1116 35670952
0.196 0.6379 670 1.1110 35938232
0.1475 0.6427 675 1.1083 36200712
0.1698 0.6474 680 1.1059 36476144
0.1544 0.6522 685 1.1072 36741712
0.1455 0.6569 690 1.1097 37007608
0.2331 0.6617 695 1.1074 37267184
0.1697 0.6665 700 1.1065 37537536
0.1208 0.6712 705 1.1076 37799632
0.1679 0.6760 710 1.1089 38067184
0.1931 0.6807 715 1.1075 38340032
0.1315 0.6855 720 1.1077 38613992
0.1194 0.6903 725 1.1079 38894384
0.1902 0.6950 730 1.1070 39172040
0.1675 0.6998 735 1.1072 39444864
0.1516 0.7046 740 1.1061 39716440
0.0847 0.7093 745 1.1049 39983736
0.1703 0.7141 750 1.1057 40256696
0.1791 0.7188 755 1.1056 40521264
0.2551 0.7236 760 1.1044 40793072
0.1814 0.7284 765 1.1054 41064248
0.126 0.7331 770 1.1070 41338416
0.211 0.7379 775 1.1049 41600992
0.1668 0.7426 780 1.1043 41870408
0.1821 0.7474 785 1.1061 42139008
0.186 0.7522 790 1.1033 42407016
0.209 0.7569 795 1.1039 42662976
0.226 0.7617 800 1.1040 42934592
0.1668 0.7664 805 1.1026 43199808
0.2089 0.7712 810 1.1019 43460640
0.1736 0.7760 815 1.1038 43729072
0.1403 0.7807 820 1.1022 43997664
0.1947 0.7855 825 1.1017 44258840
0.1333 0.7902 830 1.1020 44518528
0.2415 0.7950 835 1.1042 44785256
0.1791 0.7998 840 1.1018 45057824
0.2226 0.8045 845 1.1013 45326808
0.1988 0.8093 850 1.1012 45595496
0.207 0.8140 855 1.1026 45862328
0.1112 0.8188 860 1.1019 46130024
0.1775 0.8236 865 1.1030 46405848
0.2009 0.8283 870 1.1019 46676936
0.1478 0.8331 875 1.1004 46955008
0.2381 0.8378 880 1.1006 47220736
0.1951 0.8426 885 1.0998 47486768
0.1363 0.8474 890 1.0995 47750624
0.1287 0.8521 895 1.0994 48029400
0.144 0.8569 900 1.1004 48301424
0.1721 0.8616 905 1.0982 48569280
0.1385 0.8664 910 1.0990 48836384
0.1721 0.8712 915 1.0983 49104000
0.2214 0.8759 920 1.0981 49378064
0.1441 0.8807 925 1.0987 49643256
0.2227 0.8855 930 1.1017 49914304
0.1388 0.8902 935 1.1024 50184528
0.1303 0.8950 940 1.0992 50453176
0.192 0.8997 945 1.0968 50723312
0.1817 0.9045 950 1.0985 50998824
0.1661 0.9093 955 1.0989 51273248
0.1249 0.9140 960 1.0994 51535824
0.1622 0.9188 965 1.0993 51805072
0.1294 0.9235 970 1.0982 52074128
0.1132 0.9283 975 1.0975 52340296
0.109 0.9331 980 1.0977 52606592
0.1585 0.9378 985 1.0972 52876464
0.1702 0.9426 990 1.0972 53144688
0.1798 0.9473 995 1.0986 53419016
0.2313 0.9521 1000 1.0993 53685696
0.1984 0.9569 1005 1.0963 53948536
0.1253 0.9616 1010 1.0970 54213712
0.1165 0.9664 1015 1.0979 54480072
0.181 0.9711 1020 1.0970 54753368
0.1439 0.9759 1025 1.0959 55022136
0.1115 0.9807 1030 1.0979 55293552
0.1213 0.9854 1035 1.0991 55557936
0.1227 0.9902 1040 1.0979 55828888
0.1455 0.9949 1045 1.0967 56094144
0.1732 0.9997 1050 1.0961 56359768

Framework versions

  • Transformers 4.44.0
  • Pytorch 2.4.0+cu121
  • Datasets 2.20.0
  • Tokenizers 0.19.1