--- base_model: UBC-NLP/AraT5v2-base-1024 tags: - generated_from_trainer model-index: - name: AraT5v2-base-1024-p-l-akk-en-20240712-212743 results: [] --- # AraT5v2-base-1024-p-l-akk-en-20240712-212743 This model is a fine-tuned version of [UBC-NLP/AraT5v2-base-1024](https://huggingface.co/UBC-NLP/AraT5v2-base-1024) on the None dataset. It achieves the following results on the evaluation set: - Loss: 0.1234 ## Model description More information needed ## Intended uses & limitations More information needed ## Training and evaluation data More information needed ## Training procedure ### Training hyperparameters The following hyperparameters were used during training: - learning_rate: 4e-05 - train_batch_size: 8 - eval_batch_size: 8 - seed: 42 - optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08 - lr_scheduler_type: linear - num_epochs: 25 ### Training results | Training Loss | Epoch | Step | Validation Loss | |:-------------:|:-------:|:------:|:---------------:| | 7.7733 | 0.0884 | 500 | 0.7064 | | 0.5896 | 0.1767 | 1000 | 0.4223 | | 0.3694 | 0.2651 | 1500 | 0.3706 | | 0.2998 | 0.3535 | 2000 | 0.3643 | | 0.2951 | 0.4419 | 2500 | 0.2568 | | 0.275 | 0.5302 | 3000 | 0.2534 | | 0.2594 | 0.6186 | 3500 | 0.2449 | | 0.2538 | 0.7070 | 4000 | 0.2313 | | 0.2505 | 0.7953 | 4500 | 0.2303 | | 0.2559 | 0.8837 | 5000 | 0.2237 | | 0.2449 | 0.9721 | 5500 | 0.2190 | | 0.2443 | 1.0604 | 6000 | 0.2165 | | 0.2334 | 1.1488 | 6500 | 0.2142 | | 0.2373 | 1.2372 | 7000 | 0.2116 | | 0.2239 | 1.3256 | 7500 | 0.2103 | | 0.2261 | 1.4139 | 8000 | 0.2079 | | 0.2249 | 1.5023 | 8500 | 0.2057 | | 0.2232 | 1.5907 | 9000 | 0.2055 | | 0.214 | 1.6790 | 9500 | 0.2023 | | 0.2176 | 1.7674 | 10000 | 0.2008 | | 0.2062 | 1.8558 | 10500 | 0.1991 | | 0.2132 | 1.9441 | 11000 | 0.1980 | | 0.2016 | 2.0325 | 11500 | 0.2008 | | 0.2103 | 2.1209 | 12000 | 0.2001 | | 0.2611 | 2.2093 | 12500 | 0.1967 | | 0.2045 | 2.2976 | 13000 | 0.1945 | | 0.2027 | 2.3860 | 13500 | 0.1924 | | 0.1992 | 2.4744 | 14000 | 0.1913 | | 0.2019 | 2.5627 | 14500 | 0.1903 | | 0.1985 | 2.6511 | 15000 | 0.1890 | | 0.1936 | 2.7395 | 15500 | 0.1888 | | 0.1981 | 2.8279 | 16000 | 0.1870 | | 0.1986 | 2.9162 | 16500 | 0.1866 | | 0.1919 | 3.0046 | 17000 | 0.1847 | | 0.1888 | 3.0930 | 17500 | 0.1839 | | 0.1957 | 3.1813 | 18000 | 0.1834 | | 0.1919 | 3.2697 | 18500 | 0.1820 | | 0.1845 | 3.3581 | 19000 | 0.1811 | | 0.1924 | 3.4464 | 19500 | 0.1804 | | 0.1861 | 3.5348 | 20000 | 0.1793 | | 0.1773 | 3.6232 | 20500 | 0.1777 | | 0.1826 | 3.7116 | 21000 | 0.1782 | | 0.19 | 3.7999 | 21500 | 0.1765 | | 0.1827 | 3.8883 | 22000 | 0.1752 | | 0.1848 | 3.9767 | 22500 | 0.1751 | | 0.1828 | 4.0650 | 23000 | 0.1736 | | 0.1759 | 4.1534 | 23500 | 0.1741 | | 0.179 | 4.2418 | 24000 | 0.1723 | | 0.1812 | 4.3302 | 24500 | 0.1722 | | 0.1788 | 4.4185 | 25000 | 0.1711 | | 0.1808 | 4.5069 | 25500 | 0.1705 | | 0.1757 | 4.5953 | 26000 | 0.1693 | | 0.1694 | 4.6836 | 26500 | 0.1687 | | 0.1701 | 4.7720 | 27000 | 0.1681 | | 0.179 | 4.8604 | 27500 | 0.1676 | | 0.1771 | 4.9487 | 28000 | 0.1664 | | 0.1753 | 5.0371 | 28500 | 0.1665 | | 0.1726 | 5.1255 | 29000 | 0.1653 | | 0.1683 | 5.2139 | 29500 | 0.1644 | | 0.1639 | 5.3022 | 30000 | 0.1641 | | 0.1688 | 5.3906 | 30500 | 0.1637 | | 0.1675 | 5.4790 | 31000 | 0.1631 | | 0.1679 | 5.5673 | 31500 | 0.1622 | | 0.1701 | 5.6557 | 32000 | 0.1619 | | 0.1672 | 5.7441 | 32500 | 0.1613 | | 0.1661 | 5.8324 | 33000 | 0.1604 | | 0.1677 | 5.9208 | 33500 | 0.1595 | | 0.1689 | 6.0092 | 34000 | 0.1595 | | 0.1678 | 6.0976 | 34500 | 0.1590 | | 0.165 | 6.1859 | 35000 | 0.1587 | | 0.1636 | 6.2743 | 35500 | 0.1585 | | 0.1641 | 6.3627 | 36000 | 0.1575 | | 0.1598 | 6.4510 | 36500 | 0.1573 | | 0.1563 | 6.5394 | 37000 | 0.1566 | | 0.1612 | 6.6278 | 37500 | 0.1572 | | 0.1668 | 6.7162 | 38000 | 0.1556 | | 0.1625 | 6.8045 | 38500 | 0.1552 | | 0.1561 | 6.8929 | 39000 | 0.1540 | | 0.1571 | 6.9813 | 39500 | 0.1544 | | 0.1628 | 7.0696 | 40000 | 0.1540 | | 0.1582 | 7.1580 | 40500 | 0.1535 | | 0.1481 | 7.2464 | 41000 | 0.1535 | | 0.1537 | 7.3347 | 41500 | 0.1525 | | 0.159 | 7.4231 | 42000 | 0.1519 | | 0.1579 | 7.5115 | 42500 | 0.1512 | | 0.1595 | 7.5999 | 43000 | 0.1518 | | 0.1578 | 7.6882 | 43500 | 0.1504 | | 0.1514 | 7.7766 | 44000 | 0.1505 | | 0.1534 | 7.8650 | 44500 | 0.1501 | | 0.157 | 7.9533 | 45000 | 0.1500 | | 0.1558 | 8.0417 | 45500 | 0.1495 | | 0.1545 | 8.1301 | 46000 | 0.1496 | | 0.1506 | 8.2185 | 46500 | 0.1490 | | 0.1525 | 8.3068 | 47000 | 0.1482 | | 0.1546 | 8.3952 | 47500 | 0.1476 | | 0.1544 | 8.4836 | 48000 | 0.1475 | | 0.1482 | 8.5719 | 48500 | 0.1472 | | 0.1483 | 8.6603 | 49000 | 0.1472 | | 0.1455 | 8.7487 | 49500 | 0.1467 | | 0.1514 | 8.8370 | 50000 | 0.1458 | | 0.1537 | 8.9254 | 50500 | 0.1464 | | 0.1508 | 9.0138 | 51000 | 0.1458 | | 0.1428 | 9.1022 | 51500 | 0.1450 | | 0.1478 | 9.1905 | 52000 | 0.1461 | | 0.1472 | 9.2789 | 52500 | 0.1449 | | 0.1498 | 9.3673 | 53000 | 0.1443 | | 0.1502 | 9.4556 | 53500 | 0.1443 | | 0.1458 | 9.5440 | 54000 | 0.1441 | | 0.1441 | 9.6324 | 54500 | 0.1433 | | 0.1525 | 9.7207 | 55000 | 0.1434 | | 0.148 | 9.8091 | 55500 | 0.1426 | | 0.1458 | 9.8975 | 56000 | 0.1429 | | 0.1476 | 9.9859 | 56500 | 0.1425 | | 0.1413 | 10.0742 | 57000 | 0.1426 | | 0.1488 | 10.1626 | 57500 | 0.1421 | | 0.1457 | 10.2510 | 58000 | 0.1415 | | 0.1429 | 10.3393 | 58500 | 0.1417 | | 0.1382 | 10.4277 | 59000 | 0.1416 | | 0.1466 | 10.5161 | 59500 | 0.1413 | | 0.1412 | 10.6045 | 60000 | 0.1410 | | 0.1447 | 10.6928 | 60500 | 0.1408 | | 0.1426 | 10.7812 | 61000 | 0.1406 | | 0.1488 | 10.8696 | 61500 | 0.1402 | | 0.1402 | 10.9579 | 62000 | 0.1396 | | 0.1385 | 11.0463 | 62500 | 0.1393 | | 0.1415 | 11.1347 | 63000 | 0.1390 | | 0.1429 | 11.2230 | 63500 | 0.1397 | | 0.1415 | 11.3114 | 64000 | 0.1389 | | 0.1407 | 11.3998 | 64500 | 0.1387 | | 0.1349 | 11.4882 | 65000 | 0.1384 | | 0.1418 | 11.5765 | 65500 | 0.1388 | | 0.1394 | 11.6649 | 66000 | 0.1378 | | 0.1415 | 11.7533 | 66500 | 0.1376 | | 0.134 | 11.8416 | 67000 | 0.1373 | | 0.1435 | 11.9300 | 67500 | 0.1370 | | 0.1386 | 12.0184 | 68000 | 0.1373 | | 0.1295 | 12.1068 | 68500 | 0.1368 | | 0.1379 | 12.1951 | 69000 | 0.1365 | | 0.1436 | 12.2835 | 69500 | 0.1368 | | 0.1312 | 12.3719 | 70000 | 0.1361 | | 0.139 | 12.4602 | 70500 | 0.1358 | | 0.1395 | 12.5486 | 71000 | 0.1358 | | 0.1317 | 12.6370 | 71500 | 0.1356 | | 0.1445 | 12.7253 | 72000 | 0.1352 | | 0.1394 | 12.8137 | 72500 | 0.1355 | | 0.1351 | 12.9021 | 73000 | 0.1346 | | 0.1369 | 12.9905 | 73500 | 0.1347 | | 0.1328 | 13.0788 | 74000 | 0.1352 | | 0.132 | 13.1672 | 74500 | 0.1347 | | 0.137 | 13.2556 | 75000 | 0.1344 | | 0.1382 | 13.3439 | 75500 | 0.1342 | | 0.1346 | 13.4323 | 76000 | 0.1334 | | 0.1322 | 13.5207 | 76500 | 0.1334 | | 0.1354 | 13.6090 | 77000 | 0.1333 | | 0.1322 | 13.6974 | 77500 | 0.1335 | | 0.1304 | 13.7858 | 78000 | 0.1331 | | 0.1332 | 13.8742 | 78500 | 0.1332 | | 0.136 | 13.9625 | 79000 | 0.1326 | | 0.1361 | 14.0509 | 79500 | 0.1329 | | 0.1324 | 14.1393 | 80000 | 0.1328 | | 0.1321 | 14.2276 | 80500 | 0.1321 | | 0.1349 | 14.3160 | 81000 | 0.1320 | | 0.1336 | 14.4044 | 81500 | 0.1323 | | 0.1272 | 14.4928 | 82000 | 0.1318 | | 0.1317 | 14.5811 | 82500 | 0.1316 | | 0.1274 | 14.6695 | 83000 | 0.1317 | | 0.1331 | 14.7579 | 83500 | 0.1312 | | 0.132 | 14.8462 | 84000 | 0.1312 | | 0.1318 | 14.9346 | 84500 | 0.1307 | | 0.128 | 15.0230 | 85000 | 0.1305 | | 0.1282 | 15.1113 | 85500 | 0.1307 | | 0.128 | 15.1997 | 86000 | 0.1305 | | 0.1359 | 15.2881 | 86500 | 0.1304 | | 0.1269 | 15.3765 | 87000 | 0.1304 | | 0.1237 | 15.4648 | 87500 | 0.1303 | | 0.1372 | 15.5532 | 88000 | 0.1302 | | 0.1343 | 15.6416 | 88500 | 0.1300 | | 0.1336 | 15.7299 | 89000 | 0.1297 | | 0.1258 | 15.8183 | 89500 | 0.1295 | | 0.1225 | 15.9067 | 90000 | 0.1298 | | 0.1285 | 15.9951 | 90500 | 0.1291 | | 0.1254 | 16.0834 | 91000 | 0.1295 | | 0.1283 | 16.1718 | 91500 | 0.1294 | | 0.1257 | 16.2602 | 92000 | 0.1297 | | 0.1279 | 16.3485 | 92500 | 0.1292 | | 0.1304 | 16.4369 | 93000 | 0.1291 | | 0.1253 | 16.5253 | 93500 | 0.1290 | | 0.1181 | 16.6136 | 94000 | 0.1285 | | 0.1293 | 16.7020 | 94500 | 0.1287 | | 0.1271 | 16.7904 | 95000 | 0.1293 | | 0.1274 | 16.8788 | 95500 | 0.1287 | | 0.1331 | 16.9671 | 96000 | 0.1284 | | 0.1338 | 17.0555 | 96500 | 0.1286 | | 0.1297 | 17.1439 | 97000 | 0.1283 | | 0.1227 | 17.2322 | 97500 | 0.1280 | | 0.1226 | 17.3206 | 98000 | 0.1280 | | 0.1255 | 17.4090 | 98500 | 0.1280 | | 0.1266 | 17.4973 | 99000 | 0.1277 | | 0.1247 | 17.5857 | 99500 | 0.1274 | | 0.1254 | 17.6741 | 100000 | 0.1275 | | 0.1193 | 17.7625 | 100500 | 0.1277 | | 0.1279 | 17.8508 | 101000 | 0.1276 | | 0.1251 | 17.9392 | 101500 | 0.1270 | | 0.1264 | 18.0276 | 102000 | 0.1271 | | 0.1249 | 18.1159 | 102500 | 0.1270 | | 0.1279 | 18.2043 | 103000 | 0.1267 | | 0.1254 | 18.2927 | 103500 | 0.1266 | | 0.1276 | 18.3811 | 104000 | 0.1269 | | 0.1165 | 18.4694 | 104500 | 0.1263 | | 0.122 | 18.5578 | 105000 | 0.1265 | | 0.1281 | 18.6462 | 105500 | 0.1261 | | 0.1224 | 18.7345 | 106000 | 0.1265 | | 0.1209 | 18.8229 | 106500 | 0.1264 | | 0.1233 | 18.9113 | 107000 | 0.1264 | | 0.1218 | 18.9996 | 107500 | 0.1256 | | 0.1217 | 19.0880 | 108000 | 0.1261 | | 0.1227 | 19.1764 | 108500 | 0.1265 | | 0.1303 | 19.2648 | 109000 | 0.1263 | | 0.1188 | 19.3531 | 109500 | 0.1258 | | 0.1221 | 19.4415 | 110000 | 0.1260 | | 0.1249 | 19.5299 | 110500 | 0.1261 | | 0.1295 | 19.6182 | 111000 | 0.1257 | | 0.1226 | 19.7066 | 111500 | 0.1252 | | 0.1199 | 19.7950 | 112000 | 0.1253 | | 0.1177 | 19.8834 | 112500 | 0.1253 | | 0.1193 | 19.9717 | 113000 | 0.1255 | | 0.1181 | 20.0601 | 113500 | 0.1256 | | 0.1207 | 20.1485 | 114000 | 0.1256 | | 0.1235 | 20.2368 | 114500 | 0.1257 | | 0.1209 | 20.3252 | 115000 | 0.1253 | | 0.115 | 20.4136 | 115500 | 0.1251 | | 0.1176 | 20.5019 | 116000 | 0.1252 | | 0.1215 | 20.5903 | 116500 | 0.1249 | | 0.124 | 20.6787 | 117000 | 0.1247 | | 0.1211 | 20.7671 | 117500 | 0.1245 | | 0.1222 | 20.8554 | 118000 | 0.1246 | | 0.1205 | 20.9438 | 118500 | 0.1248 | | 0.1251 | 21.0322 | 119000 | 0.1248 | | 0.1212 | 21.1205 | 119500 | 0.1243 | | 0.1151 | 21.2089 | 120000 | 0.1247 | | 0.1197 | 21.2973 | 120500 | 0.1246 | | 0.122 | 21.3856 | 121000 | 0.1248 | | 0.1226 | 21.4740 | 121500 | 0.1248 | | 0.1214 | 21.5624 | 122000 | 0.1247 | | 0.1232 | 21.6508 | 122500 | 0.1242 | | 0.118 | 21.7391 | 123000 | 0.1245 | | 0.1179 | 21.8275 | 123500 | 0.1242 | | 0.1201 | 21.9159 | 124000 | 0.1243 | | 0.1205 | 22.0042 | 124500 | 0.1245 | | 0.1182 | 22.0926 | 125000 | 0.1242 | | 0.115 | 22.1810 | 125500 | 0.1243 | | 0.1203 | 22.2694 | 126000 | 0.1239 | | 0.1184 | 22.3577 | 126500 | 0.1240 | | 0.1221 | 22.4461 | 127000 | 0.1239 | | 0.1214 | 22.5345 | 127500 | 0.1238 | | 0.1183 | 22.6228 | 128000 | 0.1239 | | 0.1188 | 22.7112 | 128500 | 0.1242 | | 0.1181 | 22.7996 | 129000 | 0.1237 | | 0.1172 | 22.8879 | 129500 | 0.1237 | | 0.122 | 22.9763 | 130000 | 0.1236 | | 0.1194 | 23.0647 | 130500 | 0.1239 | | 0.1171 | 23.1531 | 131000 | 0.1238 | | 0.1178 | 23.2414 | 131500 | 0.1238 | | 0.1192 | 23.3298 | 132000 | 0.1239 | | 0.1193 | 23.4182 | 132500 | 0.1238 | | 0.1201 | 23.5065 | 133000 | 0.1235 | | 0.1208 | 23.5949 | 133500 | 0.1234 | | 0.1194 | 23.6833 | 134000 | 0.1235 | | 0.1155 | 23.7717 | 134500 | 0.1235 | | 0.1177 | 23.8600 | 135000 | 0.1233 | | 0.1187 | 23.9484 | 135500 | 0.1235 | | 0.1167 | 24.0368 | 136000 | 0.1236 | | 0.116 | 24.1251 | 136500 | 0.1235 | | 0.1151 | 24.2135 | 137000 | 0.1235 | | 0.1204 | 24.3019 | 137500 | 0.1235 | | 0.1105 | 24.3902 | 138000 | 0.1235 | | 0.1211 | 24.4786 | 138500 | 0.1234 | | 0.1192 | 24.5670 | 139000 | 0.1235 | | 0.1188 | 24.6554 | 139500 | 0.1234 | | 0.1245 | 24.7437 | 140000 | 0.1234 | | 0.1177 | 24.8321 | 140500 | 0.1234 | | 0.1209 | 24.9205 | 141000 | 0.1234 | ### Framework versions - Transformers 4.41.2 - Pytorch 2.5.0.dev20240625 - Datasets 2.20.0 - Tokenizers 0.19.1