readme: finalize training section
Browse files
README.md
CHANGED
|
@@ -85,6 +85,35 @@ trainer.train("xflair-german-wikipedia-xlstm_ablation_1-bs64-lr5-e2",
|
|
| 85 |
)
|
| 86 |
```
|
| 87 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 88 |
# Caveats
|
| 89 |
|
| 90 |
Notice: this model integration is heavily under development. And in the process of finding good hyper-parameters. Also downstream experiments are coming very soon.
|
|
|
|
| 85 |
)
|
| 86 |
```
|
| 87 |
|
| 88 |
+
Output of last lines of training log:
|
| 89 |
+
|
| 90 |
+
```bash
|
| 91 |
+
2024-06-10 22:06:54,411 Split 113 - (22:06:54)
|
| 92 |
+
2024-06-10 22:07:23,726 | split 113/113 | 100/ 773 batches | ms/batch 293.11 | loss 4.4117 | ppl 82.4075
|
| 93 |
+
2024-06-10 22:07:52,762 | split 113/113 | 200/ 773 batches | ms/batch 290.36 | loss 4.3306 | ppl 75.9880
|
| 94 |
+
2024-06-10 22:08:21,813 | split 113/113 | 300/ 773 batches | ms/batch 290.51 | loss 4.3406 | ppl 76.7523
|
| 95 |
+
2024-06-10 22:08:50,869 | split 113/113 | 400/ 773 batches | ms/batch 290.56 | loss 4.3063 | ppl 74.1655
|
| 96 |
+
2024-06-10 22:09:19,923 | split 113/113 | 500/ 773 batches | ms/batch 290.54 | loss 4.3354 | ppl 76.3573
|
| 97 |
+
2024-06-10 22:09:48,965 | split 113/113 | 600/ 773 batches | ms/batch 290.41 | loss 4.3417 | ppl 76.8392
|
| 98 |
+
2024-06-10 22:10:18,014 | split 113/113 | 700/ 773 batches | ms/batch 290.50 | loss 4.3299 | ppl 75.9367
|
| 99 |
+
2024-06-10 22:10:45,001 best loss so far 7.03638310
|
| 100 |
+
2024-06-10 22:10:46,537 ['ist ein Wildschlafen, der vom Schmelzwärmezug verbindet. Zimmer und Kondonien.
|
| 101 |
+
Der nächste Ausbau der Geländeulanzhaube in dem zweitältesten Zentrum liegt an seinem 2003 gegründete Mooshalle.
|
| 102 |
+
Das fertige große Jagdwasserkraftwerk befindet sich damit im benachbarten Astasper Ortsteil Zechbach nahe der Lenzeifel.
|
| 103 |
+
Er bildet ab dem 11. Juni 1999 eine Ortschaft ( bis 2009 Stollladen - Laufen ) in der Landschaft, liegt nur noch in Augen und Hetz.
|
| 104 |
+
Verkehr. Die Bahn', 'Kleinsecker. Verwandter. Löwenmann ( auch * Hans ), einer Person von Gottfried Meyer, unter.
|
| 105 |
+
Die Herkunft der 1810 verlorenen Familie, Ziegelei, Börsenbuch, Personen, Schriften, Jugendeinheit und die Öffentlichkeitsarbeit dienen dem Pfarrer in Knechtenmann dort.
|
| 106 |
+
Zur Genetion sind die übrigen Menschen weit verbreitet, in denen sich das Leben der " Admiralism " widmen.
|
| 107 |
+
Ein besonderes Verbreitungsgebiet erstreckt sich in grober Form : " Anthogrammam ist eine schlanker, gepflanzt etwa']
|
| 108 |
+
2024-06-10 22:10:46,537 -----------------------------------------------------------------------------------------
|
| 109 |
+
2024-06-10 22:10:46,538 | end of split 113 /113 | epoch 2 | time: 232.14s | valid loss 7.0906 | valid ppl 1200.6055 | learning rate 0.0781
|
| 110 |
+
2024-06-10 22:10:46,538 -----------------------------------------------------------------------------------------
|
| 111 |
+
2024-06-10 22:10:46,538 232 seconds for train split 113
|
| 112 |
+
2024-06-10 22:10:46,846 Epoch time: 26260.23
|
| 113 |
+
2024-06-10 22:10:52,959 TEST: valid loss 7.0908 | valid ppl 1200.8965
|
| 114 |
+
2024-06-10 22:10:52,959 -----------------------------------------------------------------------------------------
|
| 115 |
+
```
|
| 116 |
+
|
| 117 |
# Caveats
|
| 118 |
|
| 119 |
Notice: this model integration is heavily under development. And in the process of finding good hyper-parameters. Also downstream experiments are coming very soon.
|