Update README.md
Browse files
README.md
CHANGED
@@ -19,6 +19,17 @@ Colab: [link](https://colab.research.google.com/drive/18GG-zwxyGAHoVXghlOQONkxb_
|
|
19 |
|
20 |
Training code: [link](https://github.com/IlyaGusev/rulm/tree/master/self_instruct)
|
21 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
22 |
```python
|
23 |
from peft import PeftModel, PeftConfig
|
24 |
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig
|
@@ -50,8 +61,4 @@ Examples:
|
|
50 |
"Здравствуйте, матушка", - сказала Таня. "Как вы знаете, где мой мяч?"
|
51 |
"Я знаю", - ответила старая женщина. "Я видел, как он упал в воду, и я смог его вытащить. Я думаю, что он теперь готов к игре".
|
52 |
Таня была счастлива, что ее любимой игрушеке удалось спастись
|
53 |
-
```
|
54 |
-
|
55 |
-
* Final loss: 1.074
|
56 |
-
* Time: 53 hours, 53 minutes
|
57 |
-
* Hardware: 1x RTX 3090
|
|
|
19 |
|
20 |
Training code: [link](https://github.com/IlyaGusev/rulm/tree/master/self_instruct)
|
21 |
|
22 |
+
Versions:
|
23 |
+
- v2, April 8, 2023: A model trained with outputs capped at 800 tokens instead of 400. `revision="3dff86a20f80ba203fec6e986a3422b83822ca70"`
|
24 |
+
- Final loss: 0.995
|
25 |
+
- Time: 38 hours, 35 minutes
|
26 |
+
- Hardware: 1x RTX 3090Ti
|
27 |
+
- Wandb link: [link](https://wandb.ai/ilyagusev/rulm_self_instruct/runs/wy66bwim/overview?workspace=user-ilyagusev)
|
28 |
+
- v1, April 2, 2023: Original model trained with 400 max tokens in outputs. Both Russian and English are supported, trained on the ru_turbo_alpaca and alpaca-cleaned. `revision="97209c36c9261eb9527371a341c70f90c39ee158"`
|
29 |
+
- Final loss: 1.074
|
30 |
+
- Time: 53 hours, 53 minutes
|
31 |
+
- Hardware: 1x RTX 3090
|
32 |
+
|
33 |
```python
|
34 |
from peft import PeftModel, PeftConfig
|
35 |
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig
|
|
|
61 |
"Здравствуйте, матушка", - сказала Таня. "Как вы знаете, где мой мяч?"
|
62 |
"Я знаю", - ответила старая женщина. "Я видел, как он упал в воду, и я смог его вытащить. Я думаю, что он теперь готов к игре".
|
63 |
Таня была счастлива, что ее любимой игрушеке удалось спастись
|
64 |
+
```
|
|
|
|
|
|
|
|