Update README.md
Browse files
README.md
CHANGED
|
@@ -91,6 +91,28 @@ inputs = tokenizer.apply_chat_template(
|
|
| 91 |
* Узнать время восхода и заката солнца для заданного города.
|
| 92 |
```
|
| 93 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 94 |
## Подробности генерации с вызовом функций
|
| 95 |
|
| 96 |
С более подробной информацией можно ознакомиться в основной [Model Card](https://huggingface.co/DiTy/gemma-2-9b-it-russian-function-calling-GGUF)
|
|
|
|
| 91 |
* Узнать время восхода и заката солнца для заданного города.
|
| 92 |
```
|
| 93 |
|
| 94 |
+
## Рекомендация к стратегии генерации
|
| 95 |
+
|
| 96 |
+
По умолчанию модель использует жадный поиск вместе с данным конфигом:
|
| 97 |
+
```
|
| 98 |
+
GenerationConfig {
|
| 99 |
+
"bos_token_id": 2,
|
| 100 |
+
"cache_implementation": "hybrid",
|
| 101 |
+
"eos_token_id": 1,
|
| 102 |
+
"pad_token_id": 0
|
| 103 |
+
}
|
| 104 |
+
```
|
| 105 |
+
|
| 106 |
+
Для наиболее стабильной работы рекомендуется следующая стратегия генерации:
|
| 107 |
+
|
| 108 |
+
| Key | Value |
|
| 109 |
+
| --- | ----- |
|
| 110 |
+
| `do_sample` | True |
|
| 111 |
+
| `temperature` | 0.2 |
|
| 112 |
+
| `top_k` | 40 |
|
| 113 |
+
| `top_p` | 0.95 |
|
| 114 |
+
| `min_p` | 0.5 |
|
| 115 |
+
|
| 116 |
## Подробности генерации с вызовом функций
|
| 117 |
|
| 118 |
С более подробной информацией можно ознакомиться в основной [Model Card](https://huggingface.co/DiTy/gemma-2-9b-it-russian-function-calling-GGUF)
|