Update README.md
Browse files
README.md
CHANGED
@@ -18,13 +18,14 @@ pipeline_tag: text-generation
|
|
18 |
|
19 |
[Sdff-Ltba/LightChatAssistant-TypeB-2x7B](https://huggingface.co/Sdff-Ltba/LightChatAssistant-TypeB-2x7B)をGGUF変換したものです。
|
20 |
ファイル名に`_imatrix`が付いているものはiMatrixを併用して量子化しています。
|
|
|
21 |
|
22 |
## 量子化手順
|
23 |
|
24 |
以下の通りに実行しました。(iMatrixを併用してiQ4XSにする場合)
|
25 |
```
|
26 |
python ./llama.cpp/convert.py ./LightChatAssistant-TypeB-2x7B --outtype f16 --outfile ./gguf-model_f16.gguf
|
27 |
-
./llama.cpp/imatrix -m ./gguf-model_f16.gguf -f ./
|
28 |
./llama.cpp/quantize --imatrix ./gguf-model.imatrix ./gguf-model_f16.gguf ./LightChatAssistant-TypeB-2x7B_iq4xs.gguf iq4_xs
|
29 |
```
|
30 |
|
@@ -37,7 +38,9 @@ python ./llama.cpp/convert.py ./LightChatAssistant-TypeB-2x7B --outtype f16 --ou
|
|
37 |
#### 参考
|
38 |
|
39 |
- [llama.cpp:複雑化する量子化バリエーションの整理(2024.02現在) - ローカルLLM自由帳](https://sc-bakushu.hatenablog.com/entry/2024/02/26/062547)
|
40 |
-
「追記:KL-divergence
|
|
|
|
|
41 |
|
42 |
## 環境
|
43 |
|
|
|
18 |
|
19 |
[Sdff-Ltba/LightChatAssistant-TypeB-2x7B](https://huggingface.co/Sdff-Ltba/LightChatAssistant-TypeB-2x7B)をGGUF変換したものです。
|
20 |
ファイル名に`_imatrix`が付いているものはiMatrixを併用して量子化しています。
|
21 |
+
iMatrix作成用データとして、[TFMC/imatrix-dataset-for-japanese-llm](https://huggingface.co/datasets/TFMC/imatrix-dataset-for-japanese-llm)を使わせていただきました。
|
22 |
|
23 |
## 量子化手順
|
24 |
|
25 |
以下の通りに実行しました。(iMatrixを併用してiQ4XSにする場合)
|
26 |
```
|
27 |
python ./llama.cpp/convert.py ./LightChatAssistant-TypeB-2x7B --outtype f16 --outfile ./gguf-model_f16.gguf
|
28 |
+
./llama.cpp/imatrix -m ./gguf-model_f16.gguf -f ./c4_en_ja_imatrix.txt -o ./gguf-model.imatrix --chunks 32
|
29 |
./llama.cpp/quantize --imatrix ./gguf-model.imatrix ./gguf-model_f16.gguf ./LightChatAssistant-TypeB-2x7B_iq4xs.gguf iq4_xs
|
30 |
```
|
31 |
|
|
|
38 |
#### 参考
|
39 |
|
40 |
- [llama.cpp:複雑化する量子化バリエーションの整理(2024.02現在) - ローカルLLM自由帳](https://sc-bakushu.hatenablog.com/entry/2024/02/26/062547)
|
41 |
+
「追記:KL-divergence による量子化評価」を参考にさせていただきました。
|
42 |
+
- [llama.cpp:iMatrix量子化は日本語性能にどう影響するか? - ローカルLLM自由帳](https://sc-bakushu.hatenablog.com/entry/2024/04/20/050213)
|
43 |
+
iMatrix作成に用いるデータを検証していらっしゃって、とても参考になります。また公開してくださった日英混合iMatrix用テキストを使用させていただきました。
|
44 |
|
45 |
## 環境
|
46 |
|