Sdff-Ltba commited on
Commit
4aa91b5
1 Parent(s): b5f53cc

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +5 -2
README.md CHANGED
@@ -18,13 +18,14 @@ pipeline_tag: text-generation
18
 
19
  [Sdff-Ltba/LightChatAssistant-TypeB-2x7B](https://huggingface.co/Sdff-Ltba/LightChatAssistant-TypeB-2x7B)をGGUF変換したものです。
20
  ファイル名に`_imatrix`が付いているものはiMatrixを併用して量子化しています。
 
21
 
22
  ## 量子化手順
23
 
24
  以下の通りに実行しました。(iMatrixを併用してiQ4XSにする場合)
25
  ```
26
  python ./llama.cpp/convert.py ./LightChatAssistant-TypeB-2x7B --outtype f16 --outfile ./gguf-model_f16.gguf
27
- ./llama.cpp/imatrix -m ./gguf-model_f16.gguf -f ./wiki.train.raw -o ./gguf-model.imatrix --chunks 32
28
  ./llama.cpp/quantize --imatrix ./gguf-model.imatrix ./gguf-model_f16.gguf ./LightChatAssistant-TypeB-2x7B_iq4xs.gguf iq4_xs
29
  ```
30
 
@@ -37,7 +38,9 @@ python ./llama.cpp/convert.py ./LightChatAssistant-TypeB-2x7B --outtype f16 --ou
37
  #### 参考
38
 
39
  - [llama.cpp:複雑化する量子化バリエーションの整理(2024.02現在) - ローカルLLM自由帳](https://sc-bakushu.hatenablog.com/entry/2024/02/26/062547)
40
- 「追記:KL-divergence による量子化評価」を参考にさせていただきました
 
 
41
 
42
  ## 環境
43
 
 
18
 
19
  [Sdff-Ltba/LightChatAssistant-TypeB-2x7B](https://huggingface.co/Sdff-Ltba/LightChatAssistant-TypeB-2x7B)をGGUF変換したものです。
20
  ファイル名に`_imatrix`が付いているものはiMatrixを併用して量子化しています。
21
+ iMatrix作成用データとして、[TFMC/imatrix-dataset-for-japanese-llm](https://huggingface.co/datasets/TFMC/imatrix-dataset-for-japanese-llm)を使わせていただきました。
22
 
23
  ## 量子化手順
24
 
25
  以下の通りに実行しました。(iMatrixを併用してiQ4XSにする場合)
26
  ```
27
  python ./llama.cpp/convert.py ./LightChatAssistant-TypeB-2x7B --outtype f16 --outfile ./gguf-model_f16.gguf
28
+ ./llama.cpp/imatrix -m ./gguf-model_f16.gguf -f ./c4_en_ja_imatrix.txt -o ./gguf-model.imatrix --chunks 32
29
  ./llama.cpp/quantize --imatrix ./gguf-model.imatrix ./gguf-model_f16.gguf ./LightChatAssistant-TypeB-2x7B_iq4xs.gguf iq4_xs
30
  ```
31
 
 
38
  #### 参考
39
 
40
  - [llama.cpp:複雑化する量子化バリエーションの整理(2024.02現在) - ローカルLLM自由帳](https://sc-bakushu.hatenablog.com/entry/2024/02/26/062547)
41
+ 「追記:KL-divergence による量子化評価」を参考にさせていただきました。
42
+ - [llama.cpp:iMatrix量子化は日本語性能にどう影響するか? - ローカルLLM自由帳](https://sc-bakushu.hatenablog.com/entry/2024/04/20/050213)
43
+ iMatrix作成に用いるデータを検証していらっしゃって、とても参考になります。また公開してくださった日英混合iMatrix用テキストを使用させていただきました。
44
 
45
  ## 環境
46