Update README.md
Browse files
README.md
CHANGED
@@ -44,8 +44,8 @@ Bartowski model
|
|
44 |
[Bartowski](https://huggingface.co/bartowski) は、多くのモデルを量子化し、コミュニティに貢献している人物です。彼は、英語のみのデータ [calibration_datav3.txt](https://gist.github.com/bartowski1182/eb213dccb3571f863da82e99418f81e8) から imatrix を作成し、それを使ってモデルを量子化しています。
|
45 |
|
46 |
Imatrix-jpn-test model
|
47 |
-
This model. It was quantized using an [imatrix](https://huggingface.co/dahara1/imatrix-jpn-test/blob/main/imatrix.dat) created by adding nearly four times as much Japanese data to calibration_datav3.txt([calibration_datav3_plus_jpn_v1.txt](https://huggingface.co/dahara1/imatrix-jpn-test/blob/main/calibration_datav3_plus_jpn_v1.txt)).
|
48 |
-
このモデル。calibration_datav3.txtに約4倍の日本語データを追加して作成された[calibration_datav3_plus_jpn_v1.txt](https://huggingface.co/dahara1/imatrix-jpn-test/blob/main/calibration_datav3_plus_jpn_v1.txt)を使って作成された[imatrix](https://huggingface.co/dahara1/imatrix-jpn-test/blob/main/imatrix.dat)を使用して量子化されました。
|
49 |
|
50 |
No imatrix model
|
51 |
This is a model quantized without using imatrix.
|
@@ -55,19 +55,19 @@ quantizations variation M(5.76 GB)
|
|
55 |
This is the standard Q4_K_M model.
|
56 |
通常のQ4_K_Mモデルです
|
57 |
Example:
|
58 |
-
```llama-quantize gemma-2-9B-it-BF16.gguf gemma-2-9b-it-Q4_K_M.gguf Q4_k_m```
|
59 |
|
60 |
quantizations variation fp16(6.84 GB)
|
61 |
Quantization method for making output and embed tensors fp16, invented by [ZeroWw](https://huggingface.co/RobertSinclair).
|
62 |
[ZeroWw](https://huggingface.co/RobertSinclair)が考案したoutputとembed tensorsをfp16にする量子化手法です
|
63 |
Example:
|
64 |
-
```llama-quantize --allow-requantize --output-tensor-type f16 --token-embedding-type f16 --imatrix imatrix.dat gemma-2-9B-it-BF16.gguf gemma-2-9b-it-Q4_K_M-fp16.gguf Q4_k_m```
|
65 |
|
66 |
quantizations variation L(5.98 GB)
|
67 |
A method often used by Bartowski for his own models, where fp16 is set to q8_0.
|
68 |
bartowskiが自モデルに良く使用している手法で、fp16をq8_0にした量子化手法です
|
69 |
Example:
|
70 |
-
```llama-quantize --allow-requantize --output-tensor-type q8_0 --token-embedding-type q8_0 --imatrix imatrix.dat gemma-2-9B-it-BF16.gguf gemma-2-9b-it-Q4_K_L.gguf Q4_k_m```
|
71 |
|
72 |
### Notes
|
73 |
|
|
|
44 |
[Bartowski](https://huggingface.co/bartowski) は、多くのモデルを量子化し、コミュニティに貢献している人物です。彼は、英語のみのデータ [calibration_datav3.txt](https://gist.github.com/bartowski1182/eb213dccb3571f863da82e99418f81e8) から imatrix を作成し、それを使ってモデルを量子化しています。
|
45 |
|
46 |
Imatrix-jpn-test model
|
47 |
+
This model. It was quantized using an [imatrix](https://huggingface.co/dahara1/imatrix-jpn-test/blob/main/imatrix.dat) created by adding nearly four times as much Japanese data to calibration_datav3.txt([calibration_datav3_plus_jpn_v1.txt](https://huggingface.co/dahara1/imatrix-jpn-test/blob/main/calibration_datav3_plus_jpn_v1.txt)).
|
48 |
+
このモデル。calibration_datav3.txtに約4倍の日本語データを追加して作成された[calibration_datav3_plus_jpn_v1.txt](https://huggingface.co/dahara1/imatrix-jpn-test/blob/main/calibration_datav3_plus_jpn_v1.txt)を使って作成された[imatrix](https://huggingface.co/dahara1/imatrix-jpn-test/blob/main/imatrix.dat)を使用して量子化されました。
|
49 |
|
50 |
No imatrix model
|
51 |
This is a model quantized without using imatrix.
|
|
|
55 |
This is the standard Q4_K_M model.
|
56 |
通常のQ4_K_Mモデルです
|
57 |
Example:
|
58 |
+
```llama-quantize gemma-2-9B-it-BF16.gguf gemma-2-9b-it-Q4_K_M.gguf Q4_k_m```
|
59 |
|
60 |
quantizations variation fp16(6.84 GB)
|
61 |
Quantization method for making output and embed tensors fp16, invented by [ZeroWw](https://huggingface.co/RobertSinclair).
|
62 |
[ZeroWw](https://huggingface.co/RobertSinclair)が考案したoutputとembed tensorsをfp16にする量子化手法です
|
63 |
Example:
|
64 |
+
```llama-quantize --allow-requantize --output-tensor-type f16 --token-embedding-type f16 --imatrix imatrix.dat gemma-2-9B-it-BF16.gguf gemma-2-9b-it-Q4_K_M-fp16.gguf Q4_k_m```
|
65 |
|
66 |
quantizations variation L(5.98 GB)
|
67 |
A method often used by Bartowski for his own models, where fp16 is set to q8_0.
|
68 |
bartowskiが自モデルに良く使用している手法で、fp16をq8_0にした量子化手法です
|
69 |
Example:
|
70 |
+
```llama-quantize --allow-requantize --output-tensor-type q8_0 --token-embedding-type q8_0 --imatrix imatrix.dat gemma-2-9B-it-BF16.gguf gemma-2-9b-it-Q4_K_L.gguf Q4_k_m```
|
71 |
|
72 |
### Notes
|
73 |
|