dahara1 commited on
Commit
ac7c072
·
verified ·
1 Parent(s): 896a3bd

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +5 -5
README.md CHANGED
@@ -44,8 +44,8 @@ Bartowski model
44
  [Bartowski](https://huggingface.co/bartowski) は、多くのモデルを量子化し、コミュニティに貢献している人物です。彼は、英語のみのデータ [calibration_datav3.txt](https://gist.github.com/bartowski1182/eb213dccb3571f863da82e99418f81e8) から imatrix を作成し、それを使ってモデルを量子化しています。
45
 
46
  Imatrix-jpn-test model
47
- This model. It was quantized using an [imatrix](https://huggingface.co/dahara1/imatrix-jpn-test/blob/main/imatrix.dat) created by adding nearly four times as much Japanese data to calibration_datav3.txt([calibration_datav3_plus_jpn_v1.txt](https://huggingface.co/dahara1/imatrix-jpn-test/blob/main/calibration_datav3_plus_jpn_v1.txt)).
48
- このモデル。calibration_datav3.txtに約4倍の日本語データを追加して作成された[calibration_datav3_plus_jpn_v1.txt](https://huggingface.co/dahara1/imatrix-jpn-test/blob/main/calibration_datav3_plus_jpn_v1.txt)を使って作成された[imatrix](https://huggingface.co/dahara1/imatrix-jpn-test/blob/main/imatrix.dat)を使用して量子化されました。
49
 
50
  No imatrix model
51
  This is a model quantized without using imatrix.
@@ -55,19 +55,19 @@ quantizations variation M(5.76 GB)
55
  This is the standard Q4_K_M model.
56
  通常のQ4_K_Mモデルです
57
  Example:
58
- ```llama-quantize gemma-2-9B-it-BF16.gguf gemma-2-9b-it-Q4_K_M.gguf Q4_k_m```
59
 
60
  quantizations variation fp16(6.84 GB)
61
  Quantization method for making output and embed tensors fp16, invented by [ZeroWw](https://huggingface.co/RobertSinclair).
62
  [ZeroWw](https://huggingface.co/RobertSinclair)が考案したoutputとembed tensorsをfp16にする量子化手法です
63
  Example:
64
- ```llama-quantize --allow-requantize --output-tensor-type f16 --token-embedding-type f16 --imatrix imatrix.dat gemma-2-9B-it-BF16.gguf gemma-2-9b-it-Q4_K_M-fp16.gguf Q4_k_m```
65
 
66
  quantizations variation L(5.98 GB)
67
  A method often used by Bartowski for his own models, where fp16 is set to q8_0.
68
  bartowskiが自モデルに良く使用している手法で、fp16をq8_0にした量子化手法です
69
  Example:
70
- ```llama-quantize --allow-requantize --output-tensor-type q8_0 --token-embedding-type q8_0 --imatrix imatrix.dat gemma-2-9B-it-BF16.gguf gemma-2-9b-it-Q4_K_L.gguf Q4_k_m```
71
 
72
  ### Notes
73
 
 
44
  [Bartowski](https://huggingface.co/bartowski) は、多くのモデルを量子化し、コミュニティに貢献している人物です。彼は、英語のみのデータ [calibration_datav3.txt](https://gist.github.com/bartowski1182/eb213dccb3571f863da82e99418f81e8) から imatrix を作成し、それを使ってモデルを量子化しています。
45
 
46
  Imatrix-jpn-test model
47
+ This model. It was quantized using an [imatrix](https://huggingface.co/dahara1/imatrix-jpn-test/blob/main/imatrix.dat) created by adding nearly four times as much Japanese data to calibration_datav3.txt([calibration_datav3_plus_jpn_v1.txt](https://huggingface.co/dahara1/imatrix-jpn-test/blob/main/calibration_datav3_plus_jpn_v1.txt)).
48
+ このモデル。calibration_datav3.txtに約4倍の日本語データを追加して作成された[calibration_datav3_plus_jpn_v1.txt](https://huggingface.co/dahara1/imatrix-jpn-test/blob/main/calibration_datav3_plus_jpn_v1.txt)を使って作成された[imatrix](https://huggingface.co/dahara1/imatrix-jpn-test/blob/main/imatrix.dat)を使用して量子化されました。
49
 
50
  No imatrix model
51
  This is a model quantized without using imatrix.
 
55
  This is the standard Q4_K_M model.
56
  通常のQ4_K_Mモデルです
57
  Example:
58
+ ```llama-quantize gemma-2-9B-it-BF16.gguf gemma-2-9b-it-Q4_K_M.gguf Q4_k_m```
59
 
60
  quantizations variation fp16(6.84 GB)
61
  Quantization method for making output and embed tensors fp16, invented by [ZeroWw](https://huggingface.co/RobertSinclair).
62
  [ZeroWw](https://huggingface.co/RobertSinclair)が考案したoutputとembed tensorsをfp16にする量子化手法です
63
  Example:
64
+ ```llama-quantize --allow-requantize --output-tensor-type f16 --token-embedding-type f16 --imatrix imatrix.dat gemma-2-9B-it-BF16.gguf gemma-2-9b-it-Q4_K_M-fp16.gguf Q4_k_m```
65
 
66
  quantizations variation L(5.98 GB)
67
  A method often used by Bartowski for his own models, where fp16 is set to q8_0.
68
  bartowskiが自モデルに良く使用している手法で、fp16をq8_0にした量子化手法です
69
  Example:
70
+ ```llama-quantize --allow-requantize --output-tensor-type q8_0 --token-embedding-type q8_0 --imatrix imatrix.dat gemma-2-9B-it-BF16.gguf gemma-2-9b-it-Q4_K_L.gguf Q4_k_m```
71
 
72
  ### Notes
73