Upload README.md

README.md

@@ -0,0 +1,24 @@
+---
+language:
+- ja
+tags:
+- mistral
+- mixtral
+- not-for-all-audiences
+- nsfw
+pipeline_tag: text-generation
+---
+
+# chatntq_chatvector-MoE-Antler_chatvector-2x7B-GGUF
+
+[Sdff-Ltba/chatntq_chatvector-MoE-Antler_chatvector-2x7B](https://huggingface.co/Sdff-Ltba/chatntq_chatvector-MoE-Antler_chatvector-2x7B)をGGUF変換したものです。
+iMatrixを併用して量子化しています。
+
+## 量子化手順
+
+以下の通りに実行しました。
+```
+python ./llama.cpp/convert.py ./chatntq_chatvector-MoE-Antler_chatvector-2x7B --outtype f16 --outfile ./gguf-model_f16.gguf
+./llama.cpp/imatrix -m ./gguf-model_f16.gguf -f ./wiki.train.raw -o ./gguf-model_f16.imatrix --chunks 32
+./llama.cpp/quantize --imatrix ./gguf-model_f16.imatrix ./gguf-model_f16.gguf ./chatntq_chatvector-MoE-Antler_chatvector-2x7B_iq3xxs.gguf iq3_xxs
+```