Update README.md
Browse files
README.md
CHANGED
@@ -1,3 +1,19 @@
|
|
1 |
---
|
2 |
license: cc-by-nc-4.0
|
|
|
|
|
|
|
3 |
---
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
---
|
2 |
license: cc-by-nc-4.0
|
3 |
+
language:
|
4 |
+
- en
|
5 |
+
- ja
|
6 |
---
|
7 |
+
# c4ai-command-r-plus-gguf
|
8 |
+
[CohereForAIさんが公開しているc4ai-command-r-plus](https://huggingface.co/CohereForAI/c4ai-command-r-plus)のggufフォーマット変換版です。
|
9 |
+
|
10 |
+
imatrixのデータは[TFMC/imatrix-dataset-for-japanese-llm](https://huggingface.co/datasets/TFMC/imatrix-dataset-for-japanese-llm)を使用して作成しました。
|
11 |
+
|
12 |
+
## Usage
|
13 |
+
|
14 |
+
```
|
15 |
+
git clone https://github.com/ggerganov/llama.cpp.git
|
16 |
+
cd llama.cpp
|
17 |
+
make -j
|
18 |
+
./main -m 'c4ai-command-r-plus-Q4_0.gguf' -p "<|START_OF_TURN_TOKEN|><|SYSTEM_TOKEN|>あなたは日本語を話すCommand-Rです<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|USER_TOKEN|>こんにちわ<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|>" -n 128
|
19 |
+
```
|