Update README.md
Browse files
README.md
CHANGED
@@ -6,10 +6,14 @@ tags:
|
|
6 |
- gpt-neox
|
7 |
---
|
8 |
# cyberagent-open-calm-3b-gguf
|
9 |
-
[cyberagentさんが公開しているopen-calm-3b](https://huggingface.co/cyberagent/open-calm-3b)のggufフォーマット変換版です。
|
10 |
|
11 |
-
|
12 |
-
|
|
|
|
|
|
|
|
|
13 |
|
14 |
## Usage (試用)
|
15 |
|
@@ -17,5 +21,11 @@ llama.cppのexamplesで動かせます。
|
|
17 |
git clone --branch mmnga-dev https://github.com/mmnga/llama.cpp.git
|
18 |
cd llama.cpp
|
19 |
make -j
|
20 |
-
./
|
21 |
-
```
|
|
|
|
|
|
|
|
|
|
|
|
|
|
6 |
- gpt-neox
|
7 |
---
|
8 |
# cyberagent-open-calm-3b-gguf
|
9 |
+
[cyberagentさんが公開しているopen-calm-3b](https://huggingface.co/cyberagent/open-calm-3b)のggufフォーマット変換版です。
|
10 |
|
11 |
+
他モデルはこちら
|
12 |
+
[mmnga/cyberagent-open-calm-7b-gguf](https://huggingface.co/mmnga/cyberagent-open-calm-7b-gguf)
|
13 |
+
[mmnga/cyberagent-open-calm-3b-gguf](https://huggingface.co/mmnga/cyberagent-open-calm-3b-gguf)
|
14 |
+
[mmnga/cyberagent-open-calm-1b-gguf](https://huggingface.co/mmnga/cyberagent-open-calm-1b-gguf)
|
15 |
+
|
16 |
+
注意:こちらはブランチで試用になります。llama.cpp本家にgptneoxが実装された時に、このggufファイルが使用できない可能性があります。
|
17 |
|
18 |
## Usage (試用)
|
19 |
|
|
|
21 |
git clone --branch mmnga-dev https://github.com/mmnga/llama.cpp.git
|
22 |
cd llama.cpp
|
23 |
make -j
|
24 |
+
./main -m 'cyberagent-open-calm-3b-q4_0.gguf' -n 128 -p '吾輩は猫である。名前は実を言うと、' --top_p 0.9 --temp 0.7 --repeat-penalty 1.1
|
25 |
+
```
|
26 |
+
|
27 |
+
**CUBLAS**
|
28 |
+
```
|
29 |
+
LLAMA_CUBLAS=1 make -j
|
30 |
+
./main -m 'cyberagent-open-calm-3b-q4_0.gguf' -n 128 -p '吾輩は猫である。名前は実を言うと、' -ngl 32
|
31 |
+
```
|