mmnga commited on
Commit
1453e15
1 Parent(s): d424cf7

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +15 -5
README.md CHANGED
@@ -6,10 +6,14 @@ tags:
6
  - gpt-neox
7
  ---
8
  # cyberagent-open-calm-3b-gguf
9
- [cyberagentさんが公開しているopen-calm-3b](https://huggingface.co/cyberagent/open-calm-3b)のggufフォーマット変換版です。
10
 
11
- llama.cppのexamplesで動かせます。
12
- *llama.cpp本家は開発速度が早くgptneoxのコンパイルが通らなくなる事もありますので、clone先をブランチに変更しました。*
 
 
 
 
13
 
14
  ## Usage (試用)
15
 
@@ -17,5 +21,11 @@ llama.cppのexamplesで動かせます。
17
  git clone --branch mmnga-dev https://github.com/mmnga/llama.cpp.git
18
  cd llama.cpp
19
  make -j
20
- ./gptneox -m 'cyberagent-open-calm-3b-q4_0.gguf' -n 128 -t 8 -p '吾輩は猫である。名前は実を言うと、'
21
- ```
 
 
 
 
 
 
 
6
  - gpt-neox
7
  ---
8
  # cyberagent-open-calm-3b-gguf
9
+ [cyberagentさんが公開しているopen-calm-3b](https://huggingface.co/cyberagent/open-calm-3b)のggufフォーマット変換版です。
10
 
11
+ 他モデルはこちら
12
+ [mmnga/cyberagent-open-calm-7b-gguf](https://huggingface.co/mmnga/cyberagent-open-calm-7b-gguf)
13
+ [mmnga/cyberagent-open-calm-3b-gguf](https://huggingface.co/mmnga/cyberagent-open-calm-3b-gguf)
14
+ [mmnga/cyberagent-open-calm-1b-gguf](https://huggingface.co/mmnga/cyberagent-open-calm-1b-gguf)
15
+
16
+ 注意:こちらはブランチで試用になります。llama.cpp本家にgptneoxが実装された時に、このggufファイルが使用できない可能性があります。
17
 
18
  ## Usage (試用)
19
 
 
21
  git clone --branch mmnga-dev https://github.com/mmnga/llama.cpp.git
22
  cd llama.cpp
23
  make -j
24
+ ./main -m 'cyberagent-open-calm-3b-q4_0.gguf' -n 128 -p '吾輩は猫である。名前は実を言うと、' --top_p 0.9 --temp 0.7 --repeat-penalty 1.1
25
+ ```
26
+
27
+ **CUBLAS**
28
+ ```
29
+ LLAMA_CUBLAS=1 make -j
30
+ ./main -m 'cyberagent-open-calm-3b-q4_0.gguf' -n 128 -p '吾輩は猫である。名前は実を言うと、' -ngl 32
31
+ ```