unclemusclez commited on
Commit
0208f35
·
verified ·
1 Parent(s): 941538f

Update start.sh

Browse files
Files changed (1) hide show
  1. start.sh +5 -2
start.sh CHANGED
@@ -1,5 +1,8 @@
1
- cd llama.cpp
2
- LLAMA_CUDA=0 make -j llama-quantize llama-gguf-split llama-imatrix
 
 
 
3
 
4
  cd ..
5
  ollama serve & sleep 5
 
1
+ cd ollama
2
+ OLLAMA_CUSTOM_CPU_DEFS="-DGGML_AVX=on -DGGML_AVX2=on -DGGML_F16C=on -DGGML_FMA=on" go generate ./...
3
+
4
+ cd ../llama.cpp
5
+ LLAMA_CUDA=1 make -j llama-quantize llama-gguf-split llama-imatrix
6
 
7
  cd ..
8
  ollama serve & sleep 5