Koboldcpp-KobbleTiny

Running

Henk717 commited on Mar 20

Commit

d5337a6

•

1 Parent(s): 2c0eedc

IMG / MMPROJ Support

Files changed (1) hide show

Dockerfile CHANGED Viewed

@@ -9,5 +9,7 @@ WORKDIR /opt/koboldcpp
 COPY default.json /opt/koboldcpp/default.json
 RUN make LLAMA_OPENBLAS=1 LLAMA_CUBLAS=1 LLAMA_PORTABLE=1
 RUN wget -O model.ggml $MODEL
-CMD /bin/python3 ./koboldcpp.py --model model.ggml $ADDITIONAL --port 7860 --hordeconfig $MODEL_NAME 1 1 --preloadstory default.json

 COPY default.json /opt/koboldcpp/default.json
 RUN make LLAMA_OPENBLAS=1 LLAMA_CUBLAS=1 LLAMA_PORTABLE=1
 RUN wget -O model.ggml $MODEL
+RUN wget -O imgmodel.ggml $IMGMODEL
+RUN wget -O mmproj.ggml $MMPROJ
+CMD /bin/python3 ./koboldcpp.py --model model.ggml --sdconfig imgmodel.ggml --mmproj mmproj.ggml $ADDITIONAL --port 7860 --hordeconfig $MODEL_NAME 1 1 --preloadstory default.json --ignoremissing