Mabbs

/

chinese-Alpaca-lora-7b-ggml

like 18

请问这个可以用类似from transformers import LlamaForCausalLM的方式启动嘛

我想应该不行，这个是给llama.cpp专用的模型文件，你那种方式应该得用转换前的文件使用吧

不过你如果只是想做个API，那这个模型可以使用这个项目：
https://github.com/oobabooga/text-generation-webui

感谢感谢！我多了解了解

请问这个可以直接用Koboldcpp调用吗？