ModelFile for Ollama
#4
by
Zizigolo
- opened
سلام
من میخواستم ببینم اگه بخوام این مدل رو توی
Ollama
وارد کنم نیاز به یک
ModelFile
داره. آیا مدل فایل درنا با مدل فایل لاما3 8 یکسانه؟
سلام عزیز!
برای سرو کردن مدل با Ollama، باید مراحل زیر را طی کنید:
- با استفاده از llama.cpp، مدل را به فرمت GGUF تبدیل کنید. در صورت تمایل، میتوانید انواع کوانتیزیشن را بر اساس نیازتان اعمال کنید.
- پس از تبدیل، ModelFile زیر را بسازید.
FROM /path/to/converted-model.gguf
TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>
{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>
{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>
{{ .Response }}<|eot_id|>"""
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"
SYSTEM """You are a helpful assistant."""
3. با دو دستور زیر میتوانید از مدل با Ollama استفاده کنید.
ollama create choose-a-model-name -f <location of the file e.g. ./Modelfile>
ollama run choose-a-model-name
برای توضیحات کامل سند را مطالعه کنید.
عالی ممنون
Zizigolo
changed discussion status to
closed
Zizigolo
changed discussion status to
open
MiladMola
changed discussion status to
closed