ModelFile for Ollama

#4
by Zizigolo - opened

سلام
من میخواستم ببینم اگه بخوام این مدل رو توی
Ollama
وارد کنم نیاز به یک
ModelFile
داره. آیا مدل فایل درنا با مدل فایل لاما3 8 یکسانه؟

Part DP AI org
سلام عزیز!

برای سرو کردن مدل با Ollama، باید مراحل زیر را طی کنید:

  1. با استفاده از llama.cpp، مدل را به فرمت GGUF تبدیل کنید. در صورت تمایل، می‌توانید انواع کوانتیزیشن را بر اساس نیازتان اعمال کنید.
  2. پس از تبدیل، ModelFile زیر را بسازید.
FROM /path/to/converted-model.gguf

TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>"""
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"

SYSTEM """You are a helpful assistant."""
3. با دو دستور زیر می‌توانید از مدل با Ollama استفاده کنید.
ollama create choose-a-model-name -f <location of the file e.g. ./Modelfile>
ollama run choose-a-model-name

برای توضیحات کامل سند را مطالعه کنید.

عالی ممنون

Zizigolo changed discussion status to closed
Zizigolo changed discussion status to open
MiladMola changed discussion status to closed

Sign up or log in to comment