فایل مدل در قالب gguf

#2
by MR-Os - opened

می تونید مدل فایل رو در قالب gguf بزارین ؟

سلام
از تلاشهای شما برای آماده سازی این مدل ارزشمند برای فارسی زبانان بسیار سپاسگزارم
در صورت امکان لطفاً این مدل را به شکل
gguf
هم قرار دهید

از gguf my repo میتونین استفاده کنید و خودتون مدلهارو کوانتیزه کنید
https://huggingface.co/AlirezaF138/Dorna-Llama3-8B-Instruct-GGUF
https://huggingface.co/QuantFactory/Dorna-Llama3-8B-Instruct-GGUF

نسخه کوانتایز شده مدل رو در قالب safetensor و بدون درگیری‌های GGUF میتونین از این جا دانلود کنین:

amirMohammadi/Dorna-Llama3-8B-Instruct-Quantized4Bit

Part DP AI org

سلام
از تلاشهای شما برای آماده سازی این مدل ارزشمند برای فارسی زبانان بسیار سپاسگزارم
در صورت امکان لطفاً این مدل را به شکل
gguf
هم قرار دهید

سلام!

با توجه به درخواست‌ها، فرمت های gguf در ریپازیتوری زیر قابل استفاده است.

https://huggingface.co/PartAI/Dorna-Llama3-8B-Instruct-GGUF

MiladMola changed discussion status to closed

Sign up or log in to comment