ما ينفعش تعمل موديل للشات اصغر
#2
by
egyptian
- opened
انا شغال على موضوع اني اشغله على الموبايل عن طريق koboldcpp
فبيتحاج مساحة ااقل
لكن دقة شات اكبر لوينفع تعمل الموضوع دا
@egyptian
تقدر تجرب مودلات الي مفاينتونيا من
Phi2(2.8B params) / Gemma-2B(2.5B params)
اما مودل هدا 7ب برمتر اقصى حد تقدر تصغرو ليه
2bit
تقدر تجرب نسخة
exl2 3.0bpw ولا HQQ 2Bit
اذا لقيتهم
المشكلة انهم بيطلعوا غلطات كتير في الشات وبيبقى الاستجابة غير المطلوب
فانت لو تعرف تدرب موديل اصغر اكون شاكر ليك