¿Será posible proporcionar los modelos en formato GGUF?
#1
by
polysound
- opened
Para usuarios que ejecutan modelos de lenguaje en software como llama.cpp (y otras que usan la librería como kobold.cpp), sería muy útil añadir los modelos en formato GGUF, opcionalmente proporcionar versiones cuantizadas a 4, 5, 6 y 8-bits (Qx_K_M) mediante quantize.exe de llama.cpp.
Estoy muy interesado en personas que hacen fine-tunes de modelos de lenguaje para tener una mejor coherencia en el español.
¡Gracias!
Si, estoy de acuerdo. Dejame que lo mire, no parece complicado conforme a las instrucciones:
https://github.com/ggerganov/llama.cpp/discussions/2948
Estoy trabajando en otro modelo en español mejor basado en udkai/Turdus. Es una pena que tengamos tan pocos modelos LLMs buenos en español.
ecastera
changed discussion status to
closed