t-tech

/

T-pro-it-1.0

like 79

Follow

T-Tech 233

Планируется ли добавление Квантизаций на основе более быстрых методов AWQ/GPTQ поддерживаемых VLLM ? GGUF к сожалению формат дает значительно более низкие показатели скорости и так понимаю imatrix не использовались для лучшего сохранения качества ?