keyfan

/

Qwen-72B-Chat-2bit

like 7

这个是在finetune代码加之前用单张a100量化的，最近修复了个finetune阶段会导致显存占用太多的bug，我重新跑qwen1.5 72b试一下

直接对qwen72B使用quip进行量化 ，需要几张卡。

我也遇到OOM了，目前代码有些问题，我建了个issue来track这个问题。目前的量化框架流程是从optimum gptq复制来的，这一块对于使用多卡不太友好，用多卡的话会需要一直加载所有权重在显存里，这一块也需要优化下。