如何fine turn?
#2
by
Aspirin
- opened
如题,如何微调这个模型呢?
看作者意思是chatGLM基础上裁剪的,其他和这个一样,微调应该也完全一样吧
是的,微调和其他ChatGLM微调实现一样
我刚才试了一下,裁剪后显存依然超过10G,并不是特别明显,还是我设置有问题?
这个修改只是减少了约13%的词表大小,没有特别特别明显的显存下降。但是因为是完全无损的,所以就相当于免费午餐。
如果想要更小显存的版本可以参考使用这个量化之后的版本
https://huggingface.co/silver/chatglm-6b-int4-slim
silver
changed discussion status to
closed