peft微调不兼容

#7
by JaheimLee - opened

ChatGLMModel类中没有像V1版本一样实现get_input_embeddings方法,在peft的prepare_model_for_int8_training中运行enable_input_require_grads会出现NotImplementedError. 加入

def get_input_embeddings(self):
    return self.embedding.word_embeddings

可以修复此问题。

Knowledge Engineering Group (KEG) & Data Mining at Tsinghua University org

已添加

zxdu20 changed discussion status to closed

Sign up or log in to comment