양자화(llama.cpp) gguf 변환 관련 질문 드립니다
7.8B 모델에서 q4_k_m으로 gguf 변환 후 서빙엔 아무 문제가 없었지만
2.4B 모델에서 q4_k_m으로 gguf 변환 후 서빙엔
llama_model_load: error loading model: missing tensor 'output.weight'
에러와 같이 output.weight가 없다고 나옵니다.
혹시 이름이 변경되었는지 알고 싶습니다
감사합니다
안녕하세요, YoungDeuk님.
EXAONE 3.5 Technical Report 또는 EXONAE 3.5 모델 config.json을 보면 아시겠지만
2.4B 모델은 7.8B 모델과 달리 Tied Word Embedding (tie_word_embeddings=true)을 사용합니다.
따라서, 2.4B 모델 weight에는 output.weight가 존재하지 않습니다.
이점 유념하면서 변환을 수행하면 될 것 같습니다.
감사합니다.
아 "tie_word_embeddings": true, 설정을 확인 못했었네요.
transformer.wte.weight 를 output.weight로 변경복사 해주면 되겠군요.
많은 도움이 되었습니다
빠른 답변 정말 감사드립니다!
@YoungDeuk
님,
저도 동일한 에러로 인해 변환을 하지 못하고 있어 이곳 저곳 찾아보다가
마지막에 코멘트하신 내용을 보게되었습니다.
제가 아직 초보라서, 어떻게 하면 "transformer.wte.weight 를 output.weight로 변경복사"가 가능한지 설명 가능하실런지요?
바쁘시겠지만, 멘트 보시면 답변 부탁 드립니다 (--)(__)
안녕하세요, taesunglee님.
아래 페이지의 내용을 참고하시기 바랍니다.
https://github.com/ggml-org/llama.cpp/issues/11345
감사합니다.
빠른 답변 감사합니다.
