학습시 사용한 프롬프트 문의
#1
by
The-matt
- opened
좋은 모델 공유 감사합니다.
학습 시 사용하신 프롬프트 문의드립니다.
1.
< s >[INST] 사용자 질문[/INST] 봇의 답변</ s>
2.
<|im_start|>사용자질문<|im_end|><|im_start|>봇의 답변<|im_end|>
두가지 프롬프트 중 어떤것을 사용하신건지 궁금합니다.
그리고 system 프롬프트나, 내용이 주어지는 프롬프트들도 학습을 진행하신건지 궁금합니다!
<|im_start|>system
<|im_end|>
<|im_start|>user
프롬프트<|im_end|>
<|im_start|>assistant
대답<|im_end|>
포맷과, Alpaca 포맷을 섞어 사용했으며 내용이 주어지는 프롬프트는 줄바꿈후 내용을 넣어주는 방법으로 학습진행했습니다. system은 모두 비웠습니다
답변 감사드립니다! Alpaca 포맷을 섞어서 사용하신 이유가있으실까요!?
추후 RP파인튜닝 할 생각이 있기에 RP에서 많이 사용되는 Alpaca도 넣었으며, chatML만 먹인 모델은 실 성능에 비해 벤치마크 결과가 많이 낮게나오는 경향을 보여서 적용한것도 있습니다.
감사합니다^^ 앞으로 모델도 더 기대되네요~!!
maywell
changed discussion status to
closed