Ollama를 통한 테스트시 사용할 Modelfile 설정을 알수 있을까요 ?
#1
by
irelander
- opened
안녕하세요, 좋은 모델 공유해주셔서 감사합니다.
Ollama를 통해 Modelfile 설정 후 테스트를 해보았는데 답변이 무한 루프되거나, 정상적으로 질의를 인식하지 못하는 문제가 발생하고 있습니다.
제가 사용중인 모델파일 설정은 아래와 같습니다.
FROM ./llama-3-Korean-Bllossom-70B-gguf-Q4_K_M.gguf
TEMPLATE "{{ if .System }}<|start_header_id|>system<|end_header_id|>
{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>
{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>
{{ .Response }}<|eot_id|>"
PARAMETER num_keep 24
PARAMETER stop <|start_header_id|>
PARAMETER stop <|end_header_id|>
PARAMETER stop <|eot_id|>
위처럼 설정하고 쓰고 있는데 혹시 첨삭해주시거나 추천해주실 Modelfile 설정이 있다면 조언부탁드립니다 !
modelfile 설정 부분에 대해서 공유가 가능하시면 저도 부탁드립니다...