FROM ./geitje-7b-ultra-q5_k_m.gguf | |
TEMPLATE """{{- if .System }} | |
<|system|> | |
{{ .System }}</s> | |
{{ end }} | |
<|user|> | |
{{ .Prompt }}</s> | |
<|assistant|> | |
""" | |
PARAMETER num_ctx 8192 | |
PARAMETER stop "<|system|>" | |
PARAMETER stop "<|user|>" | |
PARAMETER stop "<|assistant|>" | |
PARAMETER stop "</s>" | |