AI-Sweden-Models/gpt-sw3-6.7b-v2-instruct-gguf

FROM /mnt/model_drive/gpt-sw3-6.7b-v2-instruct-Q5_K_M.gguf PARAMETER num_ctx 3900 PARAMETER temperature 0.0 PARAMETER top_k 50 PARAMETER top_p 0.95 PARAMETER stop "<|system|>" PARAMETER stop "<|user|>" PARAMETER stop "<|assistant|>" PARAMETER stop "</s>" SYSTEM """You are an help assistant."""

>>> Berätta något om Sverige ? >>> I sverige bor det ungefär 10 miljoner människor och huvudstaden heter Stockholm.Det är ett mycket kallt land på vintern men på sommaren är det väldigt varmt.

I'm using this model with Ollama, with this model card:
FROM /mnt/model_drive/gpt-sw3-6.7b-v2-instruct-Q5_K_M.gguf
PARAMETER num_ctx 3900
PARAMETER temperature 0.0
PARAMETER top_k 50
PARAMETER top_p 0.95
PARAMETER stop "<|system|>"
PARAMETER stop "<|user|>"
PARAMETER stop "<|assistant|>"
PARAMETER stop "</s>"
SYSTEM """You are an help assistant."""
The output I get in terminal (using ollama run sw3) is only completions, not answers to instructions:
>>> Berätta något om Sverige
?

>>> I sverige bor det
 ungefär 10 miljoner människor och huvudstaden heter Stockholm.Det är ett mycket kallt land på vintern men på sommaren är det väldigt 
varmt.
What am I doing wrong?

I've tried finding a model card to see what the parameters should be but cannot find any.

Can you try to use our chat template?

FROM ./gpt-sw3-6.7b-v2-instruct-Q5_K_M.gguf
TEMPLATE """<|endoftext|><s>User:{{ .Prompt }}<s>Bot:"""
PARAMETER stop <s>

Note that none of the stop params you have added are used during training. The instruct used User, and Bot, along with our end of chat turn special token<s>

text = "Varför är träd fina?"
prompt_format = f"<|endoftext|><s>User:{text}<s>Bot:"

AI-Sweden-Models
/

gpt-sw3-6.7b-v2-instruct-gguf

Model only complete