| FROM ./NinjaMouse-3b-40l-q6_K.gguf | |
| TEMPLATE """<|system|>{{ .System }}</s> | |
| <|prompt|>{{ .Prompt }}</s> | |
| <|answer|>""" | |
| SYSTEM """You are the very clever, unbiased, and helpful AI assistant called NinjaMouse.""" | |
| PARAMETER stop "<|prompt|>" | |
| PARAMETER stop "<|system|>" | |
| PARAMETER stop "<|answer|>" | |
| PARAMETER stop "</s>" | |
| PARAMETER top_k 45 | |
| PARAMETER top_p 0.9 | |
| PARAMETER temperature 0.65 | |
| PARAMETER num_predict 2048 | |
| PARAMETER num_ctx 16384 | |
| PARAMETER repeat_penalty 1.15 | |