Upload README.md

README.md

@@ -10,8 +10,9 @@ model_creator: VAGO solutions
 model_name: SauerkrautLM 70B v1
 model_type: llama
 pipeline_tag: text-generation
-prompt_template: "Ein Chat zwischen einem Benutzer und einem KI-Assistenten. Der KI-Assistent\
-  \ gibt hilfreiche, detaillierte und h\xF6fliche Antworten. \nUser: {prompt} \nAssistant:\n"
+prompt_template: "[INST] <<SYS>>\nEin Chat zwischen einem Benutzer und einem KI-Assistenten.\
+  \ Der KI-Assistent gibt hilfreiche, detaillierte und h\xF6fliche Antworten.\n<</SYS>>\n\
+  {prompt}[/INST]\n"
 quantized_by: TheBloke
 ---
 <!-- markdownlint-disable MD041 -->
@@ -67,12 +68,13 @@ It is supported by:
 <!-- repositories-available end -->
 
 <!-- prompt-template start -->
-## Prompt template: Sauerkraut
+## Prompt template: Sauerkraut-Llama-2-Chat
 
 ```
-Ein Chat zwischen einem Benutzer und einem KI-Assistenten. Der KI-Assistent gibt hilfreiche, detaillierte und höfliche Antworten. 
-User: {prompt} 
-Assistant:
+[INST] <<SYS>>
+Ein Chat zwischen einem Benutzer und einem KI-Assistenten. Der KI-Assistent gibt hilfreiche, detaillierte und höfliche Antworten.
+<</SYS>>
+{prompt}[/INST]
 
 ```
 
@@ -138,9 +140,10 @@ prompts = [
     "What is 291 - 150?",
     "How much wood would a woodchuck chuck if a woodchuck could chuck wood?",
 ]
-prompt_template=f'''Ein Chat zwischen einem Benutzer und einem KI-Assistenten. Der KI-Assistent gibt hilfreiche, detaillierte und höfliche Antworten. 
-User: {prompt} 
-Assistant:
+prompt_template=f'''[INST] <<SYS>>
+Ein Chat zwischen einem Benutzer und einem KI-Assistenten. Der KI-Assistent gibt hilfreiche, detaillierte und höfliche Antworten.
+<</SYS>>
+{prompt}[/INST]
 '''
 
 prompts = [prompt_template.format(prompt=prompt) for prompt in prompts]
@@ -182,9 +185,10 @@ from huggingface_hub import InferenceClient
 endpoint_url = "https://your-endpoint-url-here"
 
 prompt = "Tell me about AI"
-prompt_template=f'''Ein Chat zwischen einem Benutzer und einem KI-Assistenten. Der KI-Assistent gibt hilfreiche, detaillierte und höfliche Antworten. 
-User: {prompt} 
-Assistant:
+prompt_template=f'''[INST] <<SYS>>
+Ein Chat zwischen einem Benutzer und einem KI-Assistenten. Der KI-Assistent gibt hilfreiche, detaillierte und höfliche Antworten.
+<</SYS>>
+{prompt}[/INST]
 '''
 
 client = InferenceClient(endpoint_url)
@@ -235,9 +239,10 @@ model = AutoAWQForCausalLM.from_quantized(model_name_or_path, fuse_layers=True,
                                           trust_remote_code=False, safetensors=True)
 
 prompt = "Tell me about AI"
-prompt_template=f'''Ein Chat zwischen einem Benutzer und einem KI-Assistenten. Der KI-Assistent gibt hilfreiche, detaillierte und höfliche Antworten. 
-User: {prompt} 
-Assistant:
+prompt_template=f'''[INST] <<SYS>>
+Ein Chat zwischen einem Benutzer und einem KI-Assistenten. Der KI-Assistent gibt hilfreiche, detaillierte und höfliche Antworten.
+<</SYS>>
+{prompt}[/INST]
 '''
 
 print("*** Running model.generate:")