| from transformers import AutoModelForCausalLM, AutoTokenizer | |
| model_id = "seedboxai/KafkaLM-8x7B-German-V0.1-DPO" | |
| model = AutoModelForCausalLM.from_pretrained(model_id, load_in_4bit=True, trust_remote_code=True) | |
| tokenizer = AutoTokenizer.from_pretrained(model_id) | |
| def generate_prompt(input): | |
| prompt = '' | |
| sys_prompt = "Du bist ein freundlicher und hilfsbereiter KI-Assistent. Du beantwortest Fragen faktenorientiert und präzise, ohne dabei relevante Fakten auszulassen." | |
| prompt += f"<|system|>\n{sys_prompt.strip()}</s>\n" | |
| prompt += f"<|user|>\n{input.strip()}</s>\n" | |
| prompt += f"<|assistant|>\n" | |
| return prompt.strip() | |
| generate_text = transformers.pipeline( | |
| model=model, tokenizer=tokenizer, | |
| return_full_text=True, | |
| task='text-generation', | |
| temperature=0.5, | |
| max_new_tokens=512, | |
| top_p=0.95, | |
| top_k=50, | |
| do_sample=True, | |
| ) | |
| print(generate_text(generate_prompt("Wer ist eigentlich dieser Kafka?"))) | |