doubledsbv commited on
Commit
be5feb2
1 Parent(s): 4d45cb0

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +1 -5
README.md CHANGED
@@ -64,14 +64,10 @@ import transformers
64
 
65
  model_id = "seedboxai/KafkaLM-8x7B-German-V0.1"
66
 
67
- model = AutoModelForCausalLM.from_pretrained(model_id, load_in_4bit=True)
68
 
69
  tokenizer = AutoTokenizer.from_pretrained(model_id)
70
 
71
- tokenizer.padding_side = "right"
72
- tokenizer.pad_token = tokenizer.unk_token
73
- tokenizer.add_eos_token = False
74
-
75
  def generate_prompt(input):
76
  prompt = ''
77
  sys_prompt = "Du bist ein freundlicher und hilfsbereiter KI-Assistent. Du beantwortest Fragen faktenorientiert und präzise, ohne dabei relevante Fakten auszulassen."
 
64
 
65
  model_id = "seedboxai/KafkaLM-8x7B-German-V0.1"
66
 
67
+ model = AutoModelForCausalLM.from_pretrained(model_id, load_in_4bit=True, trust_remote_code=True)
68
 
69
  tokenizer = AutoTokenizer.from_pretrained(model_id)
70
 
 
 
 
 
71
  def generate_prompt(input):
72
  prompt = ''
73
  sys_prompt = "Du bist ein freundlicher und hilfsbereiter KI-Assistent. Du beantwortest Fragen faktenorientiert und präzise, ohne dabei relevante Fakten auszulassen."