fixe

app.py

@@ -63,18 +63,18 @@ async def predict(request: PredictionRequest):
     else:
         prompt = default_prompt
 
-    # Générer le texte à partir du prompt
-    inputs = tokenizer(prompt, return_tensors="pt").input_ids.to(model.device)
+    # Tokenize l'entrée et créez un attention mask
+    inputs = tokenizer(prompt, return_tensors="pt", padding=True, truncation=True)
+    input_ids = inputs.input_ids.to(model.device)
     attention_mask = inputs.attention_mask.to(model.device)
+
+    # Générez le texte en passant l'attention mask
     outputs = model.generate(
-        inputs,
+        input_ids,
         attention_mask=attention_mask,
         max_length=3000,
         do_sample=True
     )
-    # generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
-    # outputs = model.generate(inputs, max_length=3000, do_sample=True)
-
     generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
     
     return {"generated_text": generated_text}