Update app.py

app.py

@@ -35,11 +35,11 @@ model_name = "dmis-lab/selfbiorag_7b"
 
 try:
     print("Cargando el tokenizador y el modelo de generación desde HuggingFace...")
-    tokenizer_gen = AutoTokenizer.from_pretrained(model_name, use_auth_token=hf_token)
+    tokenizer_gen = AutoTokenizer.from_pretrained(model_name, token=hf_token)
     model_gen = AutoModelForCausalLM.from_pretrained(
         model_name,
         torch_dtype=torch.float16 if device == "cuda" else torch.float32,
-        use_auth_token=hf_token
+        token=hf_token
     ).to(device)
 except ValueError as e:
     print(f"Error al cargar el tokenizador de generación: {e}")
@@ -65,8 +65,8 @@ model_trans = {}
 for lang, model_name_trans in translation_models.items():
     try:
         print(f"Cargando el tokenizador y el modelo de traducción para {lang} desde HuggingFace...")
-        tokenizer = MarianTokenizer.from_pretrained(model_name_trans, use_auth_token=hf_token)
-        model = MarianMTModel.from_pretrained(model_name_trans, use_auth_token=hf_token).to(device)
+        tokenizer = MarianTokenizer.from_pretrained(model_name_trans, token=hf_token)
+        model = MarianMTModel.from_pretrained(model_name_trans, token=hf_token).to(device)
         tokenizer_trans[lang] = tokenizer
         model_trans[lang] = model
     except Exception as e:
@@ -97,8 +97,8 @@ def generar_y_traducir_respuesta(consulta, idioma_destino):
         with torch.no_grad():
             outputs = model_gen.generate(input_ids=inputs, **generation_kwargs)
         
-        # Decodificar la respuesta en inglés
-        respuesta_en = tokenizer_gen.decode(outputs[0], skip_special_tokens=True)
+        # Decodificar la respuesta en inglés con limpieza de espacios
+        respuesta_en = tokenizer_gen.decode(outputs[0], skip_special_tokens=True, clean_up_tokenization_spaces=True)
         
         # Traducir la respuesta al idioma seleccionado
         if idioma_destino in translation_models:
@@ -112,8 +112,8 @@ def generar_y_traducir_respuesta(consulta, idioma_destino):
             with torch.no_grad():
                 traduccion_outputs = model_tr.generate(input_ids=traducir_inputs, max_length=512)
             
-            # Decodificar la traducción
-            respuesta_traducida = tokenizer_tr.decode(traduccion_outputs[0], skip_special_tokens=True)
+            # Decodificar la traducción con limpieza de espacios
+            respuesta_traducida = tokenizer_tr.decode(traduccion_outputs[0], skip_special_tokens=True, clean_up_tokenization_spaces=True)
         else:
             respuesta_traducida = "Idioma de destino no soportado."