Update app.py

app.py

@@ -4,6 +4,7 @@ from transformers import AutoModelForCausalLM, AutoTokenizer, MarianMTModel, Mar
 import time
 from functools import wraps
 import sys
+import os
 import spaces  # Asegúrate de que este módulo esté correctamente instalado y disponible
 
 # Decorador para medir el tiempo de ejecución
@@ -23,15 +24,22 @@ device = "cuda" if torch.cuda.is_available() else "cpu"
 if device == "cpu":
     print("Advertencia: CUDA no está disponible. Se usará la CPU, lo que puede ser lento.")
 
+# Obtener el token de Hugging Face desde las variables de entorno
+hf_token = os.getenv("HUGGINGFACE_TOKEN")
+if not hf_token:
+    print("Error: El token de Hugging Face no está configurado en los secretos.")
+    sys.exit(1)
+
 # Cargar el tokenizador y el modelo de generación desde HuggingFace
 model_name = "dmis-lab/selfbiorag_7b"
 
 try:
     print("Cargando el tokenizador y el modelo de generación desde HuggingFace...")
-    tokenizer_gen = AutoTokenizer.from_pretrained(model_name)
+    tokenizer_gen = AutoTokenizer.from_pretrained(model_name, use_auth_token=hf_token)
     model_gen = AutoModelForCausalLM.from_pretrained(
         model_name,
-        torch_dtype=torch.float16 if device == "cuda" else torch.float32
+        torch_dtype=torch.float16 if device == "cuda" else torch.float32,
+        use_auth_token=hf_token
     ).to(device)
 except ValueError as e:
     print(f"Error al cargar el tokenizador de generación: {e}")
@@ -57,8 +65,8 @@ model_trans = {}
 for lang, model_name_trans in translation_models.items():
     try:
         print(f"Cargando el tokenizador y el modelo de traducción para {lang} desde HuggingFace...")
-        tokenizer = MarianTokenizer.from_pretrained(model_name_trans)
-        model = MarianMTModel.from_pretrained(model_name_trans).to(device)
+        tokenizer = MarianTokenizer.from_pretrained(model_name_trans, use_auth_token=hf_token)
+        model = MarianMTModel.from_pretrained(model_name_trans, use_auth_token=hf_token).to(device)
         tokenizer_trans[lang] = tokenizer
         model_trans[lang] = model
     except Exception as e:
@@ -98,11 +106,11 @@ def generar_y_traducir_respuesta(consulta, idioma_destino):
             model_tr = model_trans[idioma_destino]
             
             # Preparar la entrada para la traducción
-            traducir_inputs = tokenizer_tr.prepare_seq2seq_batch([respuesta_en], return_tensors="pt").to(device)
+            traducir_inputs = tokenizer_tr.encode(respuesta_en, return_tensors="pt").to(device)
             
             # Realizar la traducción
             with torch.no_grad():
-                traduccion_outputs = model_tr.generate(**traducir_inputs)
+                traduccion_outputs = model_tr.generate(input_ids=traducir_inputs, max_length=512)
             
             # Decodificar la traducción
             respuesta_traducida = tokenizer_tr.decode(traduccion_outputs[0], skip_special_tokens=True)