Update app.py
Browse files
app.py
CHANGED
@@ -5,7 +5,6 @@ import time
|
|
5 |
from functools import wraps
|
6 |
import sys
|
7 |
import os
|
8 |
-
import spaces # Aseg煤rate de que este m贸dulo est茅 correctamente instalado y disponible
|
9 |
|
10 |
# Decorador para medir el tiempo de ejecuci贸n
|
11 |
def medir_tiempo(func):
|
@@ -35,11 +34,11 @@ model_name = "dmis-lab/selfbiorag_7b"
|
|
35 |
|
36 |
try:
|
37 |
print("Cargando el tokenizador y el modelo de generaci贸n desde HuggingFace...")
|
38 |
-
tokenizer_gen = AutoTokenizer.from_pretrained(model_name,
|
39 |
model_gen = AutoModelForCausalLM.from_pretrained(
|
40 |
model_name,
|
41 |
torch_dtype=torch.float16 if device == "cuda" else torch.float32,
|
42 |
-
|
43 |
).to(device)
|
44 |
except ValueError as e:
|
45 |
print(f"Error al cargar el tokenizador de generaci贸n: {e}")
|
@@ -65,15 +64,14 @@ model_trans = {}
|
|
65 |
for lang, model_name_trans in translation_models.items():
|
66 |
try:
|
67 |
print(f"Cargando el tokenizador y el modelo de traducci贸n para {lang} desde HuggingFace...")
|
68 |
-
tokenizer = MarianTokenizer.from_pretrained(model_name_trans,
|
69 |
-
model = MarianMTModel.from_pretrained(model_name_trans,
|
70 |
tokenizer_trans[lang] = tokenizer
|
71 |
model_trans[lang] = model
|
72 |
except Exception as e:
|
73 |
print(f"Error al cargar el modelo de traducci贸n para {lang}: {e}")
|
74 |
sys.exit(1)
|
75 |
|
76 |
-
@spaces.GPU(duration=120) # Decorador para asignar GPU durante 120 segundos
|
77 |
@medir_tiempo
|
78 |
def generar_y_traducir_respuesta(consulta, idioma_destino):
|
79 |
"""
|
|
|
5 |
from functools import wraps
|
6 |
import sys
|
7 |
import os
|
|
|
8 |
|
9 |
# Decorador para medir el tiempo de ejecuci贸n
|
10 |
def medir_tiempo(func):
|
|
|
34 |
|
35 |
try:
|
36 |
print("Cargando el tokenizador y el modelo de generaci贸n desde HuggingFace...")
|
37 |
+
tokenizer_gen = AutoTokenizer.from_pretrained(model_name, use_auth_token=hf_token)
|
38 |
model_gen = AutoModelForCausalLM.from_pretrained(
|
39 |
model_name,
|
40 |
torch_dtype=torch.float16 if device == "cuda" else torch.float32,
|
41 |
+
use_auth_token=hf_token
|
42 |
).to(device)
|
43 |
except ValueError as e:
|
44 |
print(f"Error al cargar el tokenizador de generaci贸n: {e}")
|
|
|
64 |
for lang, model_name_trans in translation_models.items():
|
65 |
try:
|
66 |
print(f"Cargando el tokenizador y el modelo de traducci贸n para {lang} desde HuggingFace...")
|
67 |
+
tokenizer = MarianTokenizer.from_pretrained(model_name_trans, use_auth_token=hf_token)
|
68 |
+
model = MarianMTModel.from_pretrained(model_name_trans, use_auth_token=hf_token).to(device)
|
69 |
tokenizer_trans[lang] = tokenizer
|
70 |
model_trans[lang] = model
|
71 |
except Exception as e:
|
72 |
print(f"Error al cargar el modelo de traducci贸n para {lang}: {e}")
|
73 |
sys.exit(1)
|
74 |
|
|
|
75 |
@medir_tiempo
|
76 |
def generar_y_traducir_respuesta(consulta, idioma_destino):
|
77 |
"""
|