a

app.py

@@ -3,10 +3,6 @@ from transformers import pipeline
 import torch
 import spaces
 import time
-import subprocess
-
-# Asegúrate de que accelerate esté actualizado
-subprocess.run(["pip", "install", "--upgrade", "accelerate"])
 
 # Función para verificar y esperar una GPU
 def wait_for_gpu():
@@ -18,14 +14,14 @@ def wait_for_gpu():
 # Espera hasta que una GPU esté disponible
 wait_for_gpu()
 
-# Asegúrate de que fbgemm-gpu esté instalado y se pueda utilizar
-try:
-    import fbgemm_gpu
-except ImportError:
-    raise ImportError("Necesitas instalar fbgemm-gpu para usar cuantización FP8 con este modelo. Por favor, sigue las instrucciones en https://pytorch.org/FBGEMM/fbgemm_gpu-development/InstallationInstructions.html#fbgemm-gpu-install-libraries")
-
-# Configuración del pipeline con el modelo Meta-Llama usando GPU
-pipe = pipeline("text-generation", model="meta-llama/Meta-Llama-3.1-405B-Instruct-FP8", device=0)
+# Configuración del pipeline con el modelo Meta-Llama usando GPU y FP16
+pipe = pipeline(
+    "text-generation",
+    model="meta-llama/Meta-Llama-3.1-70B-Instruct",
+    device=0,
+    torch_dtype=torch.float16,
+    low_cpu_mem_usage=True  # Para reducir el uso de memoria en CPU
+)
 
 # Instrucciones para mejorar resoluciones judiciales
 instructions = """