a

app.py

@@ -14,6 +14,12 @@ def wait_for_gpu():
 # Espera hasta que una GPU esté disponible
 wait_for_gpu()
 
+# Asegúrate de que fbgemm-gpu esté instalado y se pueda utilizar
+try:
+    import fbgemm_gpu
+except ImportError:
+    raise ImportError("Necesitas instalar fbgemm-gpu para usar cuantización FP8 con este modelo. Por favor, sigue las instrucciones en https://pytorch.org/FBGEMM/fbgemm_gpu-development/InstallationInstructions.html#fbgemm-gpu-install-libraries")
+
 # Configuración del pipeline con el modelo Meta-Llama usando GPU
 pipe = pipeline("text-generation", model="meta-llama/Meta-Llama-3.1-405B-Instruct-FP8", device=0)