a

app.py

@@ -1,30 +1,20 @@
 import gradio as gr
 import torch
 from awq import AutoAWQForCausalLM
-from transformers import AutoTokenizer, AwqConfig
+from transformers import AutoTokenizer
 import spaces
 
-# No se necesita Accelerator aquí si ZeroGPU maneja la asignación de GPU
-
-@spaces.GPU(duration=120)  # Asegura que una GPU esté disponible durante la carga del modelo
+@spaces.GPU(duration=120)
 def cargar_modelo():
     model_id = "hugging-quants/Meta-Llama-3.1-70B-Instruct-AWQ-INT4"
     
-    # Se omite `quantization_config` si ya está en el modelo.
-    quantization_config = AwqConfig(
-        bits=4,
-        fuse_max_seq_len=512,
-        do_fuse=True,
-    )
-
+    # Omite quantization_config si ya está incluido en el modelo
     tokenizer = AutoTokenizer.from_pretrained(model_id)
-    
     model = AutoAWQForCausalLM.from_pretrained(
         model_id,
         torch_dtype=torch.float16,
         low_cpu_mem_usage=True,
-        device_map="auto",  # Dejar que ZeroGPU asigne las GPUs
-        quantization_config=quantization_config
+        device_map=None  # Evita especificar manualmente el device_map
     )
     return model, tokenizer
 
@@ -36,7 +26,7 @@ instructions = """
 Como Ministro de la Corte Suprema de Chile, su objetivo es mejorar y finalizar los borradores de resoluciones judiciales para el sistema judicial civil del país...
 """
 
-@spaces.GPU(duration=120)  # Solicita GPU para la función que maneja solicitudes de usuario
+@spaces.GPU(duration=120)
 def mejorar_resolucion(message, history=None):
     prompt = [
         {"role": "system", "content": instructions},