A

app.py

@@ -1,82 +1,66 @@
 import gradio as gr
-from transformers import pipeline
 import torch
+from awq import AutoAWQForCausalLM
+from transformers import AutoTokenizer, AwqConfig
 import spaces
-import time
 
-# Función para verificar y esperar una GPU
+# Esperar a que una GPU esté disponible
 def wait_for_gpu():
     while not torch.cuda.is_available():
         print("Esperando por una GPU...")
-        time.sleep(10)  # Espera 10 segundos antes de volver a verificar
+        time.sleep(10)
     print("GPU encontrada, continuando con la configuración.")
 
-# Espera hasta que una GPU esté disponible
 wait_for_gpu()
 
-# Configuración del pipeline con el modelo Meta-Llama usando GPU y FP16
-pipe = pipeline(
-    "text-generation",
-    model="meta-llama/Meta-Llama-3.1-70B-Instruct",
-    device=0,
-    torch_dtype=torch.float16,
-    low_cpu_mem_usage=True  # Para reducir el uso de memoria en CPU
-)
+# Configuración del modelo y tokenizador usando AutoAWQ
+@spaces.GPU(duration=120)  # Asegura la asignación de GPU durante la carga del modelo
+def cargar_modelo():
+    model_id = "hugging-quants/Meta-Llama-3.1-70B-Instruct-AWQ-INT4"
+    quantization_config = AwqConfig(
+        bits=4,
+        fuse_max_seq_len=512,
+        do_fuse=True,
+    )
+    
+    tokenizer = AutoTokenizer.from_pretrained(model_id)
+    model = AutoAWQForCausalLM.from_pretrained(
+        model_id,
+        torch_dtype=torch.float16,
+        low_cpu_mem_usage=True,
+        device_map="auto",  # Distribuir automáticamente en las GPUs disponibles
+        quantization_config=quantization_config
+    )
+    return model, tokenizer
 
-# Instrucciones para mejorar resoluciones judiciales
+# Cargar el modelo y el tokenizador
+model, tokenizer = cargar_modelo()
+
+# Instrucciones para la mejora de resoluciones judiciales
 instructions = """
 **Instrucciones para GPT Personalizado "GPT Civil"**
 
-Como Ministro de la Corte Suprema de Chile, su objetivo es mejorar y finalizar los borradores de resoluciones judiciales para el sistema judicial civil del país. Es crucial mantener un tono formal y técnico, garantizando claridad y precisión. Asegúrese de utilizar terminología legal específica y de mantener la coherencia y consistencia en todo el documento.
-
-**Guía de estilo:**
-1. **Precisión del lenguaje:** Utilice un tono formal, técnico y preciso, asegurando claridad y coherencia.
-2. **Jerga legal:** Emplee terminología legal específica, como 'folio', 'autos', 'resuelve', 'artículo', 'Código de Procedimiento Civil', 'audiencia', 'notificación', 'prueba', 'nulidad', 'oficiar' y 'notificar'.
-3. **Sintaxis compleja:** Construya oraciones complejas y subordinadas, manteniendo un tono formal e imperativo. Utilice un lenguaje técnico adecuado para un contexto judicial.
-4. **Citas:** Proporcione referencias detalladas a regulaciones y precedentes judiciales, utilizando la voz pasiva en secciones descriptivas. Cite consistentemente artículos de leyes y sentencias anteriores.
-5. **Consistencia:** Asegure un tono uniforme y detallado en todo el documento, centrado en la precisión terminológica.
-
-**Instrucciones paso a paso:**
-1. **Revisión inicial del documento:**
-   - Lea y comprenda el contexto y el propósito del documento en su totalidad.
-   - Identifique el tipo de documento judicial (por ejemplo, sentencia, apelación).
-
-2. **Análisis estructural y de contenido:**
-   - Flujo lógico: Asegúrese de que haya una progresión lógica de ideas y argumentos.
-   - Coherencia: Evalúe la coherencia entre las diferentes secciones.
-   - Claridad: Escrute cada párrafo y oración en busca de claridad y precisión.
-   - Consistencia terminológica: Verifique el uso consistente de la terminología legal.
-
-3. **Refinamiento lingüístico:**
-   - Gramática: Asegúrese de la corrección gramatical.
-   - Sintaxis: Mejore la estructura de las oraciones para una mayor claridad.
-   - Conectores: Optimice el uso de conectores para transiciones suaves.
-
-4. **Mejora del lenguaje legal:**
-   - Terminología: Asegure el uso consistente y preciso de términos legales.
-   - Alternativas: Sugiera expresiones más efectivas cuando sea necesario (por ejemplo, "bien inmueble" en lugar de "cosa").
-
-5. **Integración de comentarios:**
-   - Considere cuidadosamente las sugerencias y validaciones de los comentarios.
-   - Evalúe cada punto de comentarios en cuanto a su relevancia e impacto potencial.
-   - Clasifique las sugerencias como esenciales, recomendadas u opcionales.
-   - Incorpore sugerencias valiosas y proporcione justificaciones para cualquier desacuerdo, respaldadas por regulaciones actuales.
-
-6. **Optimización final:**
-   - Realice una revisión integral, integrando el análisis inicial y los comentarios.
-   - Prepare un resumen de los cambios finales y explique cómo se incorporaron los comentarios.
-
-7. **Presentación final:**
-   - Proporcione una respuesta completa, incluyendo correcciones, sugerencias y la resolución final.
-   - Asegúrese de una presentación concisa y unificada de toda la información.
+Como Ministro de la Corte Suprema de Chile, su objetivo es mejorar y finalizar los borradores de resoluciones judiciales para el sistema judicial civil del país...
 """
-@spaces.GPU(duration=120)  # Ajusta la duración según el tiempo estimado de la tarea
+
+@spaces.GPU(duration=120)
 def mejorar_resolucion(message, history=None):
-    prompt = f"Analiza profundamente y aplica estas {instructions}\n\n y luego mejora esta resolución judicial {message}"
-    response = pipe(prompt, max_new_tokens=1000, return_full_text=False, clean_up_tokenization_spaces=True)
-    return response[0]["generated_text"]
+    prompt = [
+        {"role": "system", "content": instructions},
+        {"role": "user", "content": f"Mejora esta resolución judicial: {message}"}
+    ]
+    inputs = tokenizer.apply_chat_template(
+        prompt,
+        tokenize=True,
+        add_generation_prompt=True,
+        return_tensors="pt",
+        return_dict=True,
+    ).to("cuda")
+
+    outputs = model.generate(**inputs, do_sample=True, max_new_tokens=500)
+    return tokenizer.batch_decode(outputs[:, inputs['input_ids'].shape[1]:], skip_special_tokens=True)[0]
 
-# Configuración de la interfaz de Gradio
+# Interfaz de usuario con Gradio
 with gr.Blocks() as demo:
     chatbot = gr.ChatInterface(fn=mejorar_resolucion, title="Mejora de Resoluciones Judiciales")
     demo.launch()