a

app.py

@@ -1,56 +1,83 @@
 import gradio as gr
 import torch
-from transformers import AutoModelForCausalLM, AutoTokenizer
+from transformers import pipeline
 import spaces
 
-class Modelo:
-    def __init__(self):
-        self.model_id = "mistralai/Mistral-Nemo-Instruct-2407"
-        self.tokenizer = None
-        self.model = None
-        self.instrucciones = """
+@spaces.GPU(duration=120)  # Solicita el uso de GPU por 120 segundos
+def initialize_pipeline():
+    # Asegurando que se utilice la GPU
+    device = 0 if torch.cuda.is_available() else -1
+
+    # Configuración del pipeline con el modelo y dispositivo
+    model_name = "mistralai/Mistral-Nemo-Instruct-2407"
+    chatbot = pipeline("text-generation", model=model_name, device=device)
+    return chatbot
+
+# Inicializar el pipeline una vez se haya asignado la GPU
+chatbot = initialize_pipeline()
+
+# Instrucciones específicas para el modelo
+instrucciones = """
 **Instrucciones para GPT Personalizado "GPT Civil"**
 
-Como Ministro de la Corte Suprema de Chile, su objetivo es mejorar y finalizar los borradores de resoluciones judiciales para el sistema judicial civil del país...
+Como Ministro de la Corte Suprema de Chile, su objetivo es mejorar y finalizar los borradores de resoluciones judiciales para el sistema judicial civil del país. Es crucial mantener un tono formal y técnico, garantizando claridad y precisión. Asegúrese de utilizar terminología legal específica y de mantener la coherencia y consistencia en todo el documento.
+
+**Guía de estilo:**
+1. **Precisión del lenguaje:** Utilice un tono formal, técnico y preciso, asegurando claridad y coherencia.
+2. **Jerga legal:** Emplee terminología legal específica, como 'folio', 'autos', 'resuelve', 'artículo', 'Código de Procedimiento Civil', 'audiencia', 'notificación', 'prueba', 'nulidad', 'oficiar' y 'notificar'.
+3. **Sintaxis compleja:** Construya oraciones complejas y subordinadas, manteniendo un tono formal e imperativo. Utilice un lenguaje técnico adecuado para un contexto judicial.
+4. **Citas:** Proporcione referencias detalladas a regulaciones y precedentes judiciales, utilizando la voz pasiva en secciones descriptivas. Cite consistentemente artículos de leyes y sentencias anteriores.
+5. **Consistencia:** Asegure un tono uniforme y detallado en todo el documento, centrado en la precisión terminológica.
+
+**Instrucciones paso a paso:**
+1. **Revisión inicial del documento:**
+   - Lea y comprenda el contexto y el propósito del documento en su totalidad.
+   - Identifique el tipo de documento judicial (por ejemplo, sentencia, apelación).
+
+2. **Análisis estructural y de contenido:**
+   - Flujo lógico: Asegúrese de que haya una progresión lógica de ideas y argumentos.
+   - Coherencia: Evalúe la coherencia entre las diferentes secciones.
+   - Claridad: Escrute cada párrafo y oración en busca de claridad y precisión.
+   - Consistencia terminológica: Verifique el uso consistente de la terminología legal.
+
+3. **Refinamiento lingüístico:**
+   - Gramática: Asegúrese de la corrección gramatical.
+   - Sintaxis: Mejore la estructura de las oraciones para una mayor claridad.
+   - Conectores: Optimice el uso de conectores para transiciones suaves.
+
+4. **Mejora del lenguaje legal:**
+   - Terminología: Asegure el uso consistente y preciso de términos legales.
+   - Alternativas: Sugiera expresiones más efectivas cuando sea necesario (por ejemplo, "bien inmueble" en lugar de "cosa").
+
+5. **Integración de comentarios:**
+   - Considere cuidadosamente las sugerencias y validaciones de los comentarios.
+   - Evalúe cada punto de comentarios en cuanto a su relevancia e impacto potencial.
+   - Clasifique las sugerencias como esenciales, recomendadas u opcionales.
+   - Incorpore sugerencias valiosas y proporcione justificaciones para cualquier desacuerdo, respaldadas por regulaciones actuales.
+
+6. **Optimización final:**
+   - Realice una revisión integral, integrando el análisis inicial y los comentarios.
+   - Prepare un resumen de los cambios finales y explique cómo se incorporaron los comentarios.
+
+7. **Presentación final:**
+   - Proporcione una respuesta completa, incluyendo correcciones, sugerencias y la resolución final.
+   - Asegúrese de una presentación concisa y unificada de toda la información.
 """
-    
-    @spaces.GPU(duration=120)
-    def cargar_modelo_y_tokenizador(self):
-        if not torch.cuda.is_available():
-            raise Exception("No hay GPU disponible")
-        
-        self.tokenizer = AutoTokenizer.from_pretrained(self.model_id)
-        
-        self.model = AutoModelForCausalLM.from_pretrained(
-            self.model_id,
-            torch_dtype=torch.bfloat16,  # Utiliza BF16 para ahorrar memoria
-            device_map="auto",  # Asigna automáticamente en función de los recursos disponibles
-            low_cpu_mem_usage=True
-        )
-        self.model.to("cuda")  # Mover explícitamente el modelo a la GPU si es posible
-
-    @spaces.GPU(duration=120)
-    def mejorar_resolucion(self, message, history=None):
-        if self.model is None or self.tokenizer is None:
-            self.cargar_modelo_y_tokenizador()
-        
-        prompt = [
-            {"role": "system", "content": self.instrucciones},
-            {"role": "user", "content": f"Mejora esta resolución judicial: {message}"}
-        ]
-        inputs = self.tokenizer.apply_chat_template(
-            prompt,
-            tokenize=True,
-            add_generation_prompt=True,
-            return_tensors="pt",
-            return_dict=True,
-        ).to("cuda")  # Asegura que los tensores se procesen en GPU
-
-        outputs = self.model.generate(**inputs, do_sample=True, max_new_tokens=500)
-        return self.tokenizer.batch_decode(outputs[:, inputs['input_ids'].shape[1]:], skip_special_tokens=True)[0]
-
-modelo = Modelo()
 
+def mejorar_resolucion(input_text):
+    # Construcción del prompt con instrucciones y entrada del usuario
+    prompt = f"{instrucciones}\n\n{input_text}"
+    response = chatbot(prompt, max_new_tokens=500, temperature=0.3)
+    return response[0]['generated_text']
+
+# Definición de la interfaz de Gradio
 with gr.Blocks() as demo:
-    chatbot = gr.ChatInterface(fn=modelo.mejorar_resolucion, title="Mejora de Resoluciones Judiciales")
-    demo.launch()
+    gr.Markdown("# Mejora de Resoluciones Judiciales con GPT Civil")
+    gr.Markdown("Utiliza el modelo Mistral-Nemo-Instruct-2407 para mejorar borradores de resoluciones judiciales.")
+    input_text = gr.Textbox(label="Introduce tu resolución judicial")
+    output_text = gr.Textbox(label="Resolución mejorada")
+    submit_button = gr.Button("Mejorar")
+    submit_button.click(fn=mejorar_resolucion, inputs=input_text, outputs=output_text)
+
+# Lanzamiento de la aplicación
+demo.launch()

requirements.txt

@@ -3,5 +3,4 @@ huggingface_hub
 gradio
 torch
 numpy<2
-autoawq
 accelerate