Update app_details.py

app_details.py

@@ -29,7 +29,7 @@ entrenados para el hackathon por el equipo compuesto por: gpalomeque, aureliopvs
 
 ### Como funciona el demo:
 
-1. Requiere que se proporciones dos textos (el primero denominada texto a analizar y el segundo texto a comparar), los cuales se pueden selecionar de la lista de ejemplos
+1. Requiere que se proporciones dos textos (el primero denominada texto a analizar y el segundo texto a comparar), los cuales se pueden seleccionar de la lista de ejemplos
 
 2. Cada uno de estos textos pasa por cada uno de los modelos que conforman el proyecto
 
@@ -49,17 +49,53 @@ entrenados para el hackathon por el equipo compuesto por: gpalomeque, aureliopvs
  
 """
 
-article=''' 
-El principal problema de entrenar modelos que pretenezcan a un dominio especializado como el **jurídico** que ademas sea en **español** se centra en la construcción de los **datasets** por la practicamente inexistencia de los mismos.
+article=""" 
+### Retos
+
+#### Creación de los datasets
+
+El principal problema de entrenar modelos que pertenezcan a un dominio especializado como el **jurídico** que además sea en **español** se centra en la construcción de los **datasets** por la prácticamente inexistencia de los mismos.
 
 Es por ello que tuvimos que crear dos datasets:
 
-- [scjnugacj/scjn_dataset_corpus_tesis] (https://huggingface.co/datasets/scjnugacj/scjn_dataset_corpus_tesis) la información base fue obtenida del **[Buscador Juridico de la SCJN de México]** (https://bj.scjn.gob.mx/) utilizando como fuente de información: Tesis y filtrando la información por décima y undécima epoca; sin embargo, fue necesario realizar procesos de ETL para la limpieza de información no relevante y estructuración de los campos
+- [scjnugacj/scjn_dataset_corpus_tesis] (https://huggingface.co/datasets/scjnugacj/scjn_dataset_corpus_tesis) la información base fue obtenida del **[Buscador Juridico de la SCJN de México]** (https://bj.scjn.gob.mx/) utilizando como fuente de información: Tesis y filtrando la información por décima y undécima época; sin embargo, fue necesario realizar procesos de ETL para la limpieza de información no relevante y estructuración de los campos
 	* `id`: a `string` feature.
 	* `text`: a `string` features.
-- [scjnugacj/scjn_dataset_ner](https://huggingface.co/datasets/scjnugacj/scjn_dataset_ner)
+- [scjnugacj/scjn_dataset_ner](https://huggingface.co/datasets/scjnugacj/scjn_dataset_ner) el primer reto para este dataset fue entender la estructura que debía tener para ser utilizado la tarea **NER** afortunadamente esto fue relativamente sencillo de encontrar y nos dimos cuenta que no éramos el único equipo con el mismo problema.
+
+	* `id`: a `string` feature.
+	* `tokens`: a `list` of `string` features.
+	* `ner_tags`: a `list` of classification labels (`int`). Full tagset with indices: ```python
+{'O': 0, 'B-LEY': 1, 'I-LEY': 2, 'B-TRAT_INTL': 3, 'I-TRAT_INTL': 4}
+```
+
+Afortunadamente, teníamos claro que entidades nos interesaba identificar pero el reto estaba en crear el corpus anotado por la cantidad de ejemplos que teniamos considerando como base los 27913 ejemplos del dataset **scjn_corpus_tesis** aún utilizando una herramienta para realizar las anotaciones de manualmente el tiempo requerido era elevado es por ello que nos dimos a la rarea de crear un notebook que recibe una lista de los nombres de las leyes y tratados internacionales y realiza el ETL necesario para las anotaciones automáticamente, para asegurarnos de que todo estaba anotado acorde a lo esperado se extrajo una muestra para su verificación manual. 	
+
+
+#### Compartir los datasets en HugginFace
+
+Realizar la investigación de como compartir los datasets en HuggingFace represento un tiempo importante y la mejor forma que encontramos para hacerlo fue:
+
+- Crear un script para utilizar la función **load_dataset** que lee desde un repositorio en github los archivos train.txt y dev.txt y los convierte en un **DatasetDict** para finalmente publicarlos con la función **push_to_hub**
+
+## Entrenamiento de los modelos
+- Crear la línea base de los modelos
+- **hackathon-pln-es/jurisbert-finetuning-ner**
+	* Espacio de almacenamiento para almacenar los checkpoints que requerian 1.4 GB de almacenamiento por lo que no podíamos entrenar de forma continua.
+	* Los resultados de F1 eran muy bajos
+	* La cantidad de datos en el corpus era tan elevado y disparejo que el tiempo para entrenar una época era muy alto
+	* Fue necesario dar un paso atrás y revisar el dataset para realizar un análisis exploratorio e idear estrategias para balancear la muestra por lo que se acoto a: 
+	
+	|  name   |train|validation|test|
+|---------|----:|---------:|---:|
+|SCJNNER|1396|345|0|
+
+|  annotations|train|validation|test|
+|---------|----:|---------:|---:|
+|LEY|1084|329|0|
+|TRAT_INTL|935|161|0|
 
 ### Team
 
 El equipo esta conformado por [gpalomeque](https://huggingface.co/GPalomeque), [aureliopvs](https://huggingface.co/aureliopvs), [ceciliamacias](https://huggingface.co/ceciliamacias), [giomadariaga](https://huggingface.co/giomadariaga) y [cattsytabla](https://huggingface.co/cattsytabla)
-'''
+"""