|
--- |
|
license: mit |
|
--- |
|
--- |
|
license: mit |
|
--- |
|
|
|
**Descrición do Modelo** |
|
|
|
Modelo feito con OpenNMT para o par español-galego utilizando unha arquitectura transformer. |
|
|
|
**Como utilizar** |
|
|
|
+ Abrir terminal bash |
|
+ Instalar [Python 3.9](https://www.python.org/downloads/release/python-390/) |
|
+ Instalar [Open NMT toolkit v.2.2](https://github.com/OpenNMT/OpenNMT-py) |
|
+ Traducir un input_text utilizando o modelo NOS-MT-en-gl co seguinte comando: |
|
|
|
```bash |
|
onmt_translate -src input_text -model NOS-MT-es-gl -output ./output_file.txt -replace_unk -phrase_table phrase_table-es-gl.txt -gpu 0 |
|
``` |
|
+ O resultado da tradución estará no PATH indicado no flag -output. |
|
|
|
**Adestramento** |
|
|
|
Datos utilizados para o adestramento |
|
|
|
Auténticos e Sintéticos (Transliteração)[Colocar Paper] |
|
|
|
**Procedemento de adestramento** |
|
|
|
+ Tokenization dos datasets feita co tokenizador de linguakit https://github.com/citiususc/Linguakit |
|
|
|
+ O vocabulario para os modelos foi xerado a través do script [learn_bpe.py](https://github.com/OpenNMT/OpenNMT-py/blob/master/tools/learn_bpe.py) da open NMT |
|
|
|
+ Usando o .yaml neste repositorio pode replicar o proceso de adestramento do seguinte xeito |
|
|
|
```bash |
|
onmt_build_vocab -config bpe-en-gl_emb.yaml -n_sample 100000 |
|
onmt_train -config bpe-en-gl_emb.yaml |
|
``` |
|
|
|
**Hiperparámetros** |
|
|
|
Os parámetros usados para o desenvolvimento do modelo poden ser consultados directamente no mesmo ficheiro .yaml bpe-en-gl_emb.yaml |
|
|
|
**Avaliación** |
|
A avalación dos modelos é feita cunha mistura de tests desenvolvidos internamente |
|
(gold1, gold2, test-suite) con outros datasets disponíbeis en galego (Flores). |
|
|
|
| GOLD 1 | GOLD 2 | FLORES | TEST-SUITE| |
|
| ------------- |:-------------:| -------:|----------:| |
|
| 36.8 | 47.1 | 32.3 | 42.7 | |
|
|
|
|
|
|
|
**Información adicional** |
|
|
|
Licensing information |
|
|
|
Apache License, Version 2.0 |
|
|
|
**Financiamento** |
|
|
|
Financiamento |
|
|
|
This research was funded by the project "Nós: Galician in the society and economy of artificial intelligence", agreement between Xunta de Galicia and University of Santiago de Compostela, and grant ED431G2019/04 by the Galician Ministry of Education, University and Professional Training, and the European Regional Development Fund (ERDF/FEDER program), and Groups of Reference: ED431C 2020/21. |
|
|
|
**Citation Information** |
|
|
|
@article{, |
|
title={}, |
|
author={}, |
|
year={2022}, |
|
url={} |
|
} |