license: mit
license: mit
Descrici贸n do Modelo
Modelo feito con OpenNMT para o par espa帽ol-galego utilizando unha arquitectura transformer.
Como utilizar
- Abrir terminal bash
- Instalar Python 3.9
- Instalar Open NMT toolkit v.2.2
- Traducir un input_text utilizando o modelo NOS-MT-en-gl co seguinte comando:
onmt_translate -src input_text -model NOS-MT-es-gl -output ./output_file.txt -replace_unk -phrase_table phrase_table-es-gl.txt -gpu 0
- O resultado da traduci贸n estar谩 no PATH indicado no flag -output.
Adestramento
Datos utilizados para o adestramento
Aut茅nticos e Sint茅ticos (Translitera莽茫o)[Colocar Paper]
Procedemento de adestramento
Tokenization dos datasets feita co tokenizador de linguakit https://github.com/citiususc/Linguakit
O vocabulario para os modelos foi xerado a trav茅s do script learn_bpe.py da open NMT
Usando o .yaml neste repositorio pode replicar o proceso de adestramento do seguinte xeito
onmt_build_vocab -config bpe-en-gl_emb.yaml -n_sample 100000
onmt_train -config bpe-en-gl_emb.yaml
Hiperpar谩metros
Os par谩metros usados para o desenvolvimento do modelo poden ser consultados directamente no mesmo ficheiro .yaml bpe-en-gl_emb.yaml
Avaliaci贸n A avalaci贸n dos modelos 茅 feita cunha mistura de tests desenvolvidos internamente (gold1, gold2, test-suite) con outros datasets dispon铆beis en galego (Flores).
| GOLD 1 | GOLD 2 | FLORES | TEST-SUITE |
|---|---|---|---|
| 36.8 | 47.1 | 32.3 | 42.7 |
Informaci贸n adicional
Licensing information
Apache License, Version 2.0
Financiamento / Funding
Esta investigaci贸n foi financiada polo proxecto "N贸s: o galego na sociedade e econom铆a da intelixencia artificial", resultado dun acordo entre a Xunta de Galicia e a Universidade de Santiago de Compostela, o que resultou no subsidio ED431G2019/04 da Consellar铆a de Educaci贸n, Universidade e Formaci贸n Profesional da Galiza, e polo Fondo Europeo de Desenvolvemento Rexional (programa ERDF/FEDER), e Grupos de Referencia: ED431C 2020/21.
This research was funded by the project "N贸s: Galician in the society and economy of artificial intelligence", agreement between Xunta de Galicia and University of Santiago de Compostela, and grant ED431G2019/04 by the Galician Ministry of Education, University and Professional Training, and the European Regional Development Fund (ERDF/FEDER program), and Groups of Reference: ED431C 2020/21.
Citation Information
@article{, title={}, author={}, year={2022}, url={} }