jramompichel
commited on
Commit
•
a77a6be
1
Parent(s):
c94b370
Update README.md
Browse files
README.md
CHANGED
@@ -17,29 +17,29 @@ Modelo feito con OpenNMT para o par inglés-galego utilizando unha arquitectura
|
|
17 |
|
18 |
**Como traducir / How to translate**
|
19 |
|
20 |
-
+ Abrir terminal bash
|
21 |
-
+ Instalar [Python 3.9](https://www.python.org/downloads/release/python-390/)
|
22 |
-
+ Instalar [Open NMT toolkit v.2.2](https://github.com/OpenNMT/OpenNMT-py)
|
23 |
-
+ Traducir un input_text utilizando o modelo NOS-MT-en-gl co seguinte comando:
|
24 |
|
25 |
```bash
|
26 |
onmt_translate -src input_text -model NOS-MT-en-gl -output ./output_file.txt -replace_unk -gpu 0
|
27 |
```
|
28 |
-
+ O resultado da tradución estará no PATH indicado no flag -output.
|
29 |
|
30 |
**Adestramento / Training**
|
31 |
|
32 |
-
|
33 |
|
34 |
-
|
35 |
|
36 |
**Procedemento de adestramento / Training process**
|
37 |
|
38 |
-
+ Tokenization dos datasets feita co tokenizador de linguakit https://github.com/citiususc/Linguakit
|
39 |
|
40 |
-
+ O vocabulario para os modelos foi xerado a través do script [learn_bpe.py](https://github.com/OpenNMT/OpenNMT-py/blob/master/tools/learn_bpe.py) da open NMT
|
41 |
|
42 |
-
+ Usando o .yaml neste repositorio pode replicar o proceso de adestramento do seguinte xeito
|
43 |
|
44 |
```bash
|
45 |
onmt_build_vocab -config bpe-en-gl_emb.yaml -n_sample 100000
|
@@ -50,9 +50,12 @@ onmt_train -config bpe-en-gl_emb.yaml
|
|
50 |
|
51 |
Os parámetros usados para o desenvolvimento do modelo poden ser consultados directamente no mesmo ficheiro .yaml bpe-en-gl_emb.yaml
|
52 |
|
|
|
|
|
53 |
**Avaliación / Evaluation**
|
54 |
-
A avalación dos modelos é feita cunha mistura de tests desenvolvidos internamente
|
55 |
-
|
|
|
56 |
|
57 |
| GOLD 1 | GOLD 2 | FLORES | TEST-SUITE|
|
58 |
| ------------- |:-------------:| -------:|----------:|
|
|
|
17 |
|
18 |
**Como traducir / How to translate**
|
19 |
|
20 |
+
+ Abrir terminal bash / Open bash terminal
|
21 |
+
+ Instalar / Install [Python 3.9](https://www.python.org/downloads/release/python-390/)
|
22 |
+
+ Instalar / Install [Open NMT toolkit v.2.2](https://github.com/OpenNMT/OpenNMT-py)
|
23 |
+
+ Traducir un input_text utilizando o modelo NOS-MT-en-gl co seguinte comando / Translate an input_text using the NOS-MT-en-gl model with the following command:
|
24 |
|
25 |
```bash
|
26 |
onmt_translate -src input_text -model NOS-MT-en-gl -output ./output_file.txt -replace_unk -gpu 0
|
27 |
```
|
28 |
+
+ O resultado da tradución estará no PATH indicado no flag -output / The result of the translation will be in the PATH indicated by the -output flag.
|
29 |
|
30 |
**Adestramento / Training**
|
31 |
|
32 |
+
No adestramento, utilizamos corpora auténticos e sintéticos. Os primeiros son corpora de traducións feitas directamente por tradutores humanos. Os segundos son corpora de traducións inglés-portugués, que convertemos en inglés-galego a través da tradución automática portugués-galego con Opentrad/Apertium e transliteración para palabras fóra de vocabulário.
|
33 |
|
34 |
+
In the training we have used authentic and synthetic corpora. The former are corpora of translations directly produced by human translators. The latter are corpora of english-portuguese translations, which we have converted into english-galician by means of portuguese-galician translation with Opentrad/Apertium and transliteration for out-of-vocabulary words.
|
35 |
|
36 |
**Procedemento de adestramento / Training process**
|
37 |
|
38 |
+
+ Tokenization dos datasets feita co tokenizador de linguakit / Tokenization of the datasets made with linguakit tokeniser https://github.com/citiususc/Linguakit
|
39 |
|
40 |
+
+ O vocabulario para os modelos foi xerado a través do script / The vocabulary for the models was generated through the script [learn_bpe.py](https://github.com/OpenNMT/OpenNMT-py/blob/master/tools/learn_bpe.py) da open NMT
|
41 |
|
42 |
+
+ Usando o .yaml neste repositorio pode replicar o proceso de adestramento do seguinte xeito / Using .yaml in this repository you can replicate the training process as follows
|
43 |
|
44 |
```bash
|
45 |
onmt_build_vocab -config bpe-en-gl_emb.yaml -n_sample 100000
|
|
|
50 |
|
51 |
Os parámetros usados para o desenvolvimento do modelo poden ser consultados directamente no mesmo ficheiro .yaml bpe-en-gl_emb.yaml
|
52 |
|
53 |
+
The parameters used for the development of the model can be directly consulted in the same .yaml file bpe-en-gl_emb.yaml
|
54 |
+
|
55 |
**Avaliación / Evaluation**
|
56 |
+
A avalación BLEU dos modelos é feita cunha mistura de tests desenvolvidos internamente (gold1, gold2, test-suite) con outros datasets disponíbeis en galego (Flores).
|
57 |
+
|
58 |
+
The BLEU evaluation of the models is made with a mixture of internally developed tests (gold1, gold2, test-suite) with other datasets available in Galician (Flores).
|
59 |
|
60 |
| GOLD 1 | GOLD 2 | FLORES | TEST-SUITE|
|
61 |
| ------------- |:-------------:| -------:|----------:|
|