|
--- |
|
license: apache-2.0 |
|
--- |
|
|
|
## Mistral gyda ychwanegiad Tocynnydd Cymreig |
|
|
|
Mae model Mistral yn cynnwys 32,000 tocynn yn ei eirfa. |
|
|
|
Wrth amgodio brawddeg yn y gymraeg, mae'r tocynnau ar wasgar i'w gymharu hefo'r Saesneg: |
|
|
|
|
|
### Tocynnydd Mistral 32k |
|
``` |
|
This is a tokenizer test |
|
['▁This', '▁is', '▁a', '▁token', 'izer', '▁test'] |
|
|
|
Roedd y gath yn eistedd ar y llawr |
|
['▁Ro', 'ed', 'd', '▁y', '▁g', 'ath', '▁y', 'n', '▁e', 'isted', 'd', '▁ar', '▁y', '▁ll', 'aw', 'r'] |
|
|
|
``` |
|
|
|
### Tocynnydd Cymreig 16k |
|
|
|
Wrth greu tocynnydd o'r newydd wedi ei hyfforddi ar ddata Cymreig, cawn gynrychiolaeth llawer tynach yn y Gymraeg. Mae'r Saesneg wedi gwaethygu, fodd bynnag. |
|
|
|
``` |
|
This is a tokenizer test |
|
['▁This', '▁is', '▁a', '▁to', 'ke', 'n', 'ize', 'r', '▁', 'test'] |
|
|
|
Roedd y gath yn eistedd ar y llawr |
|
['▁Roedd', '▁y', '▁gath', '▁yn', '▁eistedd', '▁ar', '▁y', '▁llawr'] |
|
``` |
|
|
|
## Tocynnydd Gyfunol |
|
|
|
Wrth gyfuno tocynnydd Mistral gyda ein tocynnydd newydd Cymraeg, cawn un sydd yn medru mynegi tocynnau yn y ddwy iaith yn effeithiol: |
|
|
|
``` |
|
This is a tokenizer test |
|
['▁This', '▁is', '▁a', '▁token', 'izer', '▁test'] |
|
|
|
Roedd y gath yn eistedd ar y llawr |
|
['▁Roedd', '▁y', '▁gath', '▁yn', '▁', 'eis', 't', 'edd', '▁ar', '▁y', '▁llawr'] |
|
``` |
|
|
|
Mae set o docynnau yn cael eu rhannu rhwng y ddwy iaith, sydd yn rhoi cyfanswm o 44,955 tocyn yn y fersiwn yma. |
|
|
|
Mae'r model Mistral wedi ei ehangu ar ei gyfer - *ond* dylir gofio fod angen hyfforddi'r model gryn dipyn er mwyn gysylltu ystyr y tocynnau newydd hefo'r rhai sydd yn y model yn barod. |
