|
--- |
|
datasets: |
|
- Akajackson/donut_synthdog_rus |
|
language: |
|
- ru |
|
- en |
|
--- |
|
## Описание модели |
|
Модель Donut (end-to-end transformer) для распознавания текстов на русском языке. |
|
https://github.com/clovaai/donut |
|
|
|
Для обучения сгенерирован датасет SynthDoG из 100тыс изображений, с текстами, взятыми из произведений русской литературы. |
|
https://huggingface.co/datasets/Akajackson/donut_synthdog_rus |
|
|
|
Модель обучена на ноутбуке от уважаемого NielsRogge с заменой оригинального токенайзера на DeepPavlov/xlm-roberta-large-en-ru на площадке Kaggle. |
|
https://github.com/NielsRogge/Transformers-Tutorials/blob/master/Donut/CORD/Fine_tune_Donut_on_a_custom_dataset_(CORD)_with_PyTorch_Lightning.ipynb |
|
|
|
Метрика на валидации Normed ED: 0.02239. |
|
|
|
## Возможности модели |
|
Данная модель является базовой для следующих задач: |
|
* распознавание различных типов документов; |
|
* ответы на вопросы по документу; |
|
* классификация документов. |
|
|
|
Для решения Вашей задачи возможно использовать выше упомянутые ноутбуки. |
|
Датасет необходимо разметить в формате, который указан в репозитории Donut. |
|
|
|
|
