---
license: mit
---

# morphemizer - Morpheme-based Russian Tokenizer

Репозиторий содержит только токенизатор русского текста, данный токенизатор позволяет преобразовывать входные текстовые данные в последовательность токенов, каждый из которых представляет из себя морфемы из которых состоят слова.

В данный момент проект на ранней стадии разработки.

## Как пользоваться

Для начала необходимо скачать пару библиотек:

```shell
pip install transformers rumorpheme
```

Небольшой пример использования:

```python
from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("evilfreelancer/morphemizer", trust_remote_code=True)
test_text = "Философское восприятие мира."
input_ids = tokenizer.encode(test_text)

print("Text:", test_text)
print("Encoded:", input_ids)
print("Tokens:", tokenizer.convert_ids_to_tokens(input_ids))
print("Decoded:", tokenizer.decode(input_ids))
```