Update README.md
Browse files
README.md
CHANGED
|
@@ -81,6 +81,8 @@ rt.save_pretrained("./my_roberta_tokenizer")
|
|
| 81 |
#### 1.
|
| 82 |
|
| 83 |
```python
|
|
|
|
|
|
|
| 84 |
tokenizer = AutoTokenizer.from_pretrained("Bingsu/BBPE_tokenizer_test")
|
| 85 |
|
| 86 |
# tokenizer는 RobertaTokenizerFast 클래스가 됩니다.
|
|
|
|
| 81 |
#### 1.
|
| 82 |
|
| 83 |
```python
|
| 84 |
+
from transformers import AutoTokenizer
|
| 85 |
+
|
| 86 |
tokenizer = AutoTokenizer.from_pretrained("Bingsu/BBPE_tokenizer_test")
|
| 87 |
|
| 88 |
# tokenizer는 RobertaTokenizerFast 클래스가 됩니다.
|