Commit
•
c8fb7cc
1
Parent(s):
3f2ad09
Update README.md
Browse files
README.md
CHANGED
|
@@ -16,11 +16,11 @@ pipeline_tag: sentence-similarity
|
|
| 16 |
|
| 17 |
dummy の tokenizer.json を用意することで、とりあえず TEI を起動させ、推論時には手元のPython環境で tokenizer した token_ids を送ります。
|
| 18 |
|
| 19 |
-
|
| 20 |
|
| 21 |
-
|
| 22 |
-
dummy の tokenizer.json としては xlm-roberta-large の tokenizer.json を用いています。
|
| 23 |
|
|
|
|
| 24 |
|
| 25 |
---
|
| 26 |
|
|
|
|
| 16 |
|
| 17 |
dummy の tokenizer.json を用意することで、とりあえず TEI を起動させ、推論時には手元のPython環境で tokenizer した token_ids を送ります。
|
| 18 |
|
| 19 |
+
詳しくは、[text-embeddings-inference で日本語トークナイザーモデルの推論をする](https://secon.dev/entry/2024/09/30/160000/)
|
| 20 |
|
| 21 |
+
---
|
|
|
|
| 22 |
|
| 23 |
+
大元のモデルは [cl-nagoya/ruri-base](https://huggingface.co/cl-nagoya/ruri-base) です。以下のモデルカードは、大元の ruri-base の物です。
|
| 24 |
|
| 25 |
---
|
| 26 |
|