Update README.md
Browse files
README.md
CHANGED
|
@@ -42,8 +42,8 @@ M3E 是 Moka Massive Mixed Embedding 的缩写
|
|
| 42 |
|
| 43 |
Tips:
|
| 44 |
- 使用场景主要是中文，少量英文的情况，建议使用 m3e 系列的模型
|
| 45 |
-
- 多语言使用场景，并且不介意数据隐私的话，我建议使用 openai-ada-002
|
| 46 |
-
- 代码检索场景，推荐使用 ada-002
|
| 47 |
|
| 48 |
## 使用方式
|
| 49 |
|
|
@@ -95,7 +95,7 @@ M3E 使用 in-batch 负采样的对比学习的方式在句对数据集进行训
|
|
| 95 |
|
| 96 |
## 评测
|
| 97 |
|
| 98 |
-
- 评测模型，[text2vec](https://github.com/shibing624/text2vec), m3e-base, m3e-small, openai-ada-002
|
| 99 |
- 评测脚本，具体参考 [MTEB-zh] (https://github.com/wangyuxinwhy/uniem/blob/main/mteb-zh)
|
| 100 |
|
| 101 |
### 文本分类
|
|
@@ -103,15 +103,15 @@ M3E 使用 in-batch 负采样的对比学习的方式在句对数据集进行训
|
|
| 103 |
- 数据集选择，选择开源在 HuggingFace 上的 6 种文本分类数据集，包括新闻、电商评论、股票评论、长文本等
|
| 104 |
- 评测方式，使用 MTEB 的方式进行评测，报告 Accuracy。
|
| 105 |
|
| 106 |
-
| | text2vec | m3e-small | m3e-base | openai |
|
| 107 |
-
| ----------------- | -------- | --------- | -------- | ------ |
|
| 108 |
-
| TNews | 0.43 | 0.4443 | **0.4827** | 0.4594 |
|
| 109 |
-
| JDIphone | 0.8214 | 0.8293 | **0.8533** | 0.746 |
|
| 110 |
-
| GubaEastmony | 0.7472 | 0.712 |
|
| 111 |
-
| TYQSentiment | 0.6099 | 0.6596 | **0.7188** | 0.68 |
|
| 112 |
-
| StockComSentiment | 0.4307 | 0.4291 | 0.4363 | **0.4819** |
|
| 113 |
-
| IFlyTek | 0.414 | 0.4263 | 0.4409 | **0.4486** |
|
| 114 |
-
| Average | 0.5755 | 0.5834 | **0.6157** | 0.5956 |
|
| 115 |
|
| 116 |
### 检索排序
|
| 117 |
|
|
@@ -120,14 +120,14 @@ M3E 使用 in-batch 负采样的对比学习的方式在句对数据集进行训
|
|
| 120 |
- 数据集选择，使用 [T2Ranking](https://github.com/THUIR/T2Ranking/tree/main) 数据集，由于 T2Ranking 的数据集太大，openai 评测起来的时间成本和 api 费用有些高，所以我们只选择了 T2Ranking 中的前 10000 篇文章
|
| 121 |
- 评测方式，使用 MTEB 的方式进行评测，报告 map@1, map@10, mrr@1, mrr@10, ndcg@1, ndcg@10
|
| 122 |
|
| 123 |
-
| | text2vec | openai-ada-002 | m3e-small | m3e-base |
|
| 124 |
-
| ------- | -------- | -------------- | --------- | -------- |
|
| 125 |
-
| map@1 | 0.4684 | 0.6133 | 0.5574 | **0.626** |
|
| 126 |
-
| map@10 | 0.5877 | 0.7423 | 0.6878 | **0.7656** |
|
| 127 |
-
| mrr@1 | 0.5345 | 0.6931 | 0.6324 | **0.7047** |
|
| 128 |
-
| mrr@10 | 0.6217 | 0.7668 | 0.712 | **0.7841** |
|
| 129 |
-
| ndcg@1 | 0.5207 | 0.6764 | 0.6159 | **0.6881** |
|
| 130 |
-
| ndcg@10 | 0.6346 | 0.7786 | 0.7262 | **0.8004** |
|
| 131 |
|
| 132 |
#### T2Ranking
|
| 133 |
|
|
|
|
| 42 |
|
| 43 |
Tips:
|
| 44 |
- 使用场景主要是中文，少量英文的情况，建议使用 m3e 系列的模型
|
| 45 |
+
- 多语言使用场景，并且不介意数据隐私的话，我建议使用 openai text-embedding-ada-002
|
| 46 |
+
- 代码检索场景，推荐使用 openai text-embedding-ada-002
|
| 47 |
|
| 48 |
## 使用方式
|
| 49 |
|
|
|
|
| 95 |
|
| 96 |
## 评测
|
| 97 |
|
| 98 |
+
- 评测模型，[text2vec](https://github.com/shibing624/text2vec), m3e-base, m3e-small, openai text-embedding-ada-002, [DMetaSoul](https://huggingface.co/DMetaSoul/sbert-chinese-general-v2), [UER](https://huggingface.co/uer/sbert-base-chinese-nli), [ErLangShen](https://huggingface.co/IDEA-CCNL/Erlangshen-SimCSE-110M-Chinese)
|
| 99 |
- 评测脚本，具体参考 [MTEB-zh] (https://github.com/wangyuxinwhy/uniem/blob/main/mteb-zh)
|
| 100 |
|
| 101 |
### 文本分类
|
|
|
|
| 103 |
- 数据集选择，选择开源在 HuggingFace 上的 6 种文本分类数据集，包括新闻、电商评论、股票评论、长文本等
|
| 104 |
- 评测方式，使用 MTEB 的方式进行评测，报告 Accuracy。
|
| 105 |
|
| 106 |
+
| | text2vec | m3e-small | m3e-base | openai | DMetaSoul | uer | erlangshen |
|
| 107 |
+
| ----------------- | -------- | --------- | -------- | ------ | ----------- | ------- | ----------- |
|
| 108 |
+
| TNews | 0.43 | 0.4443 | **0.4827** | 0.4594 | 0.3084 | 0.3539 | 0.4361 |
|
| 109 |
+
| JDIphone | 0.8214 | 0.8293 | **0.8533** | 0.746 | 0.7972 | 0.8283 | 0.8356 |
|
| 110 |
+
| GubaEastmony | 0.7472 | 0.712 | 0.7621 | 0.7574 | 0.735 | 0.7534 | **0.7787** |
|
| 111 |
+
| TYQSentiment | 0.6099 | 0.6596 | **0.7188** | 0.68 | 0.6437 | 0.6662 | 0.6444 |
|
| 112 |
+
| StockComSentiment | 0.4307 | 0.4291 | 0.4363 | **0.4819** | 0.4309 | 0.4555 | 0.4482 |
|
| 113 |
+
| IFlyTek | 0.414 | 0.4263 | 0.4409 | **0.4486** | 0.3969 | 0.3762 | 0.4241 |
|
| 114 |
+
| Average | 0.5755 | 0.5834 | **0.6157** | 0.5956 | 0.552016667 | 0.57225 | 0.594516667 |
|
| 115 |
|
| 116 |
### 检索排序
|
| 117 |
|
|
|
|
| 120 |
- 数据集选择，使用 [T2Ranking](https://github.com/THUIR/T2Ranking/tree/main) 数据集，由于 T2Ranking 的数据集太大，openai 评测起来的时间成本和 api 费用有些高，所以我们只选择了 T2Ranking 中的前 10000 篇文章
|
| 121 |
- 评测方式，使用 MTEB 的方式进行评测，报告 map@1, map@10, mrr@1, mrr@10, ndcg@1, ndcg@10
|
| 122 |
|
| 123 |
+
| | text2vec | openai-ada-002 | m3e-small | m3e-base | DMetaSoul | uer | erlangshen |
|
| 124 |
+
| ------- | -------- | -------------- | --------- | -------- | --------- | ------- | ---------- |
|
| 125 |
+
| map@1 | 0.4684 | 0.6133 | 0.5574 | **0.626** | 0.25203 | 0.08647 | 0.25394 |
|
| 126 |
+
| map@10 | 0.5877 | 0.7423 | 0.6878 | **0.7656** | 0.33312 | 0.13008 | 0.34714 |
|
| 127 |
+
| mrr@1 | 0.5345 | 0.6931 | 0.6324 | **0.7047** | 0.29258 | 0.10067 | 0.29447 |
|
| 128 |
+
| mrr@10 | 0.6217 | 0.7668 | 0.712 | **0.7841** | 0.36287 | 0.14516 | 0.3751 |
|
| 129 |
+
| ndcg@1 | 0.5207 | 0.6764 | 0.6159 | **0.6881** | 0.28358 | 0.09748 | 0.28578 |
|
| 130 |
+
| ndcg@10 | 0.6346 | 0.7786 | 0.7262 | **0.8004** | 0.37468 | 0.15783 | 0.39329 |
|
| 131 |
|
| 132 |
#### T2Ranking
|
| 133 |
|