Update README.md
Browse files
README.md
CHANGED
@@ -9,14 +9,15 @@ datasets:
|
|
9 |
- yuyijiong/LongData-Corpus
|
10 |
pipeline_tag: text-generation
|
11 |
---
|
12 |
-
* 2023.12.14更新:发布微调后的Qwen-14b的权重,微调后的模型能适应32k长度(约4万汉字)的中英问答,在多文档问答任务上提升非常显著,超过chatglm3-32k
|
13 |
<br>
|
14 |
<br>
|
15 |
# LongBench测试结果
|
16 |
### LongBench的passage_retrieval_zh的评测结果
|
17 |
| 模型 | 得分 (acc) |
|
18 |
|---------------------------------------------|----------|
|
19 |
-
| **Qwen-14b-chat-yarn-32k
|
|
|
20 |
| chatglm3-32k | 0.725 |
|
21 |
| Qwen-14b-chat | 0.525 |
|
22 |
| LongAlpaca-7b-32k-chinese-v2 | 0.12 |
|
@@ -58,8 +59,8 @@ print(response)
|
|
58 |
# 历史版本
|
59 |
|发布时间| 模型 | 基座模型 | 位置插值 | 训练方式 | 训练数据 |
|
60 |
|:-------------------------:|:-------------------------:|:-----------:|:------------:|:--:|:--:|
|
61 |
-
|2023.10.20| LongAlpaca-7b-16k-chinese | atom-7b |
|
62 |
-
|2023.10.25 |LongAlpaca-7b-32k-chinese | atom-7b |
|
63 |
|2023.11.20 |LongAlpaca-7b-32k-chinese-v2 | CausalLM-7b | 8k->32k Yarn | 增量预训练+指令微调 |长度32k的中文预训练数据 + 长度32k以内的多文档多轮问答、论文多任务多轮问答、sharegpt、中英翻译数据 |
|
64 |
|2023.12.14 |Qwen-14b-chat-yarn-32k| Qwen-14b-chat | 动态 Yarn | 增量预训练+指令微调 |长度32k的中英文预训练数据 + 长度32k以内的改进版多文档多轮问答、论文多任务多轮问答、sharegpt、中英翻译数据 |
|
65 |
|
|
|
9 |
- yuyijiong/LongData-Corpus
|
10 |
pipeline_tag: text-generation
|
11 |
---
|
12 |
+
* 2023.12.14更新:发布微调后的Qwen-14b的权重,微调后的模型能适应32k长度(约4万汉字)的中英问答,在多文档问答任务上提升非常显著,超过chatglm3-32k。相较于之前的版本,几乎完全解决了文档召回准确率低的问题。
|
13 |
<br>
|
14 |
<br>
|
15 |
# LongBench测试结果
|
16 |
### LongBench的passage_retrieval_zh的评测结果
|
17 |
| 模型 | 得分 (acc) |
|
18 |
|---------------------------------------------|----------|
|
19 |
+
| **Qwen-14b-chat-yarn-32k
|
20 |
+
** |**0.94**|
|
21 |
| chatglm3-32k | 0.725 |
|
22 |
| Qwen-14b-chat | 0.525 |
|
23 |
| LongAlpaca-7b-32k-chinese-v2 | 0.12 |
|
|
|
59 |
# 历史版本
|
60 |
|发布时间| 模型 | 基座模型 | 位置插值 | 训练方式 | 训练数据 |
|
61 |
|:-------------------------:|:-------------------------:|:-----------:|:------------:|:--:|:--:|
|
62 |
+
|2023.10.20| LongAlpaca-7b-16k-chinese | atom-7b | 4k->16k PI |指令微调 | 长度16k以内的多文档问答、论文总结、论文问答数据 |
|
63 |
+
|2023.10.25 |LongAlpaca-7b-32k-chinese | atom-7b | 4k->32k PI | 指令微调 | 长度32k以内的多文档问答、论文总结、论文问答、sharegpt数据 |
|
64 |
|2023.11.20 |LongAlpaca-7b-32k-chinese-v2 | CausalLM-7b | 8k->32k Yarn | 增量预训练+指令微调 |长度32k的中文预训练数据 + 长度32k以内的多文档多轮问答、论文多任务多轮问答、sharegpt、中英翻译数据 |
|
65 |
|2023.12.14 |Qwen-14b-chat-yarn-32k| Qwen-14b-chat | 动态 Yarn | 增量预训练+指令微调 |长度32k的中英文预训练数据 + 长度32k以内的改进版多文档多轮问答、论文多任务多轮问答、sharegpt、中英翻译数据 |
|
66 |
|