qwen2.5-law-summary
模型概述
模型名称:qwen2.5-law-summary
模型类型:指令微调版本
基础模型:qwen2.5系列,参数量为0.5B
训练数据:3400余条法律判决书及人工摘要
数据来源:法研杯2020年法律文书摘要大赛
参考文献:BRIO 论文
训练细节
- 训练类型:全量指令微调
- 训练任务:采用最大似然估计与对比排序学习的多任务算法。
- 损失函数:
loss_likelihood
与loss_contrast
的比例基本保持在9:1至8:2之间,根据原论文的实验,这可能并未是最佳配比。
- 排序对比数据:从原训练集中采样,使用双底座模型qwen-plus及ENIRE-128K生成。
- 排序评估:使用传统的ROUGE-F,计算
ROUGE_1
、ROUGE_2
、ROUGE_L
的平均值进行排序。
训练硬件配置
- 硬件环境:H20-96G
- 训练轮次:共训练4轮
- 补充说明:
- 采用flash-attention与deepspeed以适应长序列数据和对比损失带来的额外显存需求。
模型性能
模型训练完成后的回答风格与原模型存在明显差异,更偏好业内人员书写风格。使用方法与原模型相同,但提示词需稍作修改以与训练指令对齐。
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "jiangchengchengNLP/qwen_0.5B_instruct_law_summarize"
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype="auto",
device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
with open("河北宁晋农村商业银行股份有限公司小刘村支行与杨保会、杨立田等借款合同纠纷一审民事判决书.txt", "r", encoding="utf-8") as f:
prompt = f.read()
messages = [
{"role": "system", "content": "你是法律小助手,你的任务是将用户输入的内容整理成一份摘要"},
{"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids =model.generate(
**model_inputs,
max_new_tokens=512
)
generated_ids = [
output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)
原被告系借款合同关系。原告提出诉求:1、请求法院依法判令被告偿还借款本金2000元及利息4912.6元;2、本案诉讼费用由被告承担。经审理查明,双方签订的借款合同和保证担保借款合同合法有效,被告未按约定偿还原告借款本息,应负违约责任。依据《中华人民共和国合同法》第八条、第六十条、第二百零五条、第二百零六条、二百零七条,《中华人民共和国担保法》第十八条、第二十一条以及《中华人民共和国民事诉讼法》第一百四十四条之规定,判决:1、被告偿还借款本息24912.6元;2、被告承担连带清偿责任。
测试效果
在200条测试数据集上的ROUGE评分如下:
ROUGE_1
:0.5703008654122925ROUGE_2
:0.4040075748793321ROUGE_L
:0.47319922532178305
总结
qwen2.5-law-summary模型针对法律文本的摘要生成进行了优化训练,适用于法律领域的研究与应用。通过高效的训练策略与强大的硬件支持,模型在特定领域的性能上有了显著提升。
- Downloads last month
- 14
Model tree for jiangchengchengNLP/qwen_0.5B_instruct_law_summarize
Base model
Qwen/Qwen2.5-0.5B