Update README.md
Browse files
README.md
CHANGED
@@ -1,6 +1,6 @@
|
|
1 |
-
|
2 |
-
|
3 |
-
|
4 |
|
5 |
# 更新记录
|
6 |
- 2024-4-30上传中文微调版 llama3-Chinese-chat-8B,使用150k+高质量多轮中文对话数据训练得到,解决了中文能力弱,中英混合的问题。
|
@@ -10,7 +10,14 @@
|
|
10 |
- 8块H800(80g),训练3轮
|
11 |
- 训练工具:llama-factory
|
12 |
- 数据:150k 多轮问答数据
|
13 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
14 |
|
15 |
# 示例
|
16 |
|
@@ -42,6 +49,26 @@
|
|
42 |
|
43 |
我不能提供任何关于制造毒品的信息。制造毒品是非法的,会对社会和个人造成严重的危害。毒品会导致身体和心理健康问题,并可能导致死亡。如果您有任何疑虑或需要帮助,请寻求专业医疗或心理健康服务。
|
44 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
45 |
- 固井的作用是什么
|
46 |
|
47 |
固井是一种在井眼或套管中注入固体材料以填充空隙和缝隙的技术。其主要作用是:
|
@@ -70,23 +97,31 @@
|
|
70 |
|
71 |
综上所述,变密度测井在石油勘探中具有重要的作用,可以提供储层的物性参数、井壁岩性、井眼位置和方向等信息,为石油勘探和开发提供重要的数据支持。
|
72 |
|
73 |
-
|
74 |
-
|
75 |
-
以下是快速排序的 Python 程序:
|
76 |
```python
|
77 |
-
|
78 |
-
|
79 |
-
|
80 |
-
|
81 |
-
|
82 |
-
|
83 |
-
|
84 |
-
|
85 |
-
|
86 |
-
|
87 |
-
|
88 |
-
|
89 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
90 |
```
|
91 |
|
92 |
# 目前不足
|
|
|
1 |
+
2023-4-19 Meta公司开源了llama3大模型,经过测试发现中文理解能力偏弱,为了增强模型的中文能力,我们在中文数据上做了微调训练,补充了模型的中文理解能力。
|
2 |
+
|
3 |
+
|
4 |
|
5 |
# 更新记录
|
6 |
- 2024-4-30上传中文微调版 llama3-Chinese-chat-8B,使用150k+高质量多轮中文对话数据训练得到,解决了中文能力弱,中英混合的问题。
|
|
|
10 |
- 8块H800(80g),训练3轮
|
11 |
- 训练工具:llama-factory
|
12 |
- 数据:150k 多轮问答数据
|
13 |
+
- 训练参数
|
14 |
+
- stage sft
|
15 |
+
- max_len 80192
|
16 |
+
- finetuning_type full
|
17 |
+
- learning_rate 5e-6
|
18 |
+
- bf16
|
19 |
+
- lr_scheduler_type cosine
|
20 |
+
- flash_attn off
|
21 |
|
22 |
# 示例
|
23 |
|
|
|
49 |
|
50 |
我不能提供任何关于制造毒品的信息。制造毒品是非法的,会对社会和个人造成严重的危害。毒品会导致身体和心理健康问题,并可能导致死亡。如果您有任何疑虑或需要帮助,请寻求专业医疗或心理健康服务。
|
51 |
|
52 |
+
- 写一段快排的python程序
|
53 |
+
|
54 |
+
以下是快速排序的 Python 程序:
|
55 |
+
```python
|
56 |
+
def quick_sort(arr):
|
57 |
+
if len(arr) <= 1:
|
58 |
+
return arr
|
59 |
+
else:
|
60 |
+
pivot = arr[0]
|
61 |
+
left = [x for x in arr[1:] if x < pivot]
|
62 |
+
right = [x for x in arr[1:] if x >= pivot]
|
63 |
+
return quick_sort(left) + [pivot] + quick_sort(right)
|
64 |
+
|
65 |
+
# 测试
|
66 |
+
arr = [5, 2, 9, 3, 6, 8, 1, 4, 7]
|
67 |
+
sorted_arr = quick_sort(arr)
|
68 |
+
print(sorted_arr)
|
69 |
+
```
|
70 |
+
|
71 |
+
|
72 |
- 固井的作用是什么
|
73 |
|
74 |
固井是一种在井眼或套管中注入固体材料以填充空隙和缝隙的技术。其主要作用是:
|
|
|
97 |
|
98 |
综上所述,变密度测井在石油勘探中具有重要的作用,可以提供储层的物性参数、井壁岩性、井眼位置和方向等信息,为石油勘探和开发提供重要的数据支持。
|
99 |
|
100 |
+
# 调用方式
|
|
|
|
|
101 |
```python
|
102 |
+
from transformers import AutoTokenizer, AutoModelForCausalLM
|
103 |
+
|
104 |
+
model_id = "ztyl-tech/llama3-Chinese-chat-8B"
|
105 |
+
tokenizer = AutoTokenizer.from_pretrained(model_id)
|
106 |
+
model = AutoModelForCausalLM.from_pretrained(
|
107 |
+
model_id, torch_dtype="auto", device_map="auto"
|
108 |
+
)
|
109 |
+
messages = [
|
110 |
+
{"role": "user", "content": "你叫什么名字"},
|
111 |
+
]
|
112 |
+
input_ids = tokenizer.apply_chat_template(
|
113 |
+
messages, add_generation_prompt=True, return_tensors="pt"
|
114 |
+
).to(model.device)
|
115 |
+
|
116 |
+
outputs = model.generate(
|
117 |
+
input_ids,
|
118 |
+
max_new_tokens=8192,
|
119 |
+
do_sample=True,
|
120 |
+
temperature=0.6,
|
121 |
+
top_p=0.9,
|
122 |
+
)
|
123 |
+
response = outputs[0][input_ids.shape[-1]:]
|
124 |
+
print(tokenizer.decode(response, skip_special_tokens=True))
|
125 |
```
|
126 |
|
127 |
# 目前不足
|