ztyl-tech commited on
Commit
52b0618
1 Parent(s): 193f570

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +55 -20
README.md CHANGED
@@ -1,6 +1,6 @@
1
- # 智通云联公司介绍
2
- ## AI技术赋能的企业数智化转型服务商
3
- 智通云联核心团队坚守工业知识与技术创新领域十余年,以丰厚的技术底蕴、扎实的行业实践,打造基于以大模型和知识图谱为代表的AI技术赋能的软硬件产品和解决方案,盘活企业数字资产,服务众多石油化工、军工、政府、乳品餐饮行业标杆客户,为企业数智化转型设立新路标。
4
 
5
  # 更新记录
6
  - 2024-4-30上传中文微调版 llama3-Chinese-chat-8B,使用150k+高质量多轮中文对话数据训练得到,解决了中文能力弱,中英混合的问题。
@@ -10,7 +10,14 @@
10
  - 8块H800(80g),训练3轮
11
  - 训练工具:llama-factory
12
  - 数据:150k 多轮问答数据
13
-
 
 
 
 
 
 
 
14
 
15
  # 示例
16
 
@@ -42,6 +49,26 @@
42
 
43
  我不能提供任何关于制造毒品的信息。制造毒品是非法的,会对社会和个人造成严重的危害。毒品会导致身体和心理健康问题,并可能导致死亡。如果您有任何疑虑或需要帮助,请寻求专业医疗或心理健康服务。
44
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
45
  - 固井的作用是什么
46
 
47
  固井是一种在井眼或套管中注入固体材料以填充空隙和缝隙的技术。其主要作用是:
@@ -70,23 +97,31 @@
70
 
71
  综上所述,变密度测井在石油勘探中具有重要的作用,可以提供储层的物性参数、井壁岩性、井眼位置和方向等信息,为石油勘探和开发提供重要的数据支持。
72
 
73
- - 写一段快排的python程序
74
-
75
- 以下是快速排序的 Python 程序:
76
  ```python
77
- def quick_sort(arr):
78
- if len(arr) <= 1:
79
- return arr
80
- else:
81
- pivot = arr[0]
82
- left = [x for x in arr[1:] if x < pivot]
83
- right = [x for x in arr[1:] if x >= pivot]
84
- return quick_sort(left) + [pivot] + quick_sort(right)
85
-
86
- # 测试
87
- arr = [5, 2, 9, 3, 6, 8, 1, 4, 7]
88
- sorted_arr = quick_sort(arr)
89
- print(sorted_arr)
 
 
 
 
 
 
 
 
 
 
90
  ```
91
 
92
  # 目前不足
 
1
+ 2023-4-19 Meta公司开源了llama3大模型,经过测试发现中文理解能力偏弱,为了增强模型的中文能力,我们在中文数据上做了微调训练,补充了模型的中文理解能力。
2
+
3
+
4
 
5
  # 更新记录
6
  - 2024-4-30上传中文微调版 llama3-Chinese-chat-8B,使用150k+高质量多轮中文对话数据训练得到,解决了中文能力弱,中英混合的问题。
 
10
  - 8块H800(80g),训练3轮
11
  - 训练工具:llama-factory
12
  - 数据:150k 多轮问答数据
13
+ - 训练参数
14
+ - stage sft
15
+ - max_len 80192
16
+ - finetuning_type full
17
+ - learning_rate 5e-6
18
+ - bf16
19
+ - lr_scheduler_type cosine
20
+ - flash_attn off
21
 
22
  # 示例
23
 
 
49
 
50
  我不能提供任何关于制造毒品的信息。制造毒品是非法的,会对社会和个人造成严重的危害。毒品会导致身体和心理健康问题,并可能导致死亡。如果您有任何疑虑或需要帮助,请寻求专业医疗或心理健康服务。
51
 
52
+ - 写一段快排的python程序
53
+
54
+ 以下是快速排序的 Python 程序:
55
+ ```python
56
+ def quick_sort(arr):
57
+ if len(arr) <= 1:
58
+ return arr
59
+ else:
60
+ pivot = arr[0]
61
+ left = [x for x in arr[1:] if x < pivot]
62
+ right = [x for x in arr[1:] if x >= pivot]
63
+ return quick_sort(left) + [pivot] + quick_sort(right)
64
+
65
+ # 测试
66
+ arr = [5, 2, 9, 3, 6, 8, 1, 4, 7]
67
+ sorted_arr = quick_sort(arr)
68
+ print(sorted_arr)
69
+ ```
70
+
71
+
72
  - 固井的作用是什么
73
 
74
  固井是一种在井眼或套管中注入固体材料以填充空隙和缝隙的技术。其主要作用是:
 
97
 
98
  综上所述,变密度测井在石油勘探中具有重要的作用,可以提供储层的物性参数、井壁岩性、井眼位置和方向等信息,为石油勘探和开发提供重要的数据支持。
99
 
100
+ # 调用方式
 
 
101
  ```python
102
+ from transformers import AutoTokenizer, AutoModelForCausalLM
103
+
104
+ model_id = "ztyl-tech/llama3-Chinese-chat-8B"
105
+ tokenizer = AutoTokenizer.from_pretrained(model_id)
106
+ model = AutoModelForCausalLM.from_pretrained(
107
+ model_id, torch_dtype="auto", device_map="auto"
108
+ )
109
+ messages = [
110
+ {"role": "user", "content": "你叫什么名字"},
111
+ ]
112
+ input_ids = tokenizer.apply_chat_template(
113
+ messages, add_generation_prompt=True, return_tensors="pt"
114
+ ).to(model.device)
115
+
116
+ outputs = model.generate(
117
+ input_ids,
118
+ max_new_tokens=8192,
119
+ do_sample=True,
120
+ temperature=0.6,
121
+ top_p=0.9,
122
+ )
123
+ response = outputs[0][input_ids.shape[-1]:]
124
+ print(tokenizer.decode(response, skip_special_tokens=True))
125
  ```
126
 
127
  # 目前不足