qingxu99 commited on
Commit
7167c84
1 Parent(s): 42d366b

修正解析源代码bug

Browse files
crazy_functional.py CHANGED
@@ -15,12 +15,10 @@ def get_crazy_functions():
15
  from crazy_functions.解析项目源代码 import 解析一个Rect项目
16
  from crazy_functions.高级功能函数模板 import 高阶功能模板函数
17
  from crazy_functions.代码重写为全英文_多线程 import 全项目切换英文
 
18
 
19
  function_plugins = {
20
- "请解析并解构此项目本身(源码自译解)": {
21
- "AsButton": False, # 加入下拉菜单中
22
- "Function": HotReload(解析项目本身)
23
- },
24
  "解析整个Python项目": {
25
  "Color": "stop", # 按钮颜色
26
  "Function": HotReload(解析一个Python项目)
@@ -57,11 +55,15 @@ def get_crazy_functions():
57
  "Color": "stop", # 按钮颜色
58
  "Function": HotReload(批量生成函数注释)
59
  },
 
 
 
60
  "[多线程demo] 把本项目源代码切换成全英文": {
61
  # HotReload 的意思是热更新,修改函数插件代码后,不需要重启程序,代码直接生效
 
62
  "Function": HotReload(全项目切换英文)
63
  },
64
- "[函数插件模板demo] 历史上的今天": {
65
  # HotReload 的意思是热更新,修改函数插件代码后,不需要重启程序,代码直接生效
66
  "Function": HotReload(高阶功能模板函数)
67
  },
@@ -76,7 +78,6 @@ def get_crazy_functions():
76
  from crazy_functions.谷歌检索小助手 import 谷歌检索小助手
77
  from crazy_functions.理解PDF文档内容 import 理解PDF文档内容
78
  from crazy_functions.理解PDF文档内容 import 理解PDF文档内容标准文件输入
79
- from crazy_functions.Latex全文润色 import Latex英文润色
80
  from crazy_functions.Latex全文润色 import Latex中文润色
81
  from crazy_functions.Latex全文翻译 import Latex中译英
82
  from crazy_functions.Latex全文翻译 import Latex英译中
@@ -87,13 +88,13 @@ def get_crazy_functions():
87
  "AsButton": True, # 加入下拉菜单中
88
  "Function": HotReload(批量翻译PDF文档)
89
  },
90
- "[仅供开发调试] 批量总结PDF文档": {
91
  "Color": "stop",
92
  "AsButton": False, # 加入下拉菜单中
93
  # HotReload 的意思是热更新,修改函数插件代码后,不需要重启程序,代码直接生效
94
  "Function": HotReload(批量总结PDF文档)
95
  },
96
- "[仅供开发调试] 批量总结PDF文档pdfminer": {
97
  "Color": "stop",
98
  "AsButton": False, # 加入下拉菜单中
99
  "Function": HotReload(批量总结PDF文档pdfminer)
@@ -107,12 +108,12 @@ def get_crazy_functions():
107
  "Color": "stop",
108
  "Function": HotReload(总结word文档)
109
  },
110
- "理解PDF文档内容(Tk文件选择接口,仅本地)": {
111
  # HotReload 的意思是热更新,修改函数插件代码后,不需要重启程序,代码直接生效
112
  "AsButton": False, # 加入下拉菜单中
113
  "Function": HotReload(理解PDF文档内容)
114
  },
115
- "理解PDF文档内容(通用接口,读取文件输入区)": {
116
  # HotReload 的意思是热更新,修改函数插件代码后,不需要重启程序,代码直接生效
117
  "Color": "stop",
118
  "AsButton": False, # 加入下拉菜单中
 
15
  from crazy_functions.解析项目源代码 import 解析一个Rect项目
16
  from crazy_functions.高级功能函数模板 import 高阶功能模板函数
17
  from crazy_functions.代码重写为全英文_多线程 import 全项目切换英文
18
+ from crazy_functions.Latex全文润色 import Latex英文润色
19
 
20
  function_plugins = {
21
+
 
 
 
22
  "解析整个Python项目": {
23
  "Color": "stop", # 按钮颜色
24
  "Function": HotReload(解析一个Python项目)
 
55
  "Color": "stop", # 按钮颜色
56
  "Function": HotReload(批量生成函数注释)
57
  },
58
+ "[多线程Demo] 解析此项目本身(源码自译解)": {
59
+ "Function": HotReload(解析项目本身)
60
+ },
61
  "[多线程demo] 把本项目源代码切换成全英文": {
62
  # HotReload 的意思是热更新,修改函数插件代码后,不需要重启程序,代码直接生效
63
+ "AsButton": False, # 加入下拉菜单中
64
  "Function": HotReload(全项目切换英文)
65
  },
66
+ "[函数插件模板Demo] 历史上的今天": {
67
  # HotReload 的意思是热更新,修改函数插件代码后,不需要重启程序,代码直接生效
68
  "Function": HotReload(高阶功能模板函数)
69
  },
 
78
  from crazy_functions.谷歌检索小助手 import 谷歌检索小助手
79
  from crazy_functions.理解PDF文档内容 import 理解PDF文档内容
80
  from crazy_functions.理解PDF文档内容 import 理解PDF文档内容标准文件输入
 
81
  from crazy_functions.Latex全文润色 import Latex中文润色
82
  from crazy_functions.Latex全文翻译 import Latex中译英
83
  from crazy_functions.Latex全文翻译 import Latex英译中
 
88
  "AsButton": True, # 加入下拉菜单中
89
  "Function": HotReload(批量翻译PDF文档)
90
  },
91
+ "[内测] 批量总结PDF文档": {
92
  "Color": "stop",
93
  "AsButton": False, # 加入下拉菜单中
94
  # HotReload 的意思是热更新,修改函数插件代码后,不需要重启程序,代码直接生效
95
  "Function": HotReload(批量总结PDF文档)
96
  },
97
+ "[内测] 批量总结PDF文档pdfminer": {
98
  "Color": "stop",
99
  "AsButton": False, # 加入下拉菜单中
100
  "Function": HotReload(批量总结PDF文档pdfminer)
 
108
  "Color": "stop",
109
  "Function": HotReload(总结word文档)
110
  },
111
+ "[内测] 理解PDF文档内容(Tk文件选择接口,仅本地)": {
112
  # HotReload 的意思是热更新,修改函数插件代码后,不需要重启程序,代码直接生效
113
  "AsButton": False, # 加入下拉菜单中
114
  "Function": HotReload(理解PDF文档内容)
115
  },
116
+ "[内测] 理解PDF文档内容(通用接口,读取文件输入区)": {
117
  # HotReload 的意思是热更新,修改函数插件代码后,不需要重启程序,代码直接生效
118
  "Color": "stop",
119
  "AsButton": False, # 加入下拉菜单中
crazy_functions/crazy_utils.py CHANGED
@@ -76,7 +76,7 @@ def request_gpt_model_in_new_thread_with_ui_alive(
76
  try:
77
  # 【第一种情况】:顺利完成
78
  result = predict_no_ui_long_connection(
79
- inputs=inputs, llm_kwargs=llm_kwargs,
80
  history=history, sys_prompt=sys_prompt, observe_window=mutable)
81
  return result
82
  except ConnectionAbortedError as token_exceeded_error:
 
76
  try:
77
  # 【第一种情况】:顺利完成
78
  result = predict_no_ui_long_connection(
79
+ inputs=inputs, llm_kwargs=llm_kwargs,
80
  history=history, sys_prompt=sys_prompt, observe_window=mutable)
81
  return result
82
  except ConnectionAbortedError as token_exceeded_error:
crazy_functions/解析项目源代码.py CHANGED
@@ -41,6 +41,22 @@ def 解析源代码新(file_manifest, project_folder, llm_kwargs, plugin_kwargs,
41
  chatbot.append(("完成?", "逐个文件分析已完成。" + res + "\n\n正在开始汇总。"))
42
  yield from update_ui(chatbot=chatbot, history=history_to_return) # 刷新界面
43
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
44
  ############################## <第二步,综合,单线程,分组+迭代处理> ##################################
45
  batchsize = 16 # 10个文件为一组
46
  report_part_2 = []
@@ -53,14 +69,14 @@ def 解析源代码新(file_manifest, project_folder, llm_kwargs, plugin_kwargs,
53
  file_rel_path = [os.path.relpath(fp, project_folder) for index, fp in enumerate(this_iteration_file_manifest)]
54
  # 把“请对下面的程序文件做一个概述” 替换成 精简的 "文件名:{all_file[index]}"
55
  for index, content in enumerate(this_iteration_gpt_response_collection):
56
- if index%2==0: this_iteration_gpt_response_collection[index] = f"文件名:{file_rel_path[index//2]}"
57
  previous_iteration_files.extend([os.path.relpath(fp, project_folder) for index, fp in enumerate(this_iteration_file_manifest)])
58
  previous_iteration_files_string = ', '.join(previous_iteration_files)
59
  current_iteration_focus = ', '.join([os.path.relpath(fp, project_folder) for index, fp in enumerate(this_iteration_file_manifest)])
60
  i_say = f'根据以上分析,对程序的整体功能和构架重新做出概括。然后用一张markdown表格整理每个文件的功能(包括{previous_iteration_files_string})。'
61
  inputs_show_user = f'根据以上分析,对程序的整体功能和构架重新做出概括,由于输入长度限制,可能需要分组处理,本组文件为 {current_iteration_focus} + 已经汇总的文件组。'
62
  this_iteration_history = copy.deepcopy(this_iteration_gpt_response_collection)
63
- this_iteration_history.extend(last_iteration_result)
64
  result = yield from request_gpt_model_in_new_thread_with_ui_alive(
65
  inputs=i_say, inputs_show_user=inputs_show_user, llm_kwargs=llm_kwargs, chatbot=chatbot,
66
  history=this_iteration_history, # 迭代之前的分析
 
41
  chatbot.append(("完成?", "逐个文件分析已完成。" + res + "\n\n正在开始汇总。"))
42
  yield from update_ui(chatbot=chatbot, history=history_to_return) # 刷新界面
43
 
44
+ ############################## <存储中间数据进行调试> ##################################
45
+
46
+ # def objdump(obj):
47
+ # import pickle
48
+ # with open('objdump.tmp', 'wb+') as f:
49
+ # pickle.dump(obj, f)
50
+ # return
51
+
52
+ # def objload():
53
+ # import pickle, os
54
+ # if not os.path.exists('objdump.tmp'):
55
+ # return
56
+ # with open('objdump.tmp', 'rb') as f:
57
+ # return pickle.load(f)
58
+ # objdump([report_part_1, gpt_response_collection, history_to_return, file_manifest, project_folder, fp, llm_kwargs, chatbot])
59
+
60
  ############################## <第二步,综合,单线程,分组+迭代处理> ##################################
61
  batchsize = 16 # 10个文件为一组
62
  report_part_2 = []
 
69
  file_rel_path = [os.path.relpath(fp, project_folder) for index, fp in enumerate(this_iteration_file_manifest)]
70
  # 把“请对下面的程序文件做一个概述” 替换成 精简的 "文件名:{all_file[index]}"
71
  for index, content in enumerate(this_iteration_gpt_response_collection):
72
+ if index%2==0: this_iteration_gpt_response_collection[index] = f"{file_rel_path[index//2]}" # 只保留文件名节省token
73
  previous_iteration_files.extend([os.path.relpath(fp, project_folder) for index, fp in enumerate(this_iteration_file_manifest)])
74
  previous_iteration_files_string = ', '.join(previous_iteration_files)
75
  current_iteration_focus = ', '.join([os.path.relpath(fp, project_folder) for index, fp in enumerate(this_iteration_file_manifest)])
76
  i_say = f'根据以上分析,对程序的整体功能和构架重新做出概括。然后用一张markdown表格整理每个文件的功能(包括{previous_iteration_files_string})。'
77
  inputs_show_user = f'根据以上分析,对程序的整体功能和构架重新做出概括,由于输入长度限制,可能需要分组处理,本组文件为 {current_iteration_focus} + 已经汇总的文件组。'
78
  this_iteration_history = copy.deepcopy(this_iteration_gpt_response_collection)
79
+ this_iteration_history.append(last_iteration_result)
80
  result = yield from request_gpt_model_in_new_thread_with_ui_alive(
81
  inputs=i_say, inputs_show_user=inputs_show_user, llm_kwargs=llm_kwargs, chatbot=chatbot,
82
  history=this_iteration_history, # 迭代之前的分析
requirements.txt CHANGED
@@ -4,6 +4,7 @@ transformers
4
  python-markdown-math
5
  beautifulsoup4
6
  latex2mathml
 
7
  mdtex2html
8
  colorama
9
  tiktoken
@@ -12,4 +13,4 @@ pygments
12
  pymupdf
13
  openai
14
  numpy
15
- python-docx
 
4
  python-markdown-math
5
  beautifulsoup4
6
  latex2mathml
7
+ python-docx
8
  mdtex2html
9
  colorama
10
  tiktoken
 
13
  pymupdf
14
  openai
15
  numpy
16
+ arxiv