Spaces:
Runtime error
Runtime error
binary-husky
commited on
Commit
•
a9a4892
1
Parent(s):
e889590
Update bridge_all.py
Browse files
request_llm/bridge_all.py
CHANGED
@@ -1,12 +1,12 @@
|
|
1 |
|
2 |
"""
|
3 |
-
该文件中主要包含2
|
4 |
|
5 |
-
|
6 |
-
1. predict
|
7 |
|
8 |
-
|
9 |
-
2. predict_no_ui_long_connection
|
10 |
"""
|
11 |
import tiktoken
|
12 |
from functools import lru_cache
|
|
|
1 |
|
2 |
"""
|
3 |
+
该文件中主要包含2个函数,是所有LLM的通用接口,它们会继续向下调用更底层的LLM模型,处理多模型并行等细节
|
4 |
|
5 |
+
不具备多线程能力的函数:正常对话时使用,具备完备的交互功能,不可多线程
|
6 |
+
1. predict(...)
|
7 |
|
8 |
+
具备多线程调用能力的函数:在函数插件中被调用,灵活而简洁
|
9 |
+
2. predict_no_ui_long_connection(...)
|
10 |
"""
|
11 |
import tiktoken
|
12 |
from functools import lru_cache
|