3v324v23 commited on
Commit
7339b06
2 Parent(s): ce1fc3a a9a4892

Merge branch 'master' of github.com:binary-husky/chatgpt_academic

Browse files
request_llm/README.md CHANGED
@@ -1,4 +1,4 @@
1
- # 如何使用其他大语言模型(v3.0分支测试中)
2
 
3
  ## ChatGLM
4
 
@@ -15,7 +15,7 @@ LLM_MODEL = "chatglm"
15
 
16
 
17
  ---
18
- ## Text-Generation-UI (TGUI)
19
 
20
  ### 1. 部署TGUI
21
  ``` sh
 
1
+ # 如何使用其他大语言模型
2
 
3
  ## ChatGLM
4
 
 
15
 
16
 
17
  ---
18
+ ## Text-Generation-UI (TGUI,调试中,暂不可用)
19
 
20
  ### 1. 部署TGUI
21
  ``` sh
request_llm/bridge_all.py CHANGED
@@ -1,12 +1,12 @@
1
 
2
  """
3
- 该文件中主要包含2个函数
4
 
5
- 不具备多线程能力的函数:
6
- 1. predict: 正常对话时使用,具备完备的交互功能,不可多线程
7
 
8
- 具备多线程调用能力的函数
9
- 2. predict_no_ui_long_connection:在实验过程中发现调用predict_no_ui处理长文档时,和openai的连接容易断掉,这个函数用stream的方式解决这个问题,同样支持多线程
10
  """
11
  import tiktoken
12
  from functools import lru_cache
 
1
 
2
  """
3
+ 该文件中主要包含2个函数,是所有LLM的通用接口,它们会继续向下调用更底层的LLM模型,处理多模型并行等细节
4
 
5
+ 不具备多线程能力的函数:正常对话时使用,具备完备的交互功能,不可多线程
6
+ 1. predict(...)
7
 
8
+ 具备多线程调用能力的函数:在函数插件中被调用,灵活而简洁
9
+ 2. predict_no_ui_long_connection(...)
10
  """
11
  import tiktoken
12
  from functools import lru_cache