Update README.md
Browse files
README.md
CHANGED
|
@@ -46,6 +46,8 @@ Welcome to Qwen2-72B-Instruct-math model, which is used for solving Math Problem
|
|
| 46 |
CUDA_VISIBLE_DEVICES=0,1 python -m vllm.entrypoints.openai.api_server --model /workspace/models/Qwen2-72B-Instruct-math --served-model-name Qwen2-72B-Instruct-math --gpu-memory-utilization 0.95 --max-model-len 8192 --dtype auto --api-key token-abc123 --tensor-parallel-size 2
|
| 47 |
```
|
| 48 |
|
|
|
|
|
|
|
| 49 |
也可以使用LLaMA-Factory框架提供的api部署命令提供模型推理服务。
|
| 50 |
|
| 51 |
**注意**：需使用两张80G显存的A100才能部署。
|
|
@@ -54,9 +56,7 @@ CUDA_VISIBLE_DEVICES=0,1 python -m vllm.entrypoints.openai.api_server --model /w
|
|
| 54 |
|
| 55 |
```python
|
| 56 |
# -*- coding: utf-8 -*-
|
| 57 |
-
# @place: Pudong, Shanghai
|
| 58 |
# @file: infer.py
|
| 59 |
-
# @time: 2024/7/4 10:15
|
| 60 |
import os
|
| 61 |
import re
|
| 62 |
import subprocess
|
|
@@ -114,7 +114,9 @@ if '```python' in reply_message and '\n```' in reply_message:
|
|
| 114 |
print(reply_message.replace('```python', '\n```python'))
|
| 115 |
```
|
| 116 |
|
| 117 |
-
3. 使用Open WebUI中的Pipelines，提供推理页面
|
|
|
|
|
|
|
| 118 |
|
| 119 |
|
| 120 |
|
|
|
|
| 46 |
CUDA_VISIBLE_DEVICES=0,1 python -m vllm.entrypoints.openai.api_server --model /workspace/models/Qwen2-72B-Instruct-math --served-model-name Qwen2-72B-Instruct-math --gpu-memory-utilization 0.95 --max-model-len 8192 --dtype auto --api-key token-abc123 --tensor-parallel-size 2
|
| 47 |
```
|
| 48 |
|
| 49 |
+
将--model参数后面的模型路径替换成你本地路径，或者直接使用项目名称。
|
| 50 |
+
|
| 51 |
也可以使用LLaMA-Factory框架提供的api部署命令提供模型推理服务。
|
| 52 |
|
| 53 |
**注意**：需使用两张80G显存的A100才能部署。
|
|
|
|
| 56 |
|
| 57 |
```python
|
| 58 |
# -*- coding: utf-8 -*-
|
|
|
|
| 59 |
# @file: infer.py
|
|
|
|
| 60 |
import os
|
| 61 |
import re
|
| 62 |
import subprocess
|
|
|
|
| 114 |
print(reply_message.replace('```python', '\n```python'))
|
| 115 |
```
|
| 116 |
|
| 117 |
+
3. 或者 使用Open WebUI中的Pipelines，提供推理页面
|
| 118 |
+
|
| 119 |
+
具体使用方法见参考文献中的 4. [Open WebUI的Pipelines学习之使用大模型解数学题](https://mp.weixin.qq.com/s?__biz=MzU2NTYyMDk5MQ==&mid=2247487013&idx=1&sn=6a6786ba8c8c7cfdbc02ef558adefe71&chksm=fcb9b7b5cbce3ea37f8fb61e743d0ea0a7d4f5d6b8e8b2c7a80171a5c8c217524d8f307c0146&token=120899150&lang=zh_CN#rd) 。
|
| 120 |
|
| 121 |
|
| 122 |
|