Spaces:
Running
Running
私有化部署硬件配置
#4
by
hongbaoai
- opened
请问Qwen/Qwen2-72B-Instruct私有化部署最低需要什么样的硬件配置呀？一个200人的公司，如果选Qwen/Qwen2-72B-Instruct作为它的私有知识库大模型，服务器需要什么样的配置才能满足日常需求？
用 Qwen/Qwen2-72B-Instruct-GPTQ-Int4 需要 40 GB 以上的显存，2 张 4090 刚好，vllm 32 并发下大概 300 tokens/s。
非量化版估计要 160 GB 显存，2 张 80 GB 的 A100/H100，或 4 张 40 GB 的 A100 才能跑起来，价格大概 30 ～ 50 万吧。