推理如何设置batchsize
#10
by
william0014
- opened
在使用14B推理的时候，该如何使用该模型呢，以及怎么设置batch_size
batch inference详见https://github.com/QwenLM/Qwen#batch-inference
jklj077
changed discussion status to
closed
在使用14B推理的时候，该如何使用该模型呢，以及怎么设置batch_size
batch inference详见https://github.com/QwenLM/Qwen#batch-inference