转换为onnx时格式出现错误
同样的脚本m3e-base转换成功, 但是这个转换失败, 错误: requests.exceptions.ConnectionError: The framework could not be automatically inferred. 是不是少了哪个配置文件啊?
顺便问一下这个模型还会继续更新吗?
最终成功转换为.onnx格式, 但是使用onnxruntime-gpu进行推理性能并没有提升, 提示:
2023-08-13 15:22:55.799145127 [W:onnxruntime:, session_state.cc:1169 VerifyEachNodeIsAssignedToAnEp] Some nodes were not assigned to the preferred execution providers which may or may not have an negative impact on performance. e.g. ORT explicitly assigns shape related ops to CPU to improve perf.
2023-08-13 15:22:55.799186403 [W:onnxruntime:, session_state.cc:1171 VerifyEachNodeIsAssignedToAnEp] Rerunning with verbose output on a non-minimal build will show node assignments.
搜索到可能的原因: 这与ONNX的执行策略有关，由于模型中存在大量shape和constant的操作，这几个op计算在onnx中必须执行在CPU上，为了避免数据拷贝，onnx把网络结构前后整块操作都放在了cpu上，导致识别模型预测速度很慢。
这是否意味着除非调整模型否则没办法使用onnxruntime进行推理加速了?
好兄弟，请问转化为onnx格式的代码能发一下吗？
安装：
pip install transformers[onnx]
转换：
python -m transformers.onnx --model=moka-ai/m3e-large D:
参考链接：
https://huggingface.co/docs/transformers/main_classes/onnx
好兄弟，请问转化为onnx格式的代码能发一下吗？