tensortrt与onnx打分不一致
#1
by
super-super
- opened
你好，请问tensortrt是怎么转换的？我这边转换之后发现打分跟onnx差异很大；而且对一个batch的打分结果与对batch中单个doc打分结果也有很大差异
你好，我是用 Nvidia Triton TensorRT compiler来转换的 (根据 https://docs.nvidia.com/deeplearning/tensorrt/quick-start-guide/index.html#save-model）。说实话我也是发现打分差别挺大的，所以结果没用TensorRT的版本。若有什么想法可以跟我分享 ：）