trtexec \
--fp16 \
--minShapes=input_ids:1x128,attention_mask:1x128 \
--optShapes=input_ids:8x128,attention_mask:8x128 \
--maxShapes=input_ids:32x128,attention_mask:32x128 \
--saveEngine=model.plan \
--shapes=input_ids:8x128,attention_mask:8x128 \
--inputIOFormats="int64:chw,int64:chw" \
--onnx=model.onnx