Torch-TensorRT 1.1.0 版本正式发布

我们十分高兴地宣布，Torch-TensorRT 1.1.0 版本正式发布！

• PyTorch 1.11

• CUDA 11.3（在 x86_64 上，默认设置下，兼容的 PyTorch Build 支持较新版本的 CUDA 11）

• cuDNN 8.2.4.15

• TensorRT 8.2.4.2

由于最近 JetPack 的升级和其发布流程的变化，Torch-TRTv1.1.0 版本不支持Jetson（Jetpack 5.0DP 或其他）。将在中期版本（Torch-TensorRT1.1.x）同时支持 Jetpack 5.0DP 和 TensorRT 8.4。

• HF BERT 性能

• 算子和性能的进一步优化使 HF BERT 的性能比 V1.1 版本提升了 40%




• 更多的算子

• 18 个新的 aten 算子转换器提高了 TensorRT 的模型覆盖范围和性能

• 查看全部 250+ 个算子（请复制链接查看）

  https://github.com/pytorch/TensorRT/releases/tag/v1.1.0#:~:text=narens%40nvidia.com-,Operators%20Supported,-Operators%20Currently%20Supported




• Triton 后端支持

• 21.12 版本以上的 Triton 现已支持 Torch-TensorRT

• 将在不久后提供工作流程教程

• 调试工具

• 上下文管理器现在允许使用更简洁清晰的调试工作流程

• 不支持的算子已降级为警告，建议使用上下文管理器进行调查

• API 变更

• max_batch_size 和 strict_types 由于在 TRT 中不被遵守已被删除

• Torch-TensorRT GitHub：https://github.com/NVIDIA/Torch-TensorRT

• Torch-TensorRT 文档：https://nvidia.github.io/Torch-TensorRT/

• Torch-TensorRT v1.1.0 版本说明：https://github.com/NVIDIA/Torch-TensorRT/releases/tag/v1.1.0

所有与 Torch-TensorRT 相关的 Bug 都应被归入新的 “MachineLearning – TorchTRT” nvbugs 模块。

点击阅读原文，查看Torch-TensorRT 1.1.0详细发布内容