GTC23 | 使用 NVIDIA Jetson Orin Nano 开发套件开发 AI 机器人及智能视觉系统

NVIDIA Jetson Orin Nano Developer Kit 为创建入门级 AI 机器人、智能无人机和智能视觉系统设定了一个新标准，同时简化了 NVIDIA Jetson Orin Nano 系列的入门。这款开发套件紧凑的设计、众多的连接器以及高达 40 TOPS 的 AI 性能，非常适合将您富有远见的概念转化为现实。

这款开发套件由一个 Jetson Orin Nano 8GB 模块和一个参考载板组成，可容纳所有 NVIDIA Jetson Orin Nano 和 NVIDIA Jetson Orin NX 模块，为下一代边缘 AI 产品的原型设计提供了理想的平台。

Jetson Orin Nano 8GB 模块采用 NVIDIA Ampere architecture GPU，具有 1024 个 CUDA 内核、32 个第三代 Tensor Core 和一个 6 核 Arm CPU ，可实现多个并发 AI 应用管线和高性能推理。开发套件载板拥有广泛的连接器阵列，包括两个 MIPI CSI 连接器，支持多达四个通道的相机模块，实现了比以前更高的分辨率和帧速率。

上一代 Jetson Nano 开发套件让 AI 变得平易近人。而新的 Jetson Orin Nano 开发套件以 80 倍的性能提高了入门级 AI 开发的门槛，使开发人员能够运行任何类型的现代 AI 模型，包括 Transformer 和高级机器人模型。与上一代 Jetson Nano 相比，不仅大大提高了 AI 性能，Jetson Orin Nano 还提供了 5.4 倍的 CUDA 计算能力、6.6 倍的 CPU 性能和每瓦 50 倍的性能。

图 1  NVIDIA Jetson Orin Nano 和 NVIDIA Jetson Nano 的性能和效率比较

表 1 和表 2 显示了套件载板的主要功能和接口。

表 1  NVIDIA Jetson Orin Nano 开发套件模块说明

表 2  NVIDIA Jetson Orin Nano 开发套件载板规格

Jetson Orin Nano 开发套件现在可以预订，将于 4 月开始发货。欲查阅 Jetson Orin Nano 技术文档、参考设计文件和软件，请访问 Jetson Download Center (https://developer.nvidia.com/embedded/downloads) 。

Jetson Orin Nano 开发套件具有高达 40 TOPS 的 AI 性能，可以运行所有现代 AI 模型。这一计算上的重大飞跃使要求最苛刻的 AI 应用成为可能，包括在边缘运行 Transformer 模型，这在此前是不可能的。

Transformer 模型是近来生成式 AI 应用程序的基础，如正在席卷世界的 ChatGPT 和 DALL-E。Transformer 模型通过跟踪序列数据中元素之间的关系来学习上下文和意义，无需大型标记数据集。

今天就开始着手吧：

• City Segmentation (https://catalog.ngc.nvidia.com/orgs/nvidia/teams/tao/models/citysemsegformer) 用于将城市景观划分为不同类别

• PeopleNet Transformer (https://catalog.ngc.nvidia.com/orgs/nvidia/teams/tao/models/peoplenet_transformer) 基于 Deformable Detection Transformer

• BERT (https://docs.nvidia.com/deeplearning/riva/user-guide/docs/reference/models/nlp.html#bert) 用于自然语言处理

Jetson Orin Nano 开发套件具有特定于用例的可用应用程序框架，可运行 NVIDIA AI 软件堆栈。其中包括用于机器人的 NVIDIA Isaac 、用于视觉 AI 的 NVIDIA DeepStream 和用于会话 AI 的 NVIDIA Riva。使用 NVIDIA Omniverse Replicator 进行合成数据生成（ SDG ）可以节省大量时间，使用 NVIDIA TAO Toolkit 还可以从 NGC 目录中微调预训练的 AI 模型。

图 3 显示了基于 Jetson Orin Nano 使用即将推出的 NVIDIA JetPack 5.1.1 运行一些计算机视觉基准测试的结果。这些结果表明开发套件提高了入门级计算机视觉的标准。测试包括 NGC 的一些密集 INT8 和 FP16 预训练模型，以及 Industry Resnet-50 基准。基准测试包括以下内容：

• NVIDIA PeopleNet v2.5 用于最高精度人员检测

• NVIDIA ActionRecognitionNet 二维和三维模型

• NVIDIA LPRNet 用于车牌识别

• 用于多人体态判断的 NVIDIA DashCamNet 及 BodyPoseNet

• ResNet-50（ 224 × 224 ）物体检测模型

  
  

Jetson Orin Nano 开发套件是一个多功能平台，支持使用 NVIDIA TAO Toolkit 4.0 训练的模型，很快还将支持 TAO Toolkit 5.0 中新发布的模型。使用 TAO Toolkit 5.0，开发人员可以利用几种最先进的视觉 Transformer 模型进行图像分类、对象检测和分割用例。了解更多信息，请参阅：

https://developer.nvidia.com/blog/access-the-latest-in-vision-ai-model-development-workflows-with-nvidia-tao-toolkit-5-0/

NVIDIA Jetson Orin Nano 和 NVIDIA DeepStream 是边缘应用的理想组合，如智能零售、智能城市十字路口和工业自动化。随着 DeepStream 即将推出的版本以及 GXF 运行时的引入，Jetson Orin Nano 将是运行 AI 图形的理想平台，这些图形需要与确定性系统紧密集成，在工厂自动化用例中很常见。

此外，想要快速熟悉 DeepStream，您可以使用最新版本的 Jetson Graph Composer 构建应用程序，并通过单击按钮将其部署到 Jetson Orin Nano。

图 4  在 DeepStream Graph Composer 中构建应用程序，并将其部署到 Jetson Orin Nano

NVIDIA Isaac 机器人平台是一个强大的端到端平台，用于开发、模拟和部署 AI 机器人。特别是硬件加速包 NVIDIA Isaac ROS，使 ROS 2 开发人员更容易在 Jetson Orin Nano 开发套件上构建高性能解决方案。新的 NVIDIA Isaac ROS DP 优化了 ROS 2 节点处理管线，可以在 Jetson Orin 平台上执行。它还提供了新的基于 DNN 的 GEMS ，旨在提高吞吐量。

图 4 显示了使用即将发布的 NVIDIA Isaac ROS DP3 在 Jetson Orin Nano 上运行这些机器人软件包的结果。性能是在负载情况下测量的，包括 RCL 中的消息传输成本，用于指示真实世界性能的实际基准测试。测试包括图表中所示的算法（图 4 ），包括：

• Visual SLAM 使机器人能够通过跟踪环境周围的视觉特征，基于图像计算其位置和运动

• April Tags 用于 AprilTag 检测和姿态判断

• Image Detection

• Image Segmentation

• Proximity Segmentation 确定障碍物是否在近场内，并避免在导航过程中与障碍物碰撞

• Stereo Disparity 用于拍摄立体输入图像并生成视差图，用于机器人导航

了解如何开始使用 NVIDIA Jetson Orin Nano 开发套件：

开始构建下一代应用程序原型，预订 NVIDIA Jetson Orin Nano 开发套件（https://www.nvidia.com/en-us/autonomous-machines/embedded-systems/jetson-orin/）并安装最新的 NVIDIA JetPack。

图 6  NVIDIA Jetson Orin Nano 开发套件

全线可用于量产的 NVIDIA Jetson Orin 系列模块现已上市，包括 Jetson AGX Orin 系列、 Jetson Orin NX 系列和 Jetson Orin Nano 系列。Jetson AGX Orin 开发套件现已升级，包含 64GB 内存。

额外资源：

有关 NVIDIA Jetson Orin Nano 开发套件的更多信息，请观看 NVIDIA GTC23 分会：Connect with the Experts: A Deep-Dive Q&A on Jetson Orin and Edge AI (https://www.nvidia.com/gtc/session-catalog/?tab.catalogallsessionstab=16566177511100015Kus&search=CWES52132#/session/1670472065129001rf2z).

要了解有关该模块的更多信息，请参阅 Solving Entry-Level Edge AI Challenges with NVIDIA Jetson Orin Nano (https://developer.nvidia.com/blog/solving-entry-level-edge-ai-challenges-with-nvidia-jetson-orin-nano/#:~:text=Jetson%20Orin%20Nano%20series%20%20%20%20,CPU%20%20...%20%2014%20more%20rows%20) 和 Jetson Orin Nano Series Data Sheet (https://developer.nvidia.com/embedded/downloads#?search=Jetson%20Orin%20Nano%20Series%20Module%20Data%20Sheet).

访问 NVIDIA Embedded Developer 页面 (https://developer.nvidia.com/embedded-computing) 和 forums (https://forums.developer.nvidia.com/c/agx-autonomous-machines/jetson-embedded-systems/70) 以获得社区专家的帮助。