代理人進入開發迴路、資料零拷貝上線:NVIDIA Isaac ROS 5.0 重塑開源機器人開發
NVIDIA 在 ROSCon 多倫多發布 Isaac ROS 5.0:內建代理人技能(Agentic Skills)、支援 ROS 2 Lyrical,並向上游貢獻 CUDA 零拷貝緩衝區,讓 AI 編碼代理人正式加入機器人工程師的行列。
本週在多倫多舉行的 ROSCon 上,NVIDIA 發布了 Isaac ROS 5.0——這套建構於機器人作業系統(ROS)之上的 GPU 加速軟體堆疊的最新版本。這次更新讀起來不像一般的版本號推進,更像是同時押注兩個方向:讓 AI 編碼代理人與人類工程師並肩打造機器人,以及讓開源的 ROS 生態系獲得第一線的 GPU 加速、而不被鎖進專有方案。
此版本已於 9 月 21 日在 GitHub 上標記為 v5.0.0,並於 9 月 22 日正式宣布,完全免費且開源。它的問班正值 ROS 本身的轉型期:開源機器人聯盟(Open Source Robotics Alliance)的最新長期支援版本 Lyrical Luth(2026 年 5 月 23 日發布)推動整個框架走向供應商中立的擴充性,而 NVIDIA 將 Isaac ROS 5.0 定位為這個世代的加速配套。該公司表示,這套堆疊目前服務「近 130 萬 ROS 使用者」——這個數字解釋了為什麼此版本的每個細節,影響力都遠超過 NVIDIA 自家的客戶群。
頭條:機器人開發機器人
Isaac ROS 5.0 最與眾不同的部分,是 NVIDIA 所稱的代理人開發工作流(agentic development workflows)。具體來說,這套堆疊現在隨附 Isaac skills——以開放 Agent Skills 格式撰寫、可被 AI 編碼助理載入、理解並執行的可重複使用工作流。可以把它們想成一份份結構化的操作手冊,讓大型語言模型代理人像初階工程師照著 runbook 走流程一樣完成任務。
本次發布以兩類技能領銜:環境設定(setup)與機械臂操作(manipulation)。舉例來說,一項 FoundationStereo 微調技能會引導 AI 代理人將 NVIDIA 的立體感知模型適配到開發者特定的相機、環境與應用場景——這類繁瑣且貼近校準的工作,正決定了深度感知在一台機器人上是「堪用」還是「精準」。NVIDIA 也將文件做成「代理人可讀」(agent-ready),讓 AI 代理人能解析工具工作流,更快把開發者的意圖變成可運行的應用。
隨版本發布的技術部落格把整個工作流講得很具體:一個專門打造的 migrate-node-to-rosidl-buffer 技能,會引導 AI 編碼代理人稽核一個 CUDA 加速的 ROS 2 節點、追蹤資料流動、規劃一個保持介面不變的最小重構,最後驗證 GPU 傳輸路徑確實啟用——並用 NVIDIA Nsight Systems 確認 ROS 邊界上不存在酬載等級的主機端傳輸。值得注意的是,驗證步驟被寫死在技能裡,而不是交給代理人的自律。Isaac ROS CLI 隨附用於啟用開發環境的 isaac-ros-activate 與早期Access的節點遷移技能,更多技能則發布在 nvidia/skills 目錄的 Physical AI 分類下。
零拷貝,而且標準化
第二大支柱低調許多,但對 ROS 生態系而言可能更具深遠意義。NVIDIA 與開源機器人聯盟合作,向上游貢獻了一個標準資料處理介面——rosidl::buffer——進入 ROS 2 Lyrical,聯盟將其描述為 Luth 版本的基石功能之一。
它解決的問題,任何剖析過 ROS 訊息圖的人都熟悉:再快的 CUDA 核心也保證不了快的管線,因為節點之間流動的訊息通常要經過序列化或經 CPU 記憶體複製,侵蝕了把感知與 AI 工作負載留在 GPU 上的效益。rosidl::buffer 抽象層允許標準 ROS 訊息中的變長陣列欄位,改由外部管理的儲存空間支撐——在 NVIDIA 貢獻的後端中就是 CUDA 虛擬記憶體。當發布者與訂閱者滿足執行期條件(同一主機、同一 CUDA 裝置、同一 Linux 使用者、以及支援的 RMW 實作如 rmw_fastrtps_cpp 或 rmw_zenoh_cpp)時,酬載可在共存節點之間無序列化、無主機端複製地移動;條件不滿足時,ROS 2 會自動退回 CPU 路徑,與任何既有節點保持相容。
至關重要的是,這項功能是進入上游主線,而非以 NVIDIA 分支的形式存在。「NVIDIA 在實作 buffer 機制的方式上真正堪為典範,」ROS 專案負責人 Michael J. Carroll 在 9 月 20 日聯盟網站的文章中寫道。「他們沒有把工作直接丟回給我們,而是發起了大量的社群協作與意見徵集。」各供應商可以外掛形式提供自己的 buffer 後端,轉換套件則可將 ROS 訊息適配到 PyTorch 或 CV-CUDA 等框架。NVIDIA 也誠實標註:零拷貝路徑取決於後端條件,並非普世保證——在一份 Otherwise 大打效能牌的發布中,這個但書值得肯定。
Isaac ROS 5.0 本身則完成了一次整體搬遷:堆疊中所有節點都改用 CUDA buffer 後端,舊的 NITROS 加速套件則被完全移除。直接呼叫 NITROS API 的程式碼需要原始碼層級的遷移——這是本次發布最大的破壞性變更,而前述的代理人遷移技能正是為了緩解它而來。
值得引用的數字
在代理人敘事之下,這次發布帶著具體的效能宣稱。NVIDIA 的物件姿態估計與追蹤基礎模型 FoundationPose,現在提供代理人可用的推論函式庫,讓機器人感知與追蹤物件位置及朝向的速度提升最高 5.5 倍。拾取與放置(pick-and-place)——串接偵測、深度估計與姿態輸出的工作流——如今成為獨立的代理人技能,可在 Isaac ROS 之外使用。系統整合商 Ekumen(Grid Dynamics 旗下)則報告,在 GPU 上以 isaac_ros_cumotion 為倉儲機械臂規劃無碰撞路徑,耗時約 2 至 5 毫秒。
平台支援範圍也同步擴大。Isaac ROS 5.0 新增 ROS 2 Lyrical 與 Ubuntu 24.04(Noble)支援、提供內含 Lyrical 生態系套件的 Isaac ROS Buildfarm apt 儲存庫,並可跨越從入門級 Jetson Orin Nano 到 Jetson Thor 的硬體。新套件包含 isaac_ros_gpu_partitioning——透過 CUDA Multi-Process Service 將 GPU 串流多處理器的固定份額分配給各 ROS 2 行程;視覺 SLAM 套件則更名為 isaac_ros_cuvslam 以對應底層函式庫。修復清單中,還包括 isaac_ros_segment_anything2 一個會讓即時相機分割管線 GPU 記憶體逐幀洩漏、最終導致 out-of-memory 的缺陷。
已經在動的生態系
發布內容讀起來像機器人產業名冊,而這個廣度正是重點所在。Mentee Robotics 以 Isaac ROS 作為其人形機器人 MenteeBot 的感知與 AI 骨幹,橫跨 Orin 與 Thor 兩個平台;Universal Robots 將它整合進 AI Accelerator SDK;ROBOTIS 整合進 AI Worker 機器人、Flexiv 整合進 Rizon 4 自適應機械臂、Seeed Studio 則在 Jetson Thor 上驅動 reBot Arm。Magna 將 Isaac ROS 與 Isaac GR00T 模型部署及硬體在環模擬搭配使用;Intrinsic 新開源的 Core 套件——包含其 Machine Tending Solution——則內建 FoundationPose 相容性。
兩條生態系支線特別值得注意。由 RealSense 贊助的開源專案 AgenticROS,將 Isaac ROS 與 NVIDIA Nemotron 開源模型連接起來,讓 AI 代理人能直接與 ROS 機器人互動。RealSense 本身也在為 Isaac ROS 與 Jetson Thor 最佳化其 D585 Pro 立體深度相機與 SDK——考量到 Cognex 同日宣布以 5 億美元全現金收購 RealSense,這樣的組合又多了一層意義:機器人感知這個類別,已經熱到成為併購標的。
意義所在
Isaac ROS 5.0 最貼切的解讀,是 NVIDIA 對整個機器人產業正在問的問題給出的答案:當 AI 代理人有能力撰寫與重構真正的程式碼,機器人整合中那些枯燥、易錯的管線工程該由誰來做?NVIDIA 的答案是讓管線本身變得「代理人可讀」——以技能形式文件化、可用分析工具驗證、並在上游標準化——讓代理人的生產力放大加速堆疊的價值,而不是繞過它。
向上遊貢獻 rosidl::buffer 是策略上最鋒利的一步。把加速記憶體傳輸標準化進 ROS 本體——CUDA 後端只是眾多潛在外掛之一——NVIDIA 一方面強化了生態系的供應商中立性,一方面確保任何 ROS 訊息圖中最快的路徑都跑在自己的矽晶片上。對估計 130 萬 ROS 開發者而言,這是「加速即鎖定」與「加速即選項」的差別;對 NVIDIA 而言,這是一條蓋在開放框架「裡面」而非「旁邊」的護城河。
當然有但書。NITROS 的移除迫使既有用戶遷移;RealSense 相機在本版本僅支援 Docker 模式;零拷貝傳輸仍取決於執行期相容性而非保證。而代理人開發工作流再 polished,仍依賴 AI 編碼代理人在安全關鍵程式碼庫裡守規矩——這正是為什麼 NVIDIA 的技能設計堅持內建驗證步驟,而不是信任代理人本身。
這些都不減損其意義。有了 Isaac ROS 5.0,從「開發者意圖」到「運行中的機器人」這條迴路,被圍繞著兩個新夥伴重新架構:線上的 GPU,與 IDE 裡的 AI 代理人。從某種真實的意義上說,兩者如今都是機器人工具鏈的一部分。
Sources
- [1] https://nvidianews.nvidia.com/news/isacc-ros-5-0
- [2] https://developer.nvidia.com/blog/accelerating-a-ros-2-node-with-an-ai-agent-and-nvidia-isaac-ros/
- [3] https://nvidia-isaac-ros.github.io/releases/index.html
- [4] https://www.unite.ai/nvidias-isaac-ros-5-0-adds-agentic-skills-and-ros-lyrical-support/