NVIDIA vydala 31. května 2026 na GTC Taipei rozsáhlou open-source kolekci dovedností a nástrojů agentů pro fyzickou AI, která umožňuje AI agentům přímo orchestrovat vývojové pracovní postupy napříč robotikou, autonomními vozidly, vizuální AI a průmyslovými digitálními dvojčaty.
Co to je
Nové dovednosti jsou součástí NVIDIA Agent Toolkit a obalují stávající knihovny NVIDIA — Cosmos, Omniverse, Isaac, Metropolis, Alpamayo a Jetson — do nástrojů volatelných agenty. Místo aby vývojáři ručně zřetězovali kroky generování dat, simulace, trénování, vyhodnocování a nasazení, mohou nyní kódovací agenti tyto pipeline provádět od začátku do konce podle opakovatelných, optimalizovaných instrukcí.
Dovednosti pokrývají pět domén:
- Robotika a edge AI: generování dat o vnímání a mobilitě, trénování navigace, aktualizace Isaac GR00T a ladění nasazení Jetson
- Autonomní vozidla: rekonstrukce dat z flotily do simulace, generování fotorealistických scénářů a posilované učení v uzavřené smyčce prostřednictvím Alpamayo
- Vizuální AI: generování syntetických dat, dolaďování modelů, automatizované anotování a analýza živého videa prostřednictvím Metropolis
- Průmyslová AI: převod CAD na digitální dvojče a optimalizace OpenUSD scén prostřednictvím Omniverse
- Zdravotnictví: vytváření digitálních dvojčat nemocnic a testování politik sim-to-real
Agenti běží na Jetsonu na okraji sítě. Správa zabezpečení a soukromí je řešena prostřednictvím blueprintu NVIDIA NemoClaw a runtimu NVIDIA OpenShell.
Co je nového oproti dosavadnímu stavu
Jednotlivé knihovny NVIDIA — Isaac, Omniverse, Cosmos — již existovaly. Posun zde spočívá v jejich obalení do nástrojů volatelných agenty namísto API určených vývojářům. Podle Reva Lebarediana, viceprezidenta pro simulaci fyzické AI v NVIDIA, lze nyní nové ucelené pracovní postupy Isaac GR00T nastavit za hodiny místo týdnů. Model Cosmos 3, oznámený spolu s toolkitem, přidává architekturu mixture-of-transformers, která v jediném otevřeném modelu kombinuje vizuální uvažování a multimodální generování — text, obrázky, video, okolní zvuk a akce.
Adopce a omezení
Podle NVIDIA již agenty připravený stack používají 1X Technologies, Agile Robots, Agility, FieldAI, Hexagon Robotics, NEURA Robotics, Skild AI a Universal Robots. Mezi uvedenými uživateli jsou i průmysloví partneři včetně Foxconn, Pegatron, Siemens, TSMC, Dassault Systèmes a Cadence.
Výkonnostní tvrzení NVIDIA — umístění Cosmos 3 v benchmarcích, konkrétní hodnoty rychlosti inference a čísla o zlepšení dostupnosti — uvádí firma, ale v dostupných zdrojích nejsou nezávisle ověřena. Toolkit je open source a dostupný na github.com/NVIDIA/skills, ačkoli rozsah dokumentace a snadnost integrace třetími stranami nejsou v oznámení podrobně popsány.
Pokud vrstva orchestrace agentů splní příslib nastavení za hodiny namísto týdnů, přímo zaútočí na úzké hrdlo softwarové integrace, které zpomalovalo nasazení fyzické AI — dobře zdokumentovaný problém napříč oborem. To by snížilo bariéru pro menší robotické týmy, jimž chybí inženýrská hloubka k ručnímu propojení simulace, trénování a nasazovacích pipeline.