NVIDIA bracht op 31 mei 2026 tijdens GTC Taipei een grote open-sourcecollectie physical AI-agentvaardigheden en -tools uit, waarmee AI-agents direct ontwikkelworkflows kunnen orchestreren over robotica, autonome voertuigen, vision-AI en industriële digital twins.
Wat het is
De nieuwe vaardigheden worden geleverd als onderdeel van de NVIDIA Agent Toolkit en verpakken NVIDIA's bestaande bibliotheken — Cosmos, Omniverse, Isaac, Metropolis, Alpamayo en Jetson — in tools die door agents kunnen worden aangeroepen. In plaats van dat ontwikkelaars handmatig de stappen voor datageneratie, simulatie, training, evaluatie en implementatie aan elkaar moeten rijgen, kunnen codeer-agents die pijplijnen nu van begin tot eind uitvoeren door herhaalbare, geoptimaliseerde instructies te volgen.
De vaardigheden bestrijken vijf domeinen:
- Robotica en edge-AI: datageneratie voor waarneming en mobiliteit, navigatietraining, Isaac GR00T-updates en het afstemmen van Jetson-implementaties
- Autonome voertuigen: reconstructie van vlootdata naar simulatie, fotorealistische scenariogeneratie en closed-loop reinforcement learning via Alpamayo
- Vision-AI: synthetische datageneratie, het fijnafstemmen van modellen, geautomatiseerd labelen en live-video-analyse via Metropolis
- Industriële AI: conversie van CAD naar digital twin en optimalisatie van OpenUSD-scènes via Omniverse
- Gezondheidszorg: het creëren van digital twins van ziekenhuizen en sim-to-real-beleidstests
Agents draaien aan de rand op Jetson. Beveiliging en privacygovernance worden afgehandeld via de NVIDIA NemoClaw-blueprint en de NVIDIA OpenShell-runtime.
Wat nieuw is ten opzichte van eerder
NVIDIA's afzonderlijke bibliotheken — Isaac, Omniverse, Cosmos — bestonden al. De verschuiving hier is dat ze worden verpakt als tools die door agents kunnen worden aangeroepen in plaats van als API's gericht op ontwikkelaars. Volgens Rev Lebaredian, VP voor physical AI-simulatie bij NVIDIA, kunnen nieuwe end-to-end Isaac GR00T-workflows nu in uren in plaats van weken worden opgezet. Het Cosmos 3-model, aangekondigd naast de toolkit, voegt een mixture-of-transformers-architectuur toe die visueel redeneren en multimodale generatie — tekst, afbeeldingen, video, omgevingsgeluid en acties — combineert in één open model.
Adoptie en beperkingen
Volgens NVIDIA gebruiken 1X Technologies, Agile Robots, Agility, FieldAI, Hexagon Robotics, NEURA Robotics, Skild AI en Universal Robots de agent-ready stack al. Industriële partners als Foxconn, Pegatron, Siemens, TSMC, Dassault Systèmes en Cadence worden eveneens genoemd als gebruikers.
NVIDIA's prestatieclaims — benchmarkrangschikkingen voor Cosmos 3, specifieke cijfers over inferentiesnelheid en verbeteringen in uptime — worden door het bedrijf vermeld, maar zijn in de beschikbare bronnen niet onafhankelijk geverifieerd. De toolkit is open source en beschikbaar op github.com/NVIDIA/skills, hoewel de omvang van de documentatie en het gemak van integratie door derden niet in de aankondiging worden toegelicht.
Als de agent-orchestratielaag de belofte van een opzet in uren in plaats van weken waarmaakt, pakt deze direct het knelpunt van software-integratie aan dat de uitrol van physical AI heeft vertraagd — een probleem dat in de hele sector goed gedocumenteerd is. Dat zou de drempel verlagen voor kleinere roboticateams die niet de engineeringdiepgang hebben om simulatie-, trainings- en implementatiepijplijnen handmatig aan elkaar te knopen.