NVIDIA släppte en omfattande öppen källkodssamling av färdigheter och verktyg för fysiska AI-agenter på GTC Taipei den 31 maj 2026, vilket låter AI-agenter direkt orkestrera utvecklingsarbetsflöden inom robotik, autonoma fordon, syn-AI och industriella digitala tvillingar.
Vad det är
De nya färdigheterna levereras som en del av NVIDIA Agent Toolkit och paketerar NVIDIA:s befintliga bibliotek – Cosmos, Omniverse, Isaac, Metropolis, Alpamayo och Jetson – till verktyg som agenter kan anropa. Istället för att utvecklare manuellt kedjar samman steg för datagenerering, simulering, träning, utvärdering och driftsättning kan kodagenter nu köra dessa pipelines från början till slut genom att följa upprepningsbara, optimerade instruktioner.
Färdigheterna täcker fem områden:
- Robotik och edge-AI: generering av perceptions- och rörelsedata, navigeringsträning, uppdateringar av Isaac GR00T och finjustering av Jetson-driftsättning
- Autonoma fordon: rekonstruktion av flottdata till simulering, fotorealistisk scenariogenerering och förstärkningsinlärning i sluten slinga via Alpamayo
- Syn-AI: generering av syntetisk data, finjustering av modeller, automatiserad märkning och livevideoanalys via Metropolis
- Industriell AI: konvertering från CAD till digital tvilling och optimering av OpenUSD-scener via Omniverse
- Sjukvård: skapande av digitala sjukhustvillingar och policytestning från simulering till verklighet
Agenter körs på Jetson vid kanten. Säkerhets- och integritetsstyrning hanteras via NVIDIA NemoClaw-ritningen och NVIDIA OpenShell-runtime.
Vad som är nytt jämfört med tidigare
NVIDIA:s enskilda bibliotek – Isaac, Omniverse, Cosmos – fanns redan. Skiftet här är att paketera dem som verktyg som agenter kan anropa snarare än API:er riktade till utvecklare. Enligt Rev Lebaredian, VP för fysisk AI-simulering på NVIDIA, kan nya kompletta Isaac GR00T-arbetsflöden nu sättas upp på timmar i stället för veckor. Cosmos 3-modellen, som tillkännagavs tillsammans med verktygslådan, lägger till en mixture-of-transformers-arkitektur som kombinerar synresonemang och multimodal generering – text, bilder, video, omgivningsljud och åtgärder – i en enda öppen modell.
Användning och begränsningar
Enligt NVIDIA använder 1X Technologies, Agile Robots, Agility, FieldAI, Hexagon Robotics, NEURA Robotics, Skild AI och Universal Robots redan den agentklara stacken. Industriella partner inklusive Foxconn, Pegatron, Siemens, TSMC, Dassault Systèmes och Cadence namnges också som användare.
NVIDIA:s prestandapåståenden – benchmarkplaceringar för Cosmos 3, specifika siffror för inferenshastighet och förbättringssiffror för drifttid – anges av företaget men är inte oberoende verifierade i de tillgängliga källorna. Verktygslådan är öppen källkod och tillgänglig på github.com/NVIDIA/skills, även om dokumentationens omfattning och hur lätt tredjepartsintegration är inte beskrivs i tillkännagivandet.
Om agentorkestreringslagret infriar löftet om timmar i stället för veckor angriper det direkt den flaskhals i programvaruintegration som har bromsat driftsättningen av fysisk AI – ett väldokumenterat problem i hela branschen. Det skulle sänka tröskeln för mindre robotikteam som saknar den tekniska djupkunskap som krävs för att manuellt koppla samman simulerings-, tränings- och driftsättningspipelines.