NVIDIA julkaisi merkittävän avoimen lähdekoodin kokoelman fyysisen tekoälyn agenttitaitoja ja -työkaluja GTC Taipeissa 31. toukokuuta 2026, antaen tekoälyagenttien orkestroida suoraan kehitystyönkulkuja robotiikan, itseajaavien ajoneuvojen, näkö-tekoälyn ja teollisten digitaalisten kaksosten alueilla.
Mitä se on
Uudet taidot toimitetaan osana NVIDIA Agent Toolkitia, ja ne kääräisevät NVIDIAn olemassa olevat kirjastot — Cosmos, Omniverse, Isaac, Metropolis, Alpamayo ja Jetson — agenttien kutsuttaviksi työkaluiksi. Sen sijaan että kehittäjät ketjuttaisivat manuaalisesti yhteen datan generoinnin, simuloinnin, koulutuksen, arvioinnin ja käyttöönoton vaiheet, koodiagentit voivat nyt suorittaa nuo putket alusta loppuun noudattamalla toistettavia, optimoituja ohjeita.
Taidot kattavat viisi aluetta:
- Robotiikka ja edge-tekoäly: havainto- ja liikkuvuusdatan generointi, navigointikoulutus, Isaac GR00T -päivitykset ja Jetson-käyttöönoton viritys
- Itseajaaavat ajoneuvot: ajoneuvokaluston datan rekonstruointi simulaatioksi, fotorealistinen skenaarioiden generointi ja suljetun silmukan vahvistusoppiminen Alpamayon kautta
- Näkö-tekoäly: synteettisen datan generointi, mallien hienosäätö, automaattinen merkitseminen ja reaaliaikainen videoanalyysi Metropoliksen kautta
- Teollinen tekoäly: CAD-mallien muuntaminen digitaalisiksi kaksosiksi ja OpenUSD-näkymien optimointi Omniversen kautta
- Terveydenhuolto: sairaalan digitaalisten kaksosten luominen ja sim-to-real-käytäntöjen testaus
Agentit toimivat Jetsonilla reunalla. Tietoturva- ja yksityisyyshallinta hoidetaan NVIDIA NemoClaw -mallin ja NVIDIA OpenShell -ajoympäristön kautta.
Mikä on uutta aiempaan verrattuna
NVIDIAn yksittäiset kirjastot — Isaac, Omniverse, Cosmos — olivat jo olemassa. Muutos tässä on niiden kääräiseminen agenttien kutsuttaviksi työkaluiksi kehittäjille suunnattujen rajapintojen sijaan. NVIDIAn fyysisen tekoälyn simuloinnin varatoimitusjohtaja Rev Lebaredianin mukaan uudet Isaac GR00T -työnkulut alusta loppuun voidaan nyt pystyttää tunneissa viikkojen sijaan. Työkalupakin ohella julkistettu Cosmos 3 -malli lisää mixture-of-transformers-arkkitehtuurin, joka yhdistää näköpäättelyn ja multimodaalisen generoinnin — tekstin, kuvat, videon, ympäristöäänen ja toiminnot — yhteen avoimeen malliin.
Käyttöönotto ja rajoitukset
NVIDIAn mukaan 1X Technologies, Agile Robots, Agility, FieldAI, Hexagon Robotics, NEURA Robotics, Skild AI ja Universal Robots käyttävät jo agenttivalmista pinoa. Myös teollisuuskumppanit, mukaan lukien Foxconn, Pegatron, Siemens, TSMC, Dassault Systèmes ja Cadence, mainitaan käyttäjinä.
NVIDIAn suorituskykyväitteet — Cosmos 3:n vertailusijoitukset, tietyt päättelynopeusluvut ja käytettävyyden parannusluvut — ovat yhtiön ilmoittamia mutta riippumattomasti vahvistamattomia saatavilla olevissa lähteissä. Työkalupakki on avointa lähdekoodia ja saatavilla osoitteessa github.com/NVIDIA/skills, vaikkakaan dokumentaation laajuutta ja kolmansien osapuolten integroinnin helppoutta ei eritellä julkistuksessa.
Jos agenttiorkestrointikerros lunastaa tunnit-ei-viikkoja-pystytysväitteen, se hyökkää suoraan ohjelmistointegraation pullonkaulaa vastaan, joka on hidastanut fyysisen tekoälyn käyttöönottoa — ongelma, joka on hyvin dokumentoitu koko alalla. Se madaltaisi kynnystä pienemmille robotiikkatiimeille, joilta puuttuu insinöörisyvyys simuloinnin, koulutuksen ja käyttöönoton putkien manuaaliseen yhdistämiseen.