NVIDIA a publié une importante collection open source de compétences et d'outils pour agents d'IA physique lors du GTC Taipei le 31 mai 2026, permettant aux agents d'IA d'orchestrer directement les flux de développement à travers la robotique, les véhicules autonomes, la vision par IA et les jumeaux numériques industriels.
De quoi s'agit-il
Les nouvelles compétences sont livrées dans le cadre du NVIDIA Agent Toolkit et encapsulent les bibliothèques existantes de NVIDIA — Cosmos, Omniverse, Isaac, Metropolis, Alpamayo et Jetson — sous forme d'outils appelables par des agents. Au lieu de chaîner manuellement les étapes de génération de données, de simulation, d'entraînement, d'évaluation et de déploiement, les agents de codage peuvent désormais exécuter ces pipelines de bout en bout en suivant des instructions reproductibles et optimisées.
Les compétences couvrent cinq domaines :
- Robotique et IA en périphérie : génération de données de perception et de mobilité, entraînement à la navigation, mises à jour Isaac GR00T et optimisation du déploiement sur Jetson
- Véhicules autonomes : reconstruction des données de flottes en simulation, génération de scénarios photoréalistes et apprentissage par renforcement en boucle fermée via Alpamayo
- Vision par IA : génération de données synthétiques, ajustement fin de modèles, étiquetage automatisé et analyse vidéo en direct via Metropolis
- IA industrielle : conversion de CAO en jumeau numérique et optimisation de scènes OpenUSD via Omniverse
- Santé : création de jumeaux numériques d'hôpitaux et tests de politiques du simulé au réel
Les agents s'exécutent sur Jetson en périphérie. La gouvernance de la sécurité et de la confidentialité est assurée par le blueprint NVIDIA NemoClaw et le runtime NVIDIA OpenShell.
Ce qui est nouveau par rapport à l'existant
Les bibliothèques individuelles de NVIDIA — Isaac, Omniverse, Cosmos — existaient déjà. Le changement ici consiste à les encapsuler en outils appelables par des agents plutôt qu'en API destinées aux développeurs. Selon Rev Lebaredian, VP de la simulation d'IA physique chez NVIDIA, de nouveaux flux Isaac GR00T de bout en bout peuvent désormais être mis en place en quelques heures plutôt qu'en quelques semaines. Le modèle Cosmos 3, annoncé en même temps que le toolkit, ajoute une architecture à mélange de transformeurs qui combine raisonnement visuel et génération multimodale — texte, images, vidéo, son ambiant et actions — au sein d'un même modèle ouvert.
Adoption et limites
Selon NVIDIA, 1X Technologies, Agile Robots, Agility, FieldAI, Hexagon Robotics, NEURA Robotics, Skild AI et Universal Robots utilisent déjà la pile prête pour les agents. Des partenaires industriels, dont Foxconn, Pegatron, Siemens, TSMC, Dassault Systèmes et Cadence, figurent également parmi les utilisateurs.
Les affirmations de performance de NVIDIA — classements de benchmarks pour Cosmos 3, chiffres précis de vitesse d'inférence et taux d'amélioration de la disponibilité — sont avancées par l'entreprise mais ne sont pas vérifiées de manière indépendante dans les sources disponibles. Le toolkit est open source et disponible sur github.com/NVIDIA/skills, bien que l'étendue de la documentation et la facilité d'intégration par des tiers ne soient pas détaillées dans l'annonce.
Si la couche d'orchestration d'agents tient sa promesse d'une mise en place en heures plutôt qu'en semaines, elle s'attaque directement au goulot d'étranglement de l'intégration logicielle qui a ralenti le déploiement de l'IA physique — un problème bien documenté dans l'ensemble du secteur. Cela abaisserait la barrière pour les petites équipes de robotique qui n'ont pas la profondeur d'ingénierie nécessaire pour relier manuellement les pipelines de simulation, d'entraînement et de déploiement.