AccueilMessageLunettes intelligentes pour entraîner des robots

Lunettes intelligentes pour entraîner des robots



Et si les robots pouvaient apprendre en regardant simplement les humains?Un nouveau système utilisant des lunettes intelligentes peut rapprocher cette idée de la réalité.



Au cours des dernières décennies, des robots sont apparus dans des endroits comme les centres commerciaux, les aéroports, les hôpitaux, les bureaux et les maisons.Pour servir d'aides, ils doivent gérer les tâches comme le nettoyage, le lavage de la vaisselle, la cuisson et faire la lessive.Les robots de formation pour ces tâches avec l'apprentissage automatique sont difficiles, car ils ont besoin de données ou de vidéos d'humains effectuant les tâches.Pour résoudre ce problème, des chercheurs de l'Université de New York et de l'UC Berkeley ont développé Egozero, un système qui recueille des vidéos à la première personne en utilisant le projet Aria Smart Glasses by Meta.

Egozero utilise le mouvement des lunettes intelligentes pour générer des représentations 3D de la scène.Il les combine avec des données de pose manuelle d'un modèle d'estimation de la main.Le système crée un ensemble de points de données d'action d'état, qui sont utilisés pour former une politique basée sur un transformateur qui aide les robots à apprendre les tâches.


Contrairement aux systèmes antérieurs, Egozero n'a pas besoin de plusieurs caméras, de poignets ou de gants de capture de mouvement.Seules les lunettes intelligentes sont utilisées pour collecter les données.

Egozero simplifie la collecte de données pour la formation des robots.Avec 20 minutes de démonstrations humaines, le système peut collecter suffisamment de données pour enseigner les tâches des robots.Cela rend la collecte de données plus rapide et plus pratique dans les contextes naturels.

En supprimant le besoin de téléopération ou de démonstrations spécifiques aux robots, Egozero permet aux robots d'apprendre du comportement humain.Le système génère des données de formation sans la configuration requise par les méthodes précédentes.

La politique basée sur le transformateur formé par Egozero fonctionne dans une boucle fermée, en utilisant des points de données 3D capturés lors de la démonstration.Cela aide le robot à comprendre à la fois l'environnement et les actions nécessaires pour effectuer des tâches.

Avec Egozero, les chercheurs peuvent former efficacement les robots, en réduisant le temps et le coût.La capacité du système à transférer des compétences humaines aux robots sans données spécifiques aux robots permet un développement plus rapide des robots.

À mesure que davantage de données deviennent disponibles, cette approche pourrait conduire à des robots qui gèrent les tâches dans les maisons, les bureaux et les espaces publics.En simplifiant la formation, Egozero peut accélérer l'adoption de robots en tant qu'aideurs.