gants-intelligents-qui-reconnaissent-le-poids-des-objets

Portant des gants remplis de capteurs pour manipuler divers objets, les chercheurs du MIT ont compilé un vaste ensemble de données permettant à un système d’intelligence artificielle de reconnaître des objets uniquement par le toucher. Ces informations pourraient être exploitées pour aider les robots à identifier et manipuler des objets ou aider à la conception de prothèses.

Des gants qui apprennent à reconnaître des objets

Les chercheurs ont mis au point ces gants avec des composants peu coûteux, appelé «gants tactiles évolutifs» (STAG), équipé d’environ 550 capteurs minuscules sur presque toute la main. Chaque capteur capture les signaux de pression lorsque les humains interagissent avec les objets de différentes manières. Un réseau de neurones traite les signaux pour «apprendre» un ensemble de données de modèles de pressions liés à des objets spécifiques.

Ensuite, le système utilise cet ensemble de données pour classifier les objets et prédire leurs poids uniquement par la sensation, sans qu’il soit nécessaire de la voir.

Dans un article publié dans Nature, les chercheurs décrivent un ensemble de données qu’ils ont compilé à l’aide d’un STAG pour 26 objets courants – notamment une canette de soda, des ciseaux, une balle de tennis, une cuillère, un stylo et une tasse ou tout autre objet selon le cas. À l’aide de l’ensemble des données, le système a prédit l’identité des objets avec une précision allant jusqu’à 76%. Le système peut également prédire le poids de la plupart des objets pesant environ 60 grammes.

Un STAG coûte 10 dollars

Des gants similaires utilisés aujourd’hui coûtent des milliers de dollars et ne contiennent souvent qu’une cinquantaine de capteurs qui génèrent moins d’informations. Bien qu’un STAG produise des données à très haute résolution, il est fabriqué à partir de matériaux disponibles dans le commerce d’une valeur totale d’environ 10 dollars.

Ce système de détection tactile pourrait être utilisé en combinaison avec la vision par ordinateur traditionnelle et des jeux de données basés sur des images pour donner aux robots une compréhension plus humaine de l’interaction avec des objets.

Les chercheurs ont également utilisé l’ensemble des données pour mesurer la coopération entre les régions de la main lors d’interactions entre des objets. Par exemple, lorsque quelqu’un utilise l’articulation médiane de son index, il utilise rarement son pouce. Mais les bouts de l’index et du majeur correspondent toujours à l’utilisation du pouce. «Nous montrons de manière quantifiable, pour la première fois, que, si j’utilise une partie de ma main, je suis susceptible d’utiliser une autre partie de ma main», explique Subramanian Sundaram ancien étudiant diplômé du laboratoire d’informatique et d’intelligence artificielle du MIT (CSAIL).

Les fabricants de prothèses peuvent potentiellement utiliser ces informations pour, par exemple, choisir des emplacements optimaux pour placer des capteurs de pression et aider à personnaliser les prothèses en fonction des tâches et des objets avec lesquels les utilisateurs interagissent régulièrement.

Ces gants sont faits d’un polymère électriquement conducteur

Un STAG est laminé avec un polymère électriquement conducteur qui change de résistance selon la pression appliquée. Les chercheurs ont cousu des fils conducteurs à travers les trous du film de polymère conducteur, du bout des doigts à la base de la paume. Les fils se chevauchent de manière à les transformer en capteurs de pression. Lorsque quelqu’un qui porte ces gants lève, tient et laisse tomber un objet, les capteurs enregistrent la pression à chaque point.

Les fils des gants se connectent à un circuit externe qui traduit les données de pression en «cartes tactiles», qui sont essentiellement de brèves vidéos de points qui grossissent et se contractent sur le graphique d’une main. Les points représentent l’emplacement des points de pression, et leur taille représente la force – plus le point est gros, plus la pression est grande.

À partir de ces cartes, les chercheurs ont compilé un ensemble de données d’environ 135 000 images vidéo issues d’interactions avec 26 objets. Ces réseaux peuvent être utilisés par un réseau de neurones pour prédire l’identité et le poids des objets, et pour fournir des informations sur la portée humaine.

Pour identifier des objets, les chercheurs ont conçu un réseau de neurones à convolution (CNN), généralement utilisé pour classifier des images, afin d’associer des modèles de pression spécifiques à des objets spécifiques. Mais l’astuce consistait à choisir des cadres à partir de différents types de prises pour obtenir une image complète de l’objet.

L’idée était d’imiter la manière dont les humains peuvent tenir un objet de différentes manières pour le reconnaître, sans utiliser leur vue. De même, le chercheur de CNN choisit dans la vidéo jusqu’à huit images en semi-haut-relief qui représentent les saisies les plus dissemblables – par exemple, tenant un gobelet par le haut, par le bas et pas la poignée.

Pour estimer le poids les chercheurs ont construit un jeu de données distinct

Pour l’estimation du poids, les chercheurs ont construit un jeu de données distinct d’environ 11 600 images à partir de cartes tactiles d’objets saisis par les doigts et les pouces, tenus et déposés. Notamment, le CNN n’a pas été formé sur les cadres sur lesquels il a été testé, ce qui signifie qu’il ne pouvait pas apprendre à associer simplement le poids à un objet.

Lors des tests, une seule image a été entrée dans le CNN. Le CNN détermine la pression exercée sur la main par le poids de l’objet et ignore la pression exercée par d’autres facteurs, tels que la position de la main pour empêcher l’objet de glisser. Ensuite, il calcule le poids en fonction des pressions appropriées.

Le système pourrait être combiné aux capteurs déjà présents sur des articulations de robot, qui mesurent le couple et la force pour les aider à mieux prédire le poids de l’objet. «Les articulations sont importantes pour prédire le poids, mais nous capturons également des éléments importants du poids du bout des doigts et de la paume de la main», explique Sundaram.

Un système de saisi peu coûteux pour les robots

En résumé, ces gants pourraient aider des robots à saisir des objets plus facilement comme le ferait un être humain, et tout cela ne coûterait que quelques dollars à implémenter, contrairement aux système de saisis actuels qui sont souvent coûteux et difficiles à intégrer à un robot.

Source : MIT
Crédit photo sur Unsplash :  Marcus P.

Des gants intelligents reconnaissent des objetsmartinTechnologie
Portant des gants remplis de capteurs pour manipuler divers objets, les chercheurs du MIT ont compilé un vaste ensemble de données permettant à un système d'intelligence artificielle de reconnaître des objets uniquement par le toucher. Ces informations pourraient être exploitées pour aider les robots à identifier et manipuler des...