une-IA-peut-changer-les-vêtements-un-mannequin

Bientôt, le mannequin qui présente vos achats de vêtements en ligne n’aura peut-être pas réellement pris la pose sur la photo. En effet, un réseau neuronal est maintenant capable de faire prendre la pose à des êtres humains et de modifier leurs vêtements sur des photographies sans perdre de détails essentiels.

Modifier la pose d’un mannequin

Badour AlBahar, de Virginia Tech à Blacksburg, et ses collègues ont mis au point un algorithme qui décompose une image source en parties du corps, un réseau neuronal identifiant les articulations et les membres. Il reçoit ensuite la pose cible correspondant à la façon dont l’utilisateur souhaite que le modèle se tienne, avant d’identifier les nouvelles positions des parties du corps concernées.

Dans le même temps, le modèle utilise des réseaux adverses génératifs – la technologie à l’origine des vidéos et images « deepfake » – pour repositionner les éléments-clés, tels que le visage du modèle ou les vêtements qu’il porte, sur sa nouvelle pose.

Pour ce faire, il faut aplatir le visage et les vêtements en une image 2D, puis l’enrouler autour du corps repositionné à l’aide d’une carte thermique codée par des couleurs ultraviolettes pour montrer où les parties concernées doivent aller. La même technique d’aplatissement et de réenveloppement permet au réseau neuronal d’échanger des vêtements en coupant et en collant différents éléments sur un corps.

Ce réseau neuronal réussit en grande partie à repositionner les personnes et à échanger les vêtements, mais il a du mal à déplacer les mains avec précision en raison du manque de détails autour des doigts dans DensePose, l’une des technologies préexistantes utilisées par ce processus. Il perd également en précision lorsqu’il s’agit de faire reposer des personnes de couleur, car leurs visages mutent de manière peu naturelle.

Améliorer le processus

« Nous utilisons des ensembles de données de mode, et quand on pense aux mannequins, les données ne sont pas très diverses », explique AlBahar. « Il est très difficile pour nous de nous entraîner sur cet ensemble de données et de l’étendre à un ensemble plus diversifié de personnes. » Elle espère améliorer le modèle en l’entraînant sur des ensembles de données plus diversifiés.

« Il s’agit d’une utilisation époustouflante de la génération d’images guidée par le style et conditionnée par l’homme », déclare Niki Martinel, de l’université d’Udine, en Italie. « Elle pourrait être améliorée en corrigeant les biais. Mais cela pourrait donner d’énormes possibilités au design de la mode et aux détaillants. »

Cette recherche a été pré-publiée dans arXiv.

Source : New Scientist
Crédit photo : Pixabay