une-IA-recontruit-des-visages-méconnaissables
Les chercheurs de l’université Duke ont développé une IA qui peut transformer des images floues et méconnaissables de visages de personnes en portraits convaincants générés par ordinateur, avec plus de détails que jamais auparavant.

Une IA qui transforme des visages méconnaissables 

Les précédentes méthodes permettent de mettre à l’échelle une image d’un visage jusqu’à huit fois sa résolution d’origine. Mais l’équipe de Duke a trouvé un moyen de prendre une poignée de pixels et de créer des visages d’apparence réaliste avec une résolution jusqu’à 64 fois supérieure, en « imaginant » des caractéristiques telles que les fines lignes, les cils et la barbe qui n’existaient pas au départ.
« Jamais auparavant on n’avait créé d’images à une telle résolution avec autant de détails », a déclaré Cynthia Rudin, informaticienne de Duke, qui dirigeait l’équipe de chercheurs.
Ce système ne peut pas être utilisé pour identifier des personnes, disent les chercheurs : Il ne transformera pas une photo floue et méconnaissable provenant d’une caméra de sécurité en une image claire et nette d’une personne réelle. Il est plutôt capable de générer de nouveaux visages qui n’existent pas, mais qui semblent vraisemblablement réels.
Alors que les chercheurs se sont concentrés sur les visages comme preuve de concept, la même technique pourrait en théorie prendre des photos basse résolution de presque n’importe quoi et créer des images nettes et réalistes, avec des applications allant de la médecine et de la microscopie à l’astronomie et à l’imagerie satellite, a déclaré le coauteur Sachit Menon, qui vient d’être diplômé de Duke en informatique.

Pulse fait mieux que les approches traditionnelles

Les approches traditionnelles prennent une image à basse résolution et « devinent » quels sont les pixels supplémentaires nécessaires en essayant de les faire correspondre en moyenne, aux pixels correspondants dans les images à haute résolution que l’ordinateur a déjà vues. En conséquence de cette moyenne, les zones texturées des cheveux et de la peau qui ne s’alignent pas parfaitement d’un pixel à l’autre finissent par paraître floues et indistinctes.
L’équipe de Duke a trouvé une approche différente. Au lieu de prendre une image basse résolution et d’ajouter lentement de nouveaux détails, leur système appelé PULSE, analyse les exemples de visages haute résolution générés par l’IA, en recherchant ceux qui ressemblent le plus à l’image d’entrée lorsqu’ils sont réduits à la même taille.
L’équipe a utilisé un outil d’apprentissage automatique appelé « réseau antagoniste génératif » ou GAN, qui sont deux réseaux neuronaux formés sur le même ensemble de données de photos. L’un des réseaux crée des visages humains à l’aide de l’IA qui imitent ceux sur lesquels il a été formé, tandis que l’autre prend cette sortie et décide si elle est suffisamment convaincante pour être prise pour la réalité. Le premier réseau s’améliore de plus en plus avec l’expérience, jusqu’à ce que le second ne puisse plus faire la différence.
PULSE peut créer des images d’apparence réaliste à partir de données brutes et de mauvaise qualité, ce que les autres méthodes ne peuvent pas faire, a déclaré M. Rudin. À partir d’une seule image floue d’un visage, il peut produire un nombre illimité de possibilités incroyablement réalistes, chacune ressemblant subtilement à une personne différente.

Ce système fonctionne avec des images pixelisées

Même avec des photos pixelisées où les yeux et la bouche sont à peine reconnaissables, « notre algorithme parvient à en faire quelque chose, ce que les approches traditionnelles ne peuvent pas faire », a déclaré le coauteur Alex Damian, étudiant en mathématiques.
Ce système peut convertir une image de 16×16 pixels d’un visage en 1024 x 1024 pixels en quelques secondes, en ajoutant plus d’un million de pixels, ce qui s’apparente à une résolution HD. Les détails tels que les pores, les rides et les mèches de cheveux qui sont imperceptibles sur les photos basse résolution deviennent nets et clairs sur les versions générées par ordinateur.
Les chercheurs ont demandé à 40 personnes d’évaluer 1 440 images générées par PULSE et cinq autres méthodes, sur une échelle de 1 à 5. PULSE a obtenu les meilleurs résultats, avec des scores presque aussi élevés que ceux des photos de haute qualité de personnes réelles.
Les chercheurs présenteront leur méthode la semaine prochaine lors de la conférence 2020 sur la vision par ordinateur et la reconnaissance des formes (CVPR), qui se tiendra virtuellement du 14 au 19 juin.
Cette recherche a été pré-publiée dans arXiv.
Source : Duke University
Crédit photo : Pixbay

Une IA reconstruit des visages méconnaissables martinI.A.
Les chercheurs de l'université Duke ont développé une IA qui peut transformer des images floues et méconnaissables de visages de personnes en portraits convaincants générés par ordinateur, avec plus de détails que jamais auparavant. Une IA qui transforme des visages méconnaissables  Les précédentes méthodes permettent de mettre à l'échelle une image d'un...