danceur-ia-apprentissage

Avez-vous déjà rêvé de devenir un danseur professionnel, qui aurait rendu jaloux Rudolf Noureev ? Si tel est le cas, voici une intelligence artificielle que fera de vous un danseur pouvant rivaliser avec les meilleurs danseurs sur la planète.

Une IA qui vous permet de devenir un danseur expert

Des chercheurs à l’Université de Californie à Berkeley, ont développé une technologie «deepfake» qui permet de réaliser des échanges de mouvements réalistes dans des vidéos; cet outil peut rendre une personne maladroite et peu coordonnée, en un danseur expert. «Nous avons mis au point une méthode pour transférer les mouvements de danse d’un individu – un danseur professionnel – à un autre, que nous appellerons Joe pour cet exemple.

Shiry Ginosar, Ph.D., un étudiant en informatique de la Vision à l’UC Berkeley, a déclaré : «pour ce faire, nous prenons une vidéo de Joe exécutant toutes sortes de mouvements. Nous utilisons cette vidéo pour former un réseau contradictoire génératif pour apprendre à un modèle l’apparence et les mouvements de Joe. Lorsque nous avons appris à ce modèle, nous pouvons prendre une figure en bâton de corps en entrée et générer une photographie de Joe exécutant la pose de ce corps en sortie.

Si nous avons une vidéo complète d’un personnage en bâton qui danse, nous pouvons générer une vidéo complète de Joe qui danse de la même manière. Maintenant, après une vidéo du danseur professionnel, nous extrayons la posture du danseur et la redonnons à Joe pour générer une vidéo de lui permettra de danser de la même manière.

Un défi pour la technologie « deepfake »

Mis à part le plaisir de pouvoir faire ressembler quelqu’un à un danseur expert, Ginosar a déclaré que la danse représente un défi intéressant pour ce type de technologie de « deepfake ». C’est parce qu’elle implique que le corps humain tout entier bouge de manière fluide, ce qui est considérablement plus difficile que les transferts plus statiques ou plus complexes effectués jusqu’à présent.

Un article décrivant l’œuvre, intitulé «Everybody Dance Now», est disponible sur le serveur de préimpression arXiv. En plus de Ginosar, Caroline Chan, Tinghui Zhou et Alexei Efros ont également participé à ce projet.

Rappelons en terminant, que la technologie « deepfake », est une technique de synthèse d’images humaines basée sur l’intelligence artificielle. Elle est utilisée pour combiner et superposer des images et des vidéos existant sur des images ou des vidéos sources.