deep_learning_software_5_2018

Un nouveau logiciel permet de prendre une photo incomplète et de remplir les espaces vides (comme les images ci-dessus). Cette technologie a été développée par une équipe dirigée par Hiroshi Ishikawa, professeur à l’Université Waseda du Japon. Il utilise des réseaux de neurones convolutif; un type d’apprentissage en profondeur (deep learning), pour prédire les parties manquantes des images. Cette technologie pourrait être utilisée dans les applications de retouche photo. Elle peut également être utilisée pour générer des images 3D à partir d’images 2D.

L’équipe a d’abord présenté [à leur modèle] quelque 8 millions d’images de paysages réels, de visages humains et d’autres sujets. En utilisant un logiciel spécial, l’équipe a généré de nombreuses versions pour chaque image, en ajoutant au hasard des espaces vides de différentes formes, tailles et positions. Avec toutes ces données, le modèle a pris trois mois pour apprendre à prédire les blancs afin qu’ils puissent les remplir et rendre les images résultantes identiques aux originales.

L’algorithme d’apprentissage du modèle prévoit d’abord l’emplacement des blancs. Il évalue ensuite la cohérence de la partie ajoutée avec le reste de la photo. La cohérence est examinée autour des bords des parties réelles et fausses. Le modèle juge ensuite si l’image entière semble naturelle et réelle.

Après avoir répété le cycle de prédiction et d’évaluation, le modèle d’apprentissage devient compétent à reconstruire artificiellement une image entière en utilisant seulement des parties prédites. Cela lui permet de prendre une vraie image en 2D et de la rendre en 3D.

L’équipe s’attend à ce que son modèle soit utilisé dans les applications de retouche photo. Le système est également capable de modifier légèrement les images, comme celles des traits du visage des enfants. L’équipe pense que cela permettra aux parents de photographier leurs enfants légèrement modifiés, puis de publier les images sur les plateformes de médias sociaux sans trop s’inquiéter de mettre en danger leur identité. Ishikawa affirme que la véritable innovation de leur modèle réside dans l’habileté de cette technologie.

[via Asia Nikkei]