Le Machine Learning Microsoft permet de colorier une vidéo à partir d’une seule image de référence

Dans un article publié sur le serveur Arxiv.org («Deep Exemplar-based Video Colorization»), des scientifiques de Microsoft Research Asie, de la division Perception de l’IA et réalité mixte de Microsoft, de l’Université Hamad Bin Khalifa et de l’Institute for Creative Technologies de l’USC détaillent le premier système  pour la colorisation vidéo autonome basée sur des exemples (dérivée d’une seule image de référencera exemple).

Capture d’écran 2019-06-28 à 15.12.23«Le principal défi consiste à atteindre une cohérence temporelle tout en restant fidèle au style de référence», ont écrit les coauteurs. « Tous les composants du modèle, appris de bout en bout, permettent de produire des vidéos réalistes avec une bonne stabilité temporelle. »

Des IA qui sont capables de convertir des clips monochromes en couleur ne sont pas une nouveauté. Des chercheurs de Nvidia, en septembre dernier, ont décrit un cadre qui déduit les couleurs d’une seule image vidéo colorisée et annotée. En juin, Google a également introduit un algorithme permettant de coloriser les vidéos sans supervision humaine manuelle. Mais ces modèles et de la plupart des autres modèles contiennent souvent de nombreux  artefacts et des erreurs, qui s’accumulent plus la longueur de la vidéo est importante.

Pour remédier aux lacunes, la méthode des chercheurs ici prend en entrée le résultat de la trame vidéo précédente (pour préserver la cohérence) et effectue la colorisation à l’aide d’une image de référence, ce qui permet à cette image de guider la colorisation image par image et de réduire les erreurs d’accumulation.  En conséquence, il est capable de prédire des couleurs «naturelles» en fonction de la sémantique des images en niveaux de gris en entrée, même lorsqu’aucune correspondance correcte n’est disponible dans une image de référence donnée ou dans un cadre précédent.

Capture d’écran 2019-06-28 à 15.12.40Les chercheurs précisent : «Dans l’ensemble, les résultats de notre méthode, bien que légèrement moins dynamiques, présentent une coloration similaire à la réalité. La comparaison qualitative indique également que notre méthode produit les résultats de colorisation les plus réalistes et les plus dynamiques ».

Répondre

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion /  Changer )

Photo Google

Vous commentez à l'aide de votre compte Google. Déconnexion /  Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion /  Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion /  Changer )

Connexion à %s

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur la façon dont les données de vos commentaires sont traitées.