Calipia : le blog

Dans un article publié sur le serveur Arxiv.org («Deep Exemplar-based Video Colorization»), des scientifiques de Microsoft Research Asie, de la division Perception de l’IA et réalité mixte de Microsoft, de l’Université Hamad Bin Khalifa et de l’Institute for Creative Technologies de l’USC détaillent le premier système  pour la colorisation vidéo autonome basée sur des exemples (dérivée d’une seule image de référencera exemple).

«Le principal défi consiste à atteindre une cohérence temporelle tout en restant fidèle au style de référence», ont écrit les coauteurs. « Tous les composants du modèle, appris de bout en bout, permettent de produire des vidéos réalistes avec une bonne stabilité temporelle. »

Des IA qui sont capables de convertir des clips monochromes en couleur ne sont pas une nouveauté. Des chercheurs de Nvidia, en septembre dernier, ont décrit un cadre qui déduit les couleurs d’une seule image vidéo colorisée et annotée. En juin, Google a également introduit un algorithme permettant de coloriser les vidéos sans supervision humaine manuelle. Mais ces modèles et de la plupart des autres modèles contiennent souvent de nombreux  artefacts et des erreurs, qui s’accumulent plus la longueur de la vidéo est importante.

Pour remédier aux lacunes, la méthode des chercheurs ici prend en entrée le résultat de la trame vidéo précédente (pour préserver la cohérence) et effectue la colorisation à l’aide d’une image de référence, ce qui permet à cette image de guider la colorisation image par image et de réduire les erreurs d’accumulation.  En conséquence, il est capable de prédire des couleurs «naturelles» en fonction de la sémantique des images en niveaux de gris en entrée, même lorsqu’aucune correspondance correcte n’est disponible dans une image de référence donnée ou dans un cadre précédent.

Les chercheurs précisent : «Dans l’ensemble, les résultats de notre méthode, bien que légèrement moins dynamiques, présentent une coloration similaire à la réalité. La comparaison qualitative indique également que notre méthode produit les résultats de colorisation les plus réalistes et les plus dynamiques ».