Restauration d'images avec des modèles génératifs profonds

Abstract

Les problèmes de restauration d'images, comme le défloutage ou la super-résolution sont des problèmes inverses, où l'on cherche à retrouver une image propre à partir d'une observation dégradée.Pour déterminer comment retrouver l'information manquante à partir de l'image dégradée, il est nécessaire de définir un modèle des propriétés attendues de la solution. D'un point de vue Bayésien, ce modèle de la solution est défini comme le modèle a priori, et résoudre le problème inverse revient alors à trouver une image qui offre le meilleur compromis entre respect du modèle a priori et fidélité à l'observation.Les modèles génératifs profonds (MGP) définissent des modèles probabilistes de la distribution des images naturelles, qui peuvent être exploités pour résoudre des problèmes de restauration d'image difficiles.Ces modèles produisent des performances sans précédent pour les tâches de modélisation d'images en exploitant des réseaux de neurones profonds et une grande quantité de données d'apprentissage.Cependant, l'utilisation de MGP pour la restauration d'images pose de nombreux défis, que l'on adresse dans ce travail.En premier lieu, on étudie le problème lié à la définition d'une fonction de régularisation basée sur un réseau de neurones lorsque les données d'entraînement sont limitées. Plus précisément, nous introduisons une stratégie adversarielle pour entraîner un réseau de régularisation sans données d'entrainement étiquetées, et avec seulement des patches d'images.Par la suite, l'on étudie l'utilisation d'auto-encodeurs variationnels hiérarchiques (HVAE) comme modèle a priori. Les modèles HVAE définissent des modèles génératifs expressifs, tout en procurant un encodeur qui facilite la manipulation des variables latentes du modèle.L'on montre qu'il est possible d'exploiter l'encodeur du modèle HVAE pour développer des méthodes de restauration d'images qui procurent un compromis avantageux entre l'efficacité calculatoire et la qualité de la restauration.En particulier, l'on présente PnP-HVAE un nouvel algorithme de restauration d'image basé sur l'utilisation d'un modèle HVAE comme prior. PnP-HVAE prend la forme d'un algorithme d'optimisation alterné, et peut être appliqué de manière flexible pour résoudre des problèmes de restauration génériques. L'algorithme exploite l'encodeur du modèle HVAE pour éviter une étape couteuse de rétro-propagation, et il permet de contrôler le niveau de régularisation par le biais de la température de la distribution a-priori sur l'espace latent du modèle HVAE.Par la suite, on présente une méthode dédiée à la super-résolution. En particulier, on démontre que il est possible d'échantillonner efficacement la distribution postérieure du problème de super-résolution en combinant un encodeur entrainé sur des images basse résolution et le générateur du modèle HVAE.