Détection des défauts dans les vieux films par apprentissage profond à partir d'une restauration semi-manuelle

Abstract

La détection des défauts constitue la première étape de la restauration de vieux films. La spécificité de notre travail est d’apprendre l’expertise d’un restaurateur de films au travers d’une paire de séquences constituée d’un film comportant des défauts, et de ce même film après restauration semi-manuelle aidée d’un logiciel spécialisé. Pour détecter les défauts avec un minimum d’interaction humaine, et réduire le temps consacré à la restauration, nous alimentons un réseau de neurones de type U-Net avec une séquence d’images défectueuses en entrée, afin de détecter les variations spatio-temporelles anormalement élevées de l’intensité des pixels. La sortie du réseau étant le masque des défauts, nous créons des masques comparatifs en utilisant les différences entre les versions défectueuse et restaurée du film (ceux utilisés lors de la restauration n’étant pas directement accessibles). Notre réseau réussit à détecter automatiquement les défauts réels plus précisément que les sélections manuelles, voire certains défauts oubliés par l’expert en restauration.