Indexation et recherche par contenu visuel, sémantique et multi-niveaux des documents multimédia

Abstract

Suite aux derniers progrès technologiques, la quantité de données multimédias ne cesse d'augmenter. Dans ce contexte, le problème qui se pose est comment exploiter efficacement ces données ? il est nécessaire de mettre en place des outils facilitant leur accès et leur manipulation.Pour répondre à ces besoins, nous avons proposé, tout d’abord, un modèle d’indexation et de recherche de planes vidéos (ou images) par son contenu visuel (ISE). Les fonctionnalités innovantes d'ISE sont les suivantes : (i) définition d'un nouveau descripteur "PMC" et (ii) application de l'algorithme génétique (AG) pour améliorer la recherche (PMGA).Ensuite, nous nous sommes intéressés à la détection des concepts dans les plans vidéo (Approche LAMIRA). Dans ce même contexte, nous avons proposé une méthode d’annotation semi-automatique des plans vidéo afin d’améliorer la qualité d’indexation basée sur l’AG.Puis, nous avons fourni une méthode d’indexation sémantique séparant le niveau donné, d’un niveau conceptuel et d’un autre, plus abstrait, contextuel. Ce nouveau système intègre, aussi, des mécanismes d’expansion de la requête et de retour de pertinence. Pour donner plus de fluidité dans la requête utilisateur, l’utilisateur peut effectuer une recherche par navigation sur les trois niveaux d’abstraction. Deux systèmes appelés VISEN et VINAS ont été mis en place pour valider ces dernières positions.Finalement, un Framework SIRI a été propose sur la base d’une fusion multi-niveaux combinant nos 3 systèmes : ISE, VINAS et VISEN. Ce Framework fournit une représentation bidimensionnelle de vecteurs descripteurs (haut niveau et bas niveau) pour chaque image.