Indexation cross-media vidéo/son des contenu

Abstract

Dans ce travail de thèse, nous nous intéressons au problème de l’indexation des flux audio-visuels numériques en scènes ou « chapitres sémantiques » à partir des informations extraites des flux audio et vidéo. Les travaux menés dans ce domaine de recherche sont récents, notamment les approches basées sur l’analyse cross-média (audio et vidéo). Dans cette thèse, nous proposons une méthode générique de détection des frontières de scènes dans les contenus télédiffusés basée sur une approche de décision statistique. Puis, après avoir étudié les transitions audio qui caractérisent ces frontières de scènes, nous proposons une approche pour la caractérisation des transitions entre les bruits. Nous étudions divers descripteurs du signal audio pour sélectionner les plus pertinents d’entre eux pour la caractérisation des sons bruités. Enfin, une méthode statistique de classification des sons bruités dans le but d’affiner la méthode de segmentation précédente est proposée. Elle permet de caractériser les transitions entre les bruits au sein d’une même classe en sélectionnant les descripteurs appropriés.