Une approche logico-temporelle pour la création de médias interactifs

Abstract

La question de la conception de médias interactifs s'est posée dès l'apparition d'ordinateurs ayant des capacités audio-visuelles. Un thème récurrent est la question de la spécification temporelle d'objets multimédia interactifs : comment peut-on créer des présentations multimédia dont le déroulé prend en compte des événements extérieurs au système.Ce problème rejoint un autre champ d'application, qui est celui de la musique et plus spécifiquement des partitions interactives : des pièces musicales dont l'interprétation pourra varier dans le temps en fonction d'indications données par la partition.Dans les deux cas, il est nécessaire de spécifier les médias et données musicales qui seront orchestrées par le système. C'est le sujet de la première partie de cette thèse, qui présente un modèle adapté pour la conception d'applications multimédia permettant de répondre à des problématiques d'accès réparti et de contrôle à distance, ainsi que de documentation.Une fois ce modèle défini, on construit en s'inspirant des systèmes à flots de donnée courants dans les environnements adaptés à la musique en temps réel un environnement de calcul permettant de contrôler les paramètres des applications définies précédemment, ainsi que de générer des entrées & sorties sous forme audio-visuelle. En particulier, une notion d'environnement permanent dans ce modèle de données est introduite. Elle simplifie certains cas d'usages courants en informatique musicale, et améliore les performances par rapport à une solution uniquement basée sur de la communication entre nœuds explicites du système.Enfin, une structure de graphe temporel est introduite : elle permet de définir les parties du graphe de données qui vont être actives à un instant donné d'une partition interactive. En particulier, les connections entre objets du graphe de données sont étudiées dans le cadre de déroulements synchrones et différés.Un langage d'édition visuel est introduit pour l'écriture de scénarios dans un modèle graphique réunissant les éléments introduits précédemment.La structure temporelle est par la suite étudiée sous l'axe de la répartition. On montre notamment qu'il est possible d'acquérir un pouvoir expressif supplémentaire en supposant une exécution concurrente de certains objets de la structure temporelle.Enfin, on présente comment le système permet de recréer nombre de systèmes musicaux existants : séquenceurs, live-loopers, et patchers, ainsi que les nouveaux types de comportements multimédias rendus possibles.