Conception et évaluation d'un système transparent de capture de mouvements des mains pour l'interaction 3D temps réel en environnements virtuels

Abstract

Le but de cette thèse est de proposer et d'évaluer un système transparent de capture de mouvements des mains en temps réel pour permettre la réalisation d'interactions 3D en environnement virtuel (E.V.). Les outils tels que le clavier et la souris ne suffisent plus lorsque l'on travaille dans des E.V. 3D et les systèmes de capture de mouvements actuels ont l'inconvénient du coût et du port de matériel. Les systèmes basés sur des caméras et le traitement d'images comblent en partie ces lacunes, mais ne permettent pas encore une capture de mouvements 3D précise, efficace et temps réel. Notre système propose une solution à ce problème grâce à une caméra 3D. Nous avons implémenté des modalités qui permettent une interaction plus naturelle avec les objets et l'E.V. L'objectif de notre système est d'obtenir des performances au moins égales à celles d'outils couramment utilisés en réalité virtuelle tout en offrant une meilleure acceptabilité globale, mesurée sous l'angle de l'utilité, de l'utilisabilité et du sentiment d'immersion. Pour répondre à cet objectif, nous avons mené 3 études expérimentales impliquant plus de 100 participants. L'étude 1 a comparé, pour une tâche de sélection, la première version de notre système (basé sur une Camera 3D MESA SwissRanger) à une souris classique. L'expérimentation 2 est axée sur l'étude de la réalisation de tâches de manipulation d'objets (positionnement, orientation, redimensionnement) et de navigation en E.V. Pour cette étude, nous avons comparé la version améliorée de notre système (basée sur la Microsoft Kinect) à des gants de données associés à des capteurs magnétiques. La 3ème étude, complémentaire, porte sur l'évaluation de nouvelles modalités d'interaction, implémentées d'après les commentaires recueillis auprès des participants de la seconde étude.