Extension de l'espace d'interaction en réalité augmentée : Contributions aux environnements augmentés par transparence optique et par projection

Abstract

Contrairement aux environnements informatiques de bureaux, la réalité augmentée (RA) estompe les frontières entre le monde physique et le monde numérique en superposant des informations virtuelles à l'environnement réel. Il est notamment possible de créer une expérience immersive de réalité augmentée en portant un casque dédiée sur la tête, ou en utilisant des vidéoprojecteurs. Cette thèse explore les défis d'interaction associés à ces deux types d’affichage de réalité augmentée.Les casques de réalité augmentée s'améliorent constamment en termes d'affichage (c'est-à-dire le champ de vision), de suivi, de techniques d'interaction et de portabilité. Les techniques d'entrée actuellement disponibles (telles que la saisie manuelle, la tête/le regard et la voix) dans les casque RA sont relativement faciles à utiliser pour certaines tâches (par exemple, saisir et déplacer un objet). Cependant, elles manquent de précision et ne sont pas adaptées à un usage prolongé. Par conséquent, les tâches qui nécessitent de la précision deviennent difficiles à réaliser. Dans nos recherches, nous considérons une telle tâche - la sélection de texte qui nécessite une précision au niveau des caractères.D'autre part, la RA basée sur la projection, généralement appelée réalité augmentée spatiale (RAS), augmente directement les objets physiques avec du contenu numérique en utilisant des projecteurs. Dans la RAS, l'augmentation numérique est généralement prédéfinie et l'utilisateur agit souvent comme un spectateur passif. Pour apporter de l'interactivité à la RAS, les utilisateurs ont besoin de widgets graphiques contextuels (fenêtres contextuelles, menus, étiquettes, outils interactifs, etc.) Malheureusement, l'intégration de ces widgets dans la scène RAS est difficile.Dans cette thèse, nous avons exploré de nouvelles techniques d'interaction pour relever les défis mentionnés ci-dessus. Nos deux principales contributions sont les suivantesPremièrement, nous avons étudié l'utilisation d'un smartphone comme contrôleur interactif pour sélectionner du texte affiché au travers d’un casque. Nous avons développé quatre techniques de sélection de texte à une main pour les casques de RA à l'aide d'un smartphone : le toucher continu (où l'écran tactile du smartphone agit comme un pavé tactile), le toucher discret (où l'écran tactile du smartphone est utilisé pour déplacer le curseur caractère par caractère, mot par mot et ligne par ligne), le mouvement spatial (le smartphone est déplacé devant l’utilisateur) et la projection de rayons (le smartphone est utilisé comme un pointeur laser). Nous les avons également comparés dans une étude utilisateur.Deuxièmement, nous avons étendu l'espace physique dans des environnement en RAS en fournissant des widgets graphiques 2D dans l'air en utilisant la projection sur un panneau de projection monté sur un drone. Les utilisateurs peuvent contrôler la position du drone et interagir dynamiquement avec les informations projetées à l'aide d'une manette. Nous présentons trois façons possibles d'intégrer des widgets à l'aide d'un drone en RSA : afficher des annotations en l’air, fournir des outils interactifs, supporter différents points de vue. Nous décrivons également les détails de mise en œuvre de notre approche.Ces explorations visent à étendre l'espace d'interaction dans les applications immersives de réalité augmentée.