Suivi de forme et reconstruction de champ dans un environnement logiciel contraint – une approche minimaliste et externaliste.

Abstract

La reconnaissance gestuelle et le suivi de main suscitent à la fois l’intérêt du monde universitaire et du domaine industriel. La diversité des segments de l’un croise les problématiques fécondes de l’autre, et la computer vision ou l’apprentissage machine incluent désormais les cas d’usage qui défient constamment l’existant – c’est ce jeu de contraintes que nous adressons ici. La « contrainte » est cette typologie d’éléments qui empêchent une entité, ici logicielle, de progresser vers l’objectif qui lui est prédéfini. Elle revêt de nombreuses formes et n'est pas exclusivement liée au contexte industriel ou au matériel informatique. Au-delà de proposer une brique logicielle tenable, ce travail doctoral aborde la nature des contraintes rencontrées au cours de la constitution de ce logiciel nécessairement pluriel ainsi que les conditions de son évolution. A partir d'une caméra 2D, Clay permet en effet de repérer et suivre les mains d’un utilisateur en temps réel, y compris en profondeur (Z), dans une zone de captation vidéo réduite. Une fois le mouvement identifié, il est possible de le coupler à une action/instruction : augmenter ou baisser le son d’un fichier sonore, saisir un objet en 3D, activer des commandes embarquées dans un habitacle, etc. Ce principe d’identification (puis de suivi de forme) de la main exige d’interroger à nouveaux frais les notions de segmentation automatisée, de classification de la main (et de ses sous-parties) à partir de critères physiologiques, et jusqu’au processus même d'annotation des articulations. Nous proposons un processus d'évaluation de l’identification de la main dans un flux d’images guidé par l'automatisation de tests qualitatifs. Par ailleurs, sur les plans théorique et épistémologique, la segmentation analogique de la main identifiée s’appuie sur les concepts séminaux des théories de la Forme ; ladite forme n’est comprise qu’au regard de sa saisie, constituant ce que nous décrivons comme une « perception outillée » à la suite de la thèse TAC (la Technique comme Anthropologiquement Constitutive). Enfin, sur le plan de l’ingénierie des modèles, nous proposons un outil d’annotation combinant les avantages d’une modélisation 3D avec l’étalonnage de plusieurs caméras 2D en vue de résoudre les problématiques inévitablement liées à l’annotation 2D – en particulier, la cohérence des proportions et l’occultation des parties la main sont résolues. Ces éléments clefs sont chaque fois accompagnés de résultats concrets mis en relief par la nature des contraintes qui ont influencé le développeur à choisir une solution plutôt qu’une autre.