Motivations intrinsèques et contraintes maturationnelles pour l'apprentissage sensorimoteur

Abstract

Apprendre de nouvelles connaissances et savoir-faire sensorimoteurs dans des environnements réels entraine un grand nombre de défis majeurs pour les robots d'aujourd'hui. Pour acquérir de nouveaux comportements, ceux-ci ont besoin d'explorer des espaces sensorimoteurs qui possèdent généralement les caractéristiques d'être de grande dimensionnalité, de grands volumes, redondants, et de comporter des zones de complexités différentes. Dans cette thèse qui entre dans le cadre de la robotique développementale, nous proposons différents processus permettant de guider et contraindre une acquisition autonome de comportements sensorimoteurs nouveaux dans de tels espaces. Nous proposons une approche unifiée de résolution de ces problèmes qui prend inspiration des phénomènes de contraintes développementales présentés en biologie et psychologie, et plus particulièrement des motivations intrinsèques et des contraintes maturationnelles. Après la formalisation de cadres computationnels basés sur ces notions, nous présentons trois architectures algorithmiques différentes, chacune réutilisée de manière intégrée dans la suivante:La première, appelée RIAC, pour Robust-Intelligent Adaptive Curiosity, correspond à l'implémentation d'un algorithme d'apprentissage actif développemental permettant d'orienter l'exploration dans des espaces bornés et de dimensionnalité connue, possédant des régions de différents niveaux de complexités. Ce système, qui utilise des heuristiques prenant inspiration des mécanismes de motivations intrinsèques basées sur les connaissances, permet de diriger efficacement une exploration progressive de nouvelles connaissances sensorimotrices, qui correspondent à l'apprentissage de modèles directs. Il entraine aussi l'émergence de trajectoires développementales auto-organisées relatives à l'orientation de l'exploration sensorimotrice vers des activités de complexités intermédiaires.Ensuite, nous proposons l'algorithme SAGG-RIAC, pour Self-Adaptive Goal Generation - RIAC, en tant que mécanisme d'exploration intrinsèquement motivée basée sur les compétences, qui permet à des robots dont les espaces sensorimoteurs sont de grandes dimensions, hautement redondants, et possédant des schémas corporels différents, d'apprendre efficacement et activement de nouveaux comportements moteurs dans leurs espaces de tâches. L'idée principale de cet algorithme est d'orienter le robot à effectuer un babillage actif dans un espace des tâches de faible dimensionnalité, en opposition à un babillage moteur effectué dans un espace de contrôle de plus grande dimension, en auto-générant activement et adaptivement des objectifs dans les régions de l'espace des tâches qui fournissent les meilleures améliorations de compétences, pour l'atteinte d'objectifs précédemment tentés. Enfin, nous introduisons l'algorithme McSAGG-RIAC, pour Maturationally-Constrained SAGG-RIAC, qui repose sur le couplage de modèles computationnels de motivations intrinsèques et de contraintes maturationnelles physiologiques. Nous argumentons que ces mécanismes peuvent avoir des interactions bidirectionnelles complexes permettant le contrôle actif de l'augmentation de la complexité du développement sensorimoteur, afin de diriger une exploration et un apprentissage efficaces. Nous introduisons plus particulièrement un modèle fonctionnel des contraintes maturationnelles inspiré par le processus de myélinisation chez les humains, et montrons comment celui-ci peut être couplé avec l'algorithme SAGG-RIAC. Nous montrons qualitativement et quantitativement que cette approche intégrée des trois architectures présentées pendant cette thèse permet de répondre à certaines des problématiques des environnements réels, en contrôlant la complexité, le volume, la dimensionnalité et la redondance des comportements explorés de manière intrinsèque au robot, diminuant de manière importante la nécessité de contraindre et préparer l'environnement de manière externe.