Je m’intéresse à des méthodes d’adaptation permettant à des robots de faire face à des situations qui n’ont pas été complètement anticipées par leur concepteur. Des méthodes de type apprentissage par renforcement ont pour but de découvrir comment résoudre un problème décrit sous la forme d’une maximisation de la récompense: ce qu’il faut faire est indiqué (maximiser la récompense), mais pas la façon de le faire. Les algorithmes d’apprentissage doivent le découvrir en explorant les comportements possibles.
Les actions possibles d’un robot sont infinies de même que les états dans lesquels il peut être, il n’est donc pas possible d’explorer toutes les possibilités. De plus, beaucoup d’interactions sont rares et donc difficiles à découvrir par exploration. Saisir un objet avec un bras robotique, par exemple, nécessite de bouger le bras pour toucher l’objet d’une façon particulière et de nombreux mouvements ne toucheront même pas l’objet. Le robot ne dispose également que de ses capteurs pour déterminer l’information lui permettant de décider quoi faire, mais ces perceptions peuvent être bruitées et incomplètes (en cas d’occlusions, par exemple). Elles sont de plus souvent de grande dimension, comme dans le cas d’images. La robotique pose donc de nombreux défis aux méthodes d’apprentissage par renforcement.
J’aborde cette problématique avec une approche développementale et modulaire dans laquelle le robot est doté d’algorithmes permettant de construire progressivement les compétences dont il a besoin pour résoudre les tâches auxquelles il est confronté par apprentissage et planification.
Mots clés: robotique développementale, robotique évolutionniste, apprentissage par renforcement, apprentissage direct dans l’espace des politiques, recherche de nouveauté, algorithmes Qualité-Diversité.
Pour plus de détails:
