Stage OT-31045
Stage M2 - Apprentissage par renforcement argumentatif
31320 Castanet-Tolosan
Retour à la liste des résultats
Présentation INRAE
L’Institut national de recherche pour l’agriculture, l’alimentation et l’environnement (INRAE) est un établissement public de recherche rassemblant une communauté de travail de 12 000 personnes, avec 272 unités de recherche, de service et expérimentales, implantées dans 18 centres sur toute la France. INRAE se positionne parmi les tout premiers leaders mondiaux en sciences agricoles et alimentaires, en sciences du végétal et de l’animal. Ses recherches visent à construire des solutions pour des agricultures multi-performantes, une alimentation de qualité et une gestion durable des ressources et des écosystèmes.
Environnement de travail, missions et activités
Le stage se déroulera au sein de l’unité MIAT (Mathématiques et Informatique Appliquées de Toulouse) de l’INRAE, située à Toulouse (24, chemin de Borde Rouge, 31320 Auzeville-Tolosane). Le Centre INRAE est facilement accessible en transports en commun (ou en vélo), dispose d’un restaurant d’entreprise, et d’une association et propose de nombreuses activités sportives et autres.
Le stage sera encadré par Léo Saulières, Meritxell Vinyals et Régis Sabbadin (MIAT, INRAE, Toulouse).
L’apprentissage par renforcement [SB18] permet à des agents autonomes d’apprendre à prendre des décisions dans des environnements complexes. Le stage s’inscrit dans le développement d’un apprentissage par renforcement social, où les agents peuvent apprendre non seulement de leur propre expérience, mais également en observant et en échangeant des arguments avec d’autres agents.
Le projet s’intéresse plus particulièrement à l’apprentissage par renforcement argumentatif, dans lequel les agents peuvent échanger des arguments, explications ou justifications concernant leurs décisions. L’objectif est d'étudier comment un agent peut exploiter les arguments d’un autre, notamment en situation de désaccord, et comment ces échanges peuvent conduire à une amélioration des décisions individuelles ou collectives.
Le stage consistera à proposer un cadre inspiré de la théorie interactionniste du raisonnement [MS11] pour l’apprentissage automatique. Cette approche considère le raisonnement comme un moyen de justifier, argumenter les décisions prises en amont, dans le but de convaincre un autre agent. L’agent se compose de deux blocs : un bloc de décision et un bloc d’argumentation chargé de générer et d'évaluer les arguments.
Dans le cadre de ce stage, la génération d’un argument s’effectuera via des méthodes d’explicabilité méthodes initialement orientées utilisateurs, prévues pour comprendre le choix d’une décision effectuée par un modèle d’apprentissage automatique [MLW+24]. Une attention particulière sera portée au mécanisme permettant à un agent d’intégrer un argument et, le cas échéant, de modifier sa politique de décision.
Le cadre sera d’abord étudié sur un problème de classification d’images MNIST [LC98]. Il sera ensuite adapté à un problème d’apprentissage par renforcement dans lequel eux agents peuvent prendre des décisions
différentes face à un même état et échanger des justifications.
Objectifs du stage :
— Proposer une architecture basée sur PettingZoo [TBG+21] pour modéliser le problème d’apprentissage par renforcement argumentatif.
— Évaluer cette architecture sur un problème de classification d’images MNIST, en s’appuyant sur des méthodes d’explicabilité de type carte de saillance [SVZ13] pour la génération d’arguments.
— ´Évaluer cette architecture sur un problème d’apprentissage par renforcement avec des états représentés par des images.
— Comparer expérimentalement l’apprentissage argumentatif `a l’apprentissage individuel afin d’étudier l’impact des interactions sociales sur l’amélioration des politiques.
Références :
[LC98] Yann LeCun and Corinna Cortes. The mnist database of handwritten digits. http ://yann.lecun.com/exdb/mnist/, 1998.
[MLW+24] Melkamu Mersha, Khang Lam, Joseph Wood, Ali K Alshami, and Jugal Kalita. Explainable artificial intelligence : A survey of needs, techniques, applications, and future direction. Neuro-computing, 599 :128111, 2024.
[MS11] Hugo Mercier and Dan Sperber. Why do humans reason ? Arguments for an argumentative theory. Behavioral and Brain Sciences, 34(2) :57–74 ; discussion 74–111, April 2011.
[SB18] Richard S Sutton and Andrew G Barto. Reinforcement learning : An introduction. MIT press, 2018.
[SVZ13] Karen Simonyan, Andrea Vedaldi, and Andrew Zisserman. Deep inside convolutional networks :
Visualising image classification models and saliency maps. arXiv preprint arXiv :1312.6034, 2013.
[TBG+21] J. K. Terry, Benjamin Black, Nathaniel Grammel, Mario Jayakumar, Ananth Hari, Ryan Sullivan, Luis S. Santos, Clemens Dieffendahl, Caroline Horsch, Rodrigo Perez-Vicente, Niall Williams, Yashas Lokesh, and Praveen Ravi. Pettingzoo : Gym for multi-agent reinforcement learning. In Advances in Neural Information Processing Systems (NeurIPS), volume 34, pages 15032–15043, 2021.
Formations et compétences recherchées
Profil de candidat souhaité :
— Connaissances en apprentissage automatique, notamment en apprentissage supervisé et apprentissage par renforcement.
— Expérience en programmation Python.
— Autonomie et capacité de travail en équipe, de rédaction, de synthèse.
— Des compétences en développement collaboratif (utilisation de GIT, tests unitaires, documentation...) sont un plus, même si elles pourront être acquises pendant le stage.
Votre qualité de vie à INRAE
En rejoignant INRAE, vous bénéficiez (selon le type de contrat et sa durée) :
- jusqu'à 30 jours de congés + 15 RTT par an (pour un temps plein)
- de dispositifs de développement des compétences : formation, conseil en orientation professionnelle ;
- de la prise en charge à 50 % de votre cotisation à la complémentaire santé collective ;
- d'un soutien à la parentalité : CESU garde d'enfants, prestations pour les loisirs ;
- d'un accompagnement social : conseil et écoute, aides et prêts sociaux ;
- de prestations vacances et loisirs : chèque-vacances, hébergements à tarif préférentiel ;
- d'activités sportives et culturelles ;
- d'une restauration collective.
Modalités pour postuler
J'envoie mon CV et ma lettre de motivation
Les personnes accueillies à INRAE, établissement public de recherche, sont soumises aux dispositions du Code de la fonction publique notamment en ce qui concerne l’obligation de neutralité et le respect du principe de laïcité. A ce titre, dans l’exercice de leurs fonctions, qu’elles soient ou non au contact du public, elles ne doivent pas manifester leurs convictions, par leur comportement ou leur tenue, qu’elles soient religieuses, philosophiques ou politiques. > En savoir plus : site fonction publique.gouv.fr