TRaitement Automatique des Interactions Multimodales en Apprentissage

Le projet de recherche TRAIMA a pour objectif d’explorer le potentiel de traitement automatique des interactions multimodales en situations pédagogiques.

Description générale du projet

Actuellement, l’analyse des interactions verbales, paraverbales et non-verbales est effectuée manuellement par les chercheurs. Très couteuse en temps, elle pourrait être remplacée par des algorithmes de Machine Learning qui les catégoriseraient et les classifieraient. Notre objectif est principalement d’explorer le potentiel de traitement automatique des corpus interactionnels intégrant la multimodalité (posturo-mimo-gestualité « PMG » des interactants) lors de situations pédagogiques. Plus spécifiquement, nous traitons en priorité les séquences explicatives (Fasel Lauzon, 2012, 2014) et collaboratives (Gracia-Moreno, 2015, 2016, 2017) en interaction qui ont lieu entre enseignants et apprenants de langue (Français Langue Etrangère et Français Langue Maternelle). L’enjeu est d’arriver à mettre au point une méthodologie de recherche basée sur des algorithmes de Machine Learning afin de catégoriser et classifier les interventions verbales et non-verbales des acteurs pédagogiques. L’originalité de ce projet est qu’il n’existe pas, à ce jour, une application permettant d’automatiser à grande échelle les corpus interactionnels lorsque les intervenants parlent en même temps et pour lesquels la PMG n’est pas forcément signifiante ou vue de tous.

Contexte scientifique

Le rapport de conjoncture du CNRS (2014 : 159) note que la prise en compte du langage en contexte naturel rend nécessaire le traitement de la multimodalité, intégrant les aspects verbaux et non verbaux de l’interaction (gestes, attitudes, etc.). Les rapporteurs soulignent que la direction des études en TALP (traitement automatique de la langue et de la parole) se doit de porter à présent sur la sémantique pour laquelle il n’existe toujours pas de modèle véritablement utilisable. Il est encore difficile de passer d’une approche de niveau lexical à des représentations structurées de type pragmatique. Ainsi, il devient nécessaire de rapprocher les technologies à base de règles aux méthodes d’apprentissage.

D’un point de vue purement linguistique, les chercheurs en didactique se sont focalisés sur des analyses interactionnelles qualitatives basées sur des observations de tours de parole en classe, de places dans le groupe et la manière dont les participants les occupent (Kerbrat-Orecchioni, 2001 ; Cicurel, 2011). Ces investigations portant sur des micro-analyses d’événements discursifs sont aujourd’hui enrichies d’un intérêt pour les comportements non-verbaux notamment la place des gestes professionnels, du jeu des postures (Bucheton, 2009). Le corps de l’enseignant, au sens de Tellier (2008), est un véritable outil pédagogique et a pour intention d’informer, évaluer et animer. Il peut également expliquer ou tenter de faire comprendre selon Rançon (2011) mais également de collaborer. Ces attitudes enseignantes sont d’autant plus fondamentales pour l’accès au sens qu’interaction et acquisitions en contexte sont reliées (Gajo & Mondada, 2000). Mais au-delà des formes linguistiques et des dynamiques interactionnelles bien identifiées (Mondada, 1995), se pose la difficulté du traitement des corpus.

Période de réalisation

De janvier à décembre 2019

Financement

AAP MSHS 2019

Partenaires

  • Laboratoire TECHNE EA6316
  • Laboratoire FORELLIS EA3816
  • Laboratoire LIAS EA6315
  • Suivez l'actualité du laboratoire sur les réseaux sociaux