Activités de recherche sur la Modélisation et le Traitement Automatique des Langues des Signes au LISN

Mise à jour : 21 juillet 2023

Les Langues des Signes (LS) sont des langues naturelles pratiquées au sein des communautés de Sourds et la Langue des Signes Française (LSF) est celle utilisée en France. Ce sont des langues visuo-gestuelles : une personne s’exprime en LS en utilisant de nombreuses composantes corporelles (les mains et les bras, mais aussi les expressions du visage, le regard, le buste, etc.) et son interlocuteur perçoit le message par le canal visuel. Le système linguistique des LS exploite ces canaux spécifiques : de nombreuses informations sont exprimées simultanément et s’organisent dans l’espace, et l’iconicité joue un rôle central. À ce jour, les LS n’ont pas de système d’écriture ni de système graphique standard pour la transcription. Elles sont encore peu décrites et peu dotées (très peu d’ouvrages de référence, lexiques limités, connaissances partielles sur la grammaire, peu de ressources en général). La modélisation informatique des LS nécessite de concevoir des représentations dans un domaine où peu de données sont disponibles et où les modèles pré-existants, essentiellement linéaires, ont été développés pour les langues écrites ou parlées et ne couvrent pas tous les aspects des LS.
Nos questions de recherche couvrent les aspects suivants : Comment analyser, représenter et traiter automatiquement les langues des signes ? Comment prendre en compte les spécificités linguistiques liées à leur nature visuo-gestuelles (multilinéarité, spatialisation, iconicité) ? Quelles types d’approches sont possibles avec peu de données de langue des signes française (LSF) ?
À travers des projets et collaborations nationales et internationales, nous produisons des ressources linguistiques et nous abordons ces problématiques de manière interdisciplinaire, avec des points de vue de plusieurs domaines de l’informatique (TAL, traitement du signal, vision par ordinateur, informatique graphique), ainsi que des sciences du langage, du mouvement et de la perception.
Les corpus produits ou co-produits par le LISN sont accessibles pour la recherche publique sur le site Ortolang.

Membres du LISN (équipes et services LIPS, AMI et ASARD)

Permanents

Chercheurs : Annelies Braffort, Michael Filhol

Enseignante-chercheuse : Michèle Gouiffès

Infographiste : Cyril Verrecchia

Ingénieure d'étude : Laurence Bolot

Non permanents

Doctorants : Camille Challant, Julie Halbout, Yanis Ouakrim, Paritosh Sharma

Post-doctorants : Claire Danet, Emmanuella Martinot

Ingénieur de recherche : Julie Lascar, Thomas Von Ascheberg

Démonstrations, vulgarisation scientifique

Illustrations ou démonstrations

Vidéo expliquant nos projets de recherche (bientôt avec une traduction en LSF)

Vidéo montrant le prototype de logiciel de Traduction Assistée par Ordinateur français/LSF développé dans le cadre de ma thèse de Marion Kaczmarek

Jeux sérieux

Quiz-LSF : Jeu sérieux pour sensibiliser sur l'iconicité dans le lexique de la LSF

Quiz-photo : Jeu sérieux pour sensibiliser sur l'iconicité dans les discours en LSF

Thèses et HDR

En cours

Modélisation

2021-2023 : Camille Challant, Représentation formelle et contraintes grammaticales pour la langue des signes française lien. Directeur M. Filhol. ED STIC de l'Université Paris-Saclay.

Génération d'animations

2021-2024 : Paritosh Sharma, Synthèse de langue des signes par un système d'animation à granularité décroissante à partir d'AZee lien. Directeur M. Filhol. ED STIC de l'Université Paris-Saclay.

Analyse, reconnaissance

2021-2024 : Yanis Ouakrim (AMI, Gipsa-Lab), Reconnaissance de la LS continue pour la réalisation d'un serveur gestuel lien. Directeurs M. Gouiffès (AMI) et D. Beautemps (Gipsa-Lab), co-encadrants A. Braffort et T. Hueber (Gipsa-Lab), ED EEATS de l'Université Grenoble-Alpes.

Soutenus récemment, vidéo de traduction ou interprétation en LSF parfois disponible.

2023 : Hannah Bull, Learning Sign Language from Subtitles lien. Vidéo soutenance LSF bientôt en ligne

2022 : Marion Kaczmarek, Spécification d'un logiciel de traduction assistée par ordinateur à destination des langues signées lien. Vidéo soutenance LSF bientôt en ligne

2021 : Félix Bigand, En anglais. Extracting human characteristics from motion using machine learning : the case of identity in Sign Language lien. Vidéo soutenance LSF ICI

2021 : Michael Filhol, HDR. Modélisation, traitement automatique et outillage logiciel des langues des signes lien

2020 : Valentin Belissen, En anglais. From Sign Recognition to Automatic Sign Language Understanding : Addressing the Non-Conventionalized Units lien. Vidéo soutenance LSF ICI

Soutenues avant 2020

Projets et collaborations

En cours

2021-2023 : Easier - Projet européen Horizon 2020

Coordination pour le LISN : M. Filhol.

L'objectif est de concevoir, développer et valider un système complet de traduction multilingue pour une communication sans frontières entre individus sourds et entendants, ainsi qu’une plateforme d’aide à la création de contenu en langue des signes.

Personnes impliquées au LISN : 2 permanents (M. Filhol, A. Braffort), 1 chercheur invité (J. McDonald), 1 ingénieur de recherche (T. Von Ascheberg)

2020-2024 : Serveur Gestuel - Projet PSPC de BPI France.

Coordination pour le LISN : A. Braffort.

L'objectif du projet Serveur gestuel est de mettre à disposition des sourds pratiquant la langue des signes l'équivalent d'un serveur vocal pour les entendants, en partenariat avec le laboratoire Gipsa-lab et les entreprises IVèS et 4DViews. Le LISN est impliqué à la fois dans la partie reconnaissance automatique et dans la partie génération automatique.

Partenaires : Entreprises IVès et 4Dviews, laboratoires LISN et Gipsa-Lab.

Personnes impliquées au LISN : 4 permanents (A. Braffort, M. Filhol, M. Gouiffès, C. Verrecchia), 2 doctorants (Y. Ouakrim, P. Sharma) et 2 post-doctorantes (C. Danet, E. Martinod).

Collaboration avec le projet ASL Avatar project de DePaul University à Chicago

Personnes impliquées au LISN : M. Filhol et A. Braffort

Personnes impliquées à DePaul : J. McDonald et R. Wolfe

Études sur l'analyse du mouvement et synthèse de langue des signes. Génération d'animations 3D à partir des représentations linguistiques développées dans l'équipe, analyse du mouvement à partir des corpus de mocap de l'équipe pour la modélisation et la synthèse.

Collaboration avec le projet Sign'Maths de l'Université Paul Sabatier à Toulouse

Personnes impliquées au LISN : A. Braffort, M. Gouiffès et 1 stagiaire M2 financement AIP (J. Lascar)

Personnes impliquées à l'UPS : C. Dartyge

Étude sur les requêtes en LSF dans des vidéos de LSF pour l’enseignement des mathématiques

Terminés récemment

2018-2021 : Rosetta (Projet PIA Grands défis du numérique)

Coordination pour le LISN : A. Braffort

Développement d’un générateur automatique de sous-titrages multilingues pour les programmes de télévision et les contenus vidéo internet à destination des sourds et malentendants basés sur l’intelligence artificielle et développement d’un système automatique de représentation en langue des signes française (LSF) sous forme d’animation basée sur un avatar signant 3D.

Partenaires : Entrepises Systran, MocapLab et MFP (Multimédia France Productions/filiale deFrance Télévision), laboratoires LISN et CHArt-LUTIN.

Personnes impliquées au LISN : 5 permanents (A. Braffort, M. Filhol, M. Gouiffès, E. Prigent, F. Yvon), 3 doctorants (F. Bigand, F. Buet, M. Kaszmarek), 3 post-doctorants (V. Belissen, C. Danet, E. Martinod).

Terminés avant 2020

Interne

Accès restreint