Mise à jour : 3 novembre 2023

Les Langues des Signes (LS) sont des langues naturelles pratiquées au sein des communautés de Sourds et la Langue des Signes Française (LSF) est celle utilisée en France. Ce sont des langues visuo-gestuelles : une personne s’exprime en LS en utilisant de nombreuses composantes corporelles (les mains et les bras, mais aussi les expressions du visage, le regard, le buste, etc.) et son interlocuteur perçoit le message par le canal visuel. Le système linguistique des LS exploite ces canaux spécifiques : de nombreuses informations sont exprimées simultanément et s’organisent dans l’espace, et l’iconicité joue un rôle central. À ce jour, les LS n’ont pas de système d’écriture ni de système graphique standard pour la transcription. Elles sont encore peu décrites et peu dotées (très peu d’ouvrages de référence, lexiques limités, connaissances partielles sur la grammaire, peu de ressources en général). La modélisation informatique des LS nécessite de concevoir des représentations dans un domaine où peu de données sont disponibles et où les modèles pré-existants, essentiellement linéaires, ont été développés pour les langues écrites ou parlées et ne couvrent pas tous les aspects des LS.
Nos questions de recherche couvrent les aspects suivants : Comment prendre en compte les spécificités linguistiques liées à leur nature visuo-gestuelles (multilinéarité, spatialisation, iconicité) pour une modélisation linguistique ? Comment analyser, représenter et traiter automatiquement les langues des signes ? Quelles types d’approches sont possibles avec peu de données de langue des signes française (LSF) ? Durant la période concernée, ces trois questions fondamentalement liées sont abordées dans les travaux de recherche décrits ci-dessous.
À travers des projets et collaborations nationales et internationales, nous produisons des ressources linguistiques et nous abordons ces problématiques de manière interdisciplinaire, avec des points de vue de plusieurs domaines de l’informatique (TAL, traitement du signal, vision par ordinateur, informatique graphique), ainsi que des sciences du langage, du mouvement et de la perception.
Les corpus produits ou co-produits par le LISN sont accessibles pour la recherche publique sur le site Ortolang.

• Permanents
  • Chercheurs : Annelies Braffort, Michael Filhol
  • Enseignante-chercheuse : Michèle Gouiffès
  • Infographiste : Cyril Verrecchia
  • Ingénieure d'étude : Laurence Bolot
• Non permanents
  • Doctorants : Camille Challant, Julie Halbout, Yanis Ouakrim, Paritosh Sharma
  • Post-doctorants : Emmanuella Martinod
  • Ingénieur en CDD : Julie Lascar, Thomas Von Ascheberg
  • Collaboratrice extérieure : Claire Danet

• Illustrations ou démonstrations
  • Vidéo expliquant nos projets de recherche (bientôt avec une traduction en LSF)
  • Vidéo montrant le prototype de logiciel de Traduction Assistée par Ordinateur français/LSF développé dans le cadre de ma thèse de Marion Kaczmarek
• Jeux sérieux
  • Quiz-LSF : Jeu sérieux pour sensibiliser sur l'iconicité dans le lexique de la LSF
  • Quiz-photo : Jeu sérieux pour sensibiliser sur l'iconicité dans les discours en LSF

• En cours
  • Modélisation
    • 2021-2023 : Camille Challant, Représentation formelle et contraintes grammaticales pour la langue des signes française lien. Directeur M. Filhol. ED STIC de l'Université Paris-Saclay.
  • Génération d'animations
    • 2021-2024 : Paritosh Sharma, Synthèse de langue des signes par un système d'animation à granularité décroissante à partir d'AZee lien. Directeur M. Filhol. ED STIC de l'Université Paris-Saclay.
  • Analyse, reconnaissance, traduction
    • 2021-2024 : Yanis Ouakrim (AMI, Gipsa-Lab), Reconnaissance de la LS continue pour la réalisation d'un serveur gestuel lien. Directeurs M. Gouiffès (AMI) et D. Beautemps (Gipsa-Lab), co-encadrants A. Braffort et T. Hueber (Gipsa-Lab), ED EEATS de l'Université Grenoble-Alpes.
    • 2023-2026 : Julie Halbout, Vision par ordinateur et Traitement Automatique des Langues pour l'enrichissement des ressources en LSF, Directrices M. Gouiffès (AMI) et A. Braffort. ED STIC de l'Université Paris-Saclay.

• Soutenus récemment, vidéo de traduction ou interprétation en LSF parfois disponible.
  • 2023 : Hannah Bull, Learning Sign Language from Subtitles lien. Vidéo soutenance LSF bientôt en ligne
  • 2022 : Marion Kaczmarek, Spécification d'un logiciel de traduction assistée par ordinateur à destination des langues signées lien. Vidéo soutenance LSF bientôt en ligne
  • 2021 : Félix Bigand, En anglais. Extracting human characteristics from motion using machine learning : the case of identity in Sign Language lien. Vidéo soutenance LSF ICI
  • 2021 : Michael Filhol, HDR. Modélisation, traitement automatique et outillage logiciel des langues des signes lien
  • 2020 : Valentin Belissen, En anglais. From Sign Recognition to Automatic Sign Language Understanding : Addressing the Non-Conventionalized Units lien. Vidéo soutenance LSF ICI

• Soutenues avant 2020

• En cours
  • 2021-2023 : Easier - Projet européen Horizon 2020
    • Coordination pour le LISN : M. Filhol.
    • L'objectif est de concevoir, développer et valider un système complet de traduction multilingue pour une communication sans frontières entre individus sourds et entendants, ainsi qu’une plateforme d’aide à la création de contenu en langue des signes.
    • Personnes impliquées au LISN : 2 permanents (M. Filhol, A. Braffort), 1 chercheur invité (J. McDonald), 1 ingénieur de recherche (T. Von Ascheberg)
  • 2020-2024 : Serveur Gestuel - Projet PSPC de BPI France.
    • Coordination pour le LISN : A. Braffort.
    • L'objectif du projet Serveur gestuel est de mettre à disposition des sourds pratiquant la langue des signes l'équivalent d'un serveur vocal pour les entendants, en partenariat avec le laboratoire Gipsa-lab et les entreprises IVèS et 4DViews. Le LISN est impliqué à la fois dans la partie reconnaissance automatique et dans la partie génération automatique.
    • Partenaires : Entreprises IVès et 4Dviews, laboratoires LISN et Gipsa-Lab.
    • Personnes impliquées au LISN : 4 permanents (A. Braffort, M. Filhol, M. Gouiffès, C. Verrecchia), 2 doctorants (Y. Ouakrim, P. Sharma) et 2 post-doctorantes (C. Danet, E. Martinod).
  • Collaboration avec le projet ASL Avatar project de DePaul University à Chicago
    • Personnes impliquées au LISN : M. Filhol et A. Braffort
    • Personnes impliquées à DePaul : J. McDonald et R. Wolfe
    • Études sur l'analyse du mouvement et synthèse de langue des signes. Génération d'animations 3D à partir des représentations linguistiques développées dans l'équipe, analyse du mouvement à partir des corpus de mocap de l'équipe pour la modélisation et la synthèse.
  • Collaboration avec le projet Sign'Maths de l'Université Paul Sabatier à Toulouse
    • Personnes impliquées au LISN : A. Braffort, M. Gouiffès et 1 stagiaire M2 financement AIP (J. Lascar)
    • Personnes impliquées à l'UPS : C. Dartyge
    • Étude sur les requêtes en LSF dans des vidéos de LSF pour l’enseignement des mathématiques

• Terminés récemment
  • 2018-2021 : Rosetta (Projet PIA Grands défis du numérique)
    • Coordination pour le LISN : A. Braffort
    • Développement d’un générateur automatique de sous-titrages multilingues pour les programmes de télévision et les contenus vidéo internet à destination des sourds et malentendants basés sur l’intelligence artificielle et développement d’un système automatique de représentation en langue des signes française (LSF) sous forme d’animation basée sur un avatar signant 3D.
    • Partenaires : Entrepises Systran, MocapLab et MFP (Multimédia France Productions/filiale deFrance Télévision), laboratoires LISN et CHArt-LUTIN.
    • Personnes impliquées au LISN : 5 permanents (A. Braffort, M. Filhol, M. Gouiffès, E. Prigent, F. Yvon), 3 doctorants (F. Bigand, F. Buet, M. Kaszmarek), 3 post-doctorants (V. Belissen, C. Danet, E. Martinod).

• Terminés avant 2020

• Accès restreint