Mise à jour : 30 mai 2023

Permanents : Annelies Braffort, Michael Filhol, Michèle Gouiffès, Cyril Verrecchia
Doctorants : Camille Challant, Yanis Ouakrim, Paritosh Sharma
Post-doctorants : Claire danet, Emmanuella Martinot
Ingénieur : Thomas Von Ascheberg

Les Langues des Signes (LS) sont des langues naturelles pratiquées au sein des communautés de Sourds et la Langue des Signes Française (LSF) est celle utilisée en France. Ce sont des langues visuo-gestuelles : une personne s’exprime en LS en utilisant de nombreuses composantes corporelles (les mains et les bras, mais aussi les expressions du visage, le regard, le buste, etc.) et son interlocuteur perçoit le message par le canal visuel. Le système linguistique des LS exploite ces canaux spécifiques : de nombreuses informations sont exprimées simultanément et s’organisent dans l’espace, et l’iconicité joue un rôle central. À ce jour, les LS n’ont pas de système d’écriture ni de système graphique standard pour la transcription. Elles sont encore peu décrites et peu dotées (très peu d’ouvrages de référence, lexiques limités, connaissances partielles sur la grammaire, peu de ressources en général). La modélisation informatique des LS nécessite de concevoir des représentations dans un domaine où peu de données sont disponibles et où les modèles pré-existants, essentiellement linéaires, ont été développés pour les langues écrites ou parlées et ne couvrent pas tous les aspects des LS. À travers des projets et collaborations nationales et internationales, nous produisons des ressources linguistiques et nous abordons des problématiques d’analyse, de représentation et de traitement de la LSF de manière interdisciplinaire, avec des points de vue de plusieurs domaines de l’informatique (TAL, traitement du signal, vision par ordinateur, informatique graphique), ainsi que des sciences du langage, du mouvement et de la perception.
Les corpus produits ou co-produits par le LISN sont accessibles pour la recherche publique sur le site Ortolang.

• Vidéo expliquant nos projets de recherche
• Quiz-LSF : Jeux sérieux pour sensibiliser sur l'iconicité dans le lexique de la LSF
• Quiz-photo : Jeux sérieux pour sensibiliser sur l'iconicité dans les discours en LSF

• En cours
  • Modélisation
    • 2021-2024 : Camille Challant, Représentation formelle et contraintes grammaticales pour la langue des signes française lien. Directeur M. Filhol. ED STIC de l'Université Paris-Saclay.
  • Génération d'animations
    • 2021-2024 : Paritosh Sharma, Synthèse de langue des signes par un système d'animation à granularité décroissante à partir d'AZee lien. Directeur M. Filhol. ED STIC de l'Université Paris-Saclay.
  • Analyse, reconnaissance
    • 2021-2024 : Yanis Ouakrim (AMI, Gipsa-Lab), Reconnaissance de la LS continue pour la réalisation d'un serveur gestuel lien. Directeurs M. Gouiffès (AMI) et D. Beautemps (Gipsa-Lab), co-encadrants A. Braffort et T. Hueber (Gipsa-Lab), ED EEATS de l'Université Grenoble-Alpes.

• Soutenus récemment, vidéo de traduction ou interprétation en LSF parfois disponible.
  • 2023 : Hannah Bull, Learning Sign Language from Subtitles lien. Vidéo bientôt en ligne
  • 2022 : Marion Kaczmarek, Spécification d'un logiciel de traduction assistée par ordinateur à destination des langues signées lien. Vidéo bientôt en ligne
  • 2021 : Félix Bigand, En anglais. Extracting human characteristics from motion using machine learning : the case of identity in Sign Language lien. Vidéo ICI
  • 2021 : Michael Filhol, HDR. Modélisation, traitement automatique et outillage logiciel des langues des signes lien
  • 2020 : Valentin Belissen, En anglais. From Sign Recognition to Automatic Sign Language Understanding : Addressing the Non-Conventionalized Units lien. Vidéo ICI

• Soutenues avant 2020

• En cours
  • 2021-2023 : Easier - Projet européen Horizon 2020
    • Coordination pour le LISN : M. Filhol.
    • L'objectif est de concevoir, développer et valider un système complet de traduction multilingue pour une communication sans frontières entre individus sourds et entendants, ainsi qu’une plateforme d’aide à la création de contenu en langue des signes.
    • Personnes impliquées au LISN : 2 permanents (M. Filhol, A. Braffort), 1 chercheur invité (J. McDonald), 1 ingénieur d'étude (T. Von Ascheberg)
  • 2020-2024 : Serveur Gestuel - Projet PSPC de BPI France.
    • Coordination pour le LISN : A. Braffort.
    • L'objectif du projet Serveur gestuel est de mettre à disposition des sourds pratiquant la langue des signes l'équivalent d'un serveur vocal pour les entendants, en partenariat avec le laboratoire Gipsa-lab et les entreprises IVèS et 4DViews. Le LISN est impliqué à la fois dans la partie reconnaissance automatique et dans la partie génération automatique.
    • Partenaires : Entreprises IVès et 4Dviews, laboratoires LISN et Gipsa-Lab.
    • Personnes impliquées au LISN : 4 permanents (A. Braffort, M. Filhol, M. Gouiffès, C. Verrecchia), 2 doctorants (Y. Ouakrim, P. Sharma) et 2 post-doctorantes (C. Danet, E. Martinod).
  • Collaboration avec le projet ASL Avatar project de DePaul University à Chicago
    • Personnes impliquées au LISN : M. Filhol et A. Braffort
    • Personnes impliquées à DePaul : J. McDonald et R. Wolfe
    • Études sur l'analyse du mouvement et synthèse de langue des signes. Génération d'animations 3D à partir des représentations linguistiques développées dans l'équipe, analyse du mouvement à partir des corpus de mocap de l'équipe pour la modélisation et la synthèse.
  • Collaboration avec le projet Sign'Maths de l'Université Paul Sabatier à Toulouse

• Personnes impliquées au LISN : A. Braffort, M. Gouiffès et 1 stagiaire M2 financement AIP (J. Lascar)
• Personnes impliquées à l'UPS : C. Dartyge
• Étude sur les requêtes en LSF dans des vidéos de LSF pour l’enseignement des mathématiques

• Terminés récemment
  • 2018-2021 : Rosetta (Projet PIA Grands défis du numérique)
    • Coordination pour le LISN : A. Braffort
    • Développement d’un générateur automatique de sous-titrages multilingues pour les programmes de télévision et les contenus vidéo internet à destination des sourds et malentendants basés sur l’intelligence artificielle et développement d’un système automatique de représentation en langue des signes française (LSF) sous forme d’animation basée sur un avatar signant 3D.
    • Partenaires : Entrepises Systran, MocapLab et MFP (Multimédia France Productions/filiale deFrance Télévision), laboratoires LISN et CHArt-LUTIN.
    • Personnes impliquées au LISN : 5 permanents (A. Braffort, M. Filhol, M. Gouiffès, E. Prigent, F. Yvon), 3 doctorants (F. Bigand, F. Buet, M. Kaszmarek), 3 post-doctorants (V. Belissen, C. Danet, E. Martinod).

• Terminés avant 2020

• Accès restreint