Table des matières
Activités de recherche sur la Modélisation et le Traitement Automatique des Langues des Signes au LISN
Mise à jour : 21 mars 2023
Permanents : Annelies Braffort, Michael Filhol, Michèle Gouiffès, Cyril Verrecchia
Doctorants : Camille Challant, Yanis Ouakrim, Paritosh Sharma
Post-doctorants : Claire danet, Emmanuella Martinot
Ingénieur : Thomas Von Ascheberg
Les Langues des Signes (LS) sont des langues naturelles pratiquées au sein des communautés de Sourds et la Langue des Signes Française (LSF) est celle utilisée en France. Ce sont des langues visuo-gestuelles : une personne s’exprime en LS en utilisant de nombreuses composantes corporelles (les mains et les bras, mais aussi les expressions du visage, le regard, le buste, etc.) et son interlocuteur perçoit le message par le canal visuel. Le système linguistique des LS exploite ces canaux spécifiques : de nombreuses informations sont exprimées simultanément et s’organisent dans l’espace, et l’iconicité joue un rôle central.
À ce jour, les LS n’ont pas de système d’écriture ni de système graphique standard pour la transcription. Elles sont encore peu décrites et peu dotées (très peu d’ouvrages de référence, lexiques limités, connaissances partielles sur la grammaire, peu de ressources en général). La modélisation informatique des LS nécessite de concevoir des représentations dans un domaine où peu de données sont disponibles et où les modèles pré-existants, essentiellement linéaires, ont été développés pour les langues écrites ou parlées et ne couvrent pas tous les aspects des LS.
À travers des projets et collaborations nationales et internationales, nous produisons des ressources linguistiques et nous abordons des problématiques d’analyse, de représentation et de traitement de la LSF de manière interdisciplinaire, avec des points de vue de plusieurs domaines de l’informatique (TAL, traitement du signal, vision par ordinateur, informatique graphique), ainsi que des sciences du langage, du mouvement et de la perception.
Les corpus produits ou co-produits par le LISN sont accessibles pour la recherche publique sur le site Ortolang.
Démos, vulgarisation scientifique
- Vidéo expliquant nos projets de recherche
- Quiz-LSF : Jeux sérieux pour sensibiliser sur l'iconicité dans le lexique de la LSF
- Quiz-photo : Jeux sérieux pour sensibiliser sur l'iconicité dans les discours en LSF
Thèses et HDR
- En cours
- Modélisation
- 2021-2023 : Camille Challant, Représentation formelle et contraintes grammaticales pour la langue des signes française lien. Directeur M. Filhol. ED STIC de l'Université Paris-Saclay.
- Génération d'animations
- 2021-2024 : Paritosh Sharma, Synthèse de langue des signes par un système d'animation à granularité décroissante à partir d'AZee lien. Directeur M. Filhol. ED STIC de l'Université Paris-Saclay.
- Analyse, reconnaissance
- 2021-2024 : Yanis Ouakrim (AMI, Gipsa-Lab), Reconnaissance de la LS continue pour la réalisation d'un serveur gestuel lien. Directeurs M. Gouiffès (AMI) et D. Beautemps (Gipsa-Lab), co-encadrants A. Braffort et T. Hueber (Gipsa-Lab), ED EEATS de l'Université Grenoble-Alpes.
- Soutenue le 27 février 2023: Hannah Bull (AMI), Learning Sign Language from Subtitles lien. Co-directrices M. Gouiffès (AMI) et A. Braffort. ED STIC de l'Université Paris-Saclay.
Projets et collaborations
- En cours
- 2021-2023 : Easier - Projet européen Horizon 2020
- Coordination pour le LISN : M. Filhol.
- L'objectif est de concevoir, développer et valider un système complet de traduction multilingue pour une communication sans frontières entre individus sourds et entendants, ainsi qu’une plateforme d’aide à la création de contenu en langue des signes.
- Personnes impliquées au LISN : 2 permanents (M. Filhol, A. Braffort), 1 chercheur invité (J. McDonald), 1 ingénieur d'étude (T. Von Ascheberg)
- 2020-2024 : Serveur Gestuel - Projet PSPC de BPI France.
- Coordination pour le LISN : A. Braffort.
- L'objectif du projet Serveur gestuel est de mettre à disposition des sourds pratiquant la langue des signes l'équivalent d'un serveur vocal pour les entendants, en partenariat avec le laboratoire Gipsa-lab et les entreprises IVèS et 4DViews. M&le LISN est impliqué à la fois dans la partie reconnaissance automatique et dans la partie génération automatique.
- Partenaires : Entreprises IVès et 4Dviews, laboratoires LISN et Gipsa-Lab.
- Personnes impliquées au LISN : 4 permanents (A. Braffort, M. Filhol, M. Gouiffès, C. Verrecchia), 3 doctorants (Y. Ouakrim, P. Sharma, H. Bull) et 2 post-doctorantes (C. Danet, E. Martinod).
- Collaboration avec le projet ASL Avatar project de DePaul University à Chicago
- Personnes impliquées au LISN : M. Filhol et A. Braffort
- Personnes impliquées à DePaul : J. McDonald et R. Wolfe
- Études sur l'analyse du mouvement et synthèse de langue des signes. Génération d'animations 3D à partir des représentations linguistiques développées dans l'équipe, analyse du mouvement à partir des corpus de mocap de l'équipe pour la modélisation et la synthèse.