Groupe de travail 4 : Multimodalité et modalité visuo-gestuelle

Coordinateurs : Maya Hickmann (juin 2010 > mai 2013), Harriet Jisa, Brigitte Garcia et Dominique Boutet.

Participants : Emmanuèle Auriac-Slusarczyk, Pauline Beaupoil-Hourdel, Roxane Bertrand, Claudia Savina Bianchini, Catherine Bolly, Annelies Braffort, Stéphanie Caët, Jean-Marc Colletta, Camille Debras, Annie-Claude Demagny, Sarra El Ayari, Gaelle Ferré, Stéphanie Gobet-Jacob, Aliyah Morgenstern, Christophe Parisse, Isabelle Rousset, Eva Soroli, Mark Tutton, Valentina Vapnarsky, Coralie Vincent.

S’inscrire à la liste de diffusion (laisser le mail vide)

Envoyer un mail

Introduction : intitulé, domaines, périmètre

L’intitulé de ce groupe de travail, « Multimodalité et modalité visuo-gestuelle », souligne un regroupement de problématiques variées qui émergent des recherches concernant trois domaines :

1. l’étude des langues vocales, appréhendées dans l’intégralité de leur contexte multimodal (dont par exemple la gestualité co-verbale) ;

1. l’étude des langues des signes, de modalité visuo-gestuelle par nature ;

1. l’étude de la gestualité, en tant que telle, comme une modalité d’expression en soi.

Ces domaines font intervenir des pratiques de recherche variées, autour de corpus de productions multi- ou mono-modales qui sont toutes envisagées comme des productions « orales » (par opposition aux productions « écrites »). Chaque domaine peut être associé à différents types de corpus, mais un même corpus peut relever des trois domaines. Ces corpus impliquent des problématiques communes, ainsi que spécifiques à chaque domaine, concernant leur constitution, dépouillement, codage et analyse, et liées à l’utilisation (conjointement ou non) de différentes modalités d’expression en contexte (gestes, regards, postures, mimiques, autres événements et entités en présence, etc.).

Journées d'étude

Journée d’études internationale Multimodalité- perspectives interdisciplinaires : nouvelles questions et nouvelles méthodologies, 6 juin 2014, INALCO

Journée organisée par le GT4

Résumé des contributions

Page détaillée de la journée

Constitution, traitement et analyse de corpus multimodaux (4 et 5 novembre 2013, Paris)

Supports de formation accessibles sur le site du SFL

Formateurs : Christophe Savariaux (CNRS, GIPSA-lab - UMR5216), Coralie Vincent (CNRS, SFL - UMR7023) et Franck Guillemain (CNRS, CLT - UPS2259).

Jour 1 : Prises de vue et prise de son

La vidéo, l’image et l’éclairage par Christophe Savariaux

Enregistrement de données audio par Coralie Vincent

L’audiovisuel (avant de partir en tournage...) par Franck Guillemain

Jour 2 : Transferts, traitement et montage des données numériques

Introduction sur le codage/recodage, Présentation des logiciels Avidemux, VirtualDub et VirtualdubMod par Christophe Savariaux

Sous-titrage (fichier .srt séparé / incrustation) par Coralie Vincent, incluant une courte introduction au logiciel ELAN

Montage : Installation du logiciel Premiere Element 12, Importation de données vidéo, audio et image par Coralie Vincent - les autres éléments expliqués en cours (notion d’image-clé, ajout de flèches pour souligner certains éléments,...) n’ont pas fait l’objet d’une présentation, car montrés "à la demande".

Notation, Annotation et analyse de corpus multimodaux avec le logiciel ELAN, (6 et 7 novembre 2013, Paris)

Supports de formation accessibles sur le site du SFL

Formateurs : Isabelle Rousset (Lidilem), Christophe Parisse (MoDyCo - UMR7114) et Dominique Boutet (SFL - UMR7023).

GROUPE DEBUTANTS

Jour 1 : Prise en main du logiciel ELAN

Chargement du logiciel. Présentation des principales fonctionnalités d’ELAN (découverte du menu), chargement de données primaires multimodales (vidéo et audio), création de pistes (acteurs), segmentations (manuelle, à la volée), annotations. Synchronisation des données primaires. (Christophe Parisse)

Sensibilisation aux formats et codecs.

Comment importer une annotation effectuée sous excel, ou d’autres logiciels d’annotation (Praat, Transcriber, Toolbox, Clan). Bâtir un template sous ELAN : stéréotypes et types associés aux pistes (acteurs). (Christophe Parisse)

Jour 2 : Template et Fonctions avancées

Bâtir un template sous ELAN : vocabulaire contrôlé. Associations VC, types linguistiques et pistes d’annotation. Fonctions avancées d’ELAN (merge et tokeniser). Répartir les annotations entre annotateurs et fusionner les transcriptions. (Dominique Boutet)

Corriger une annotation : Fonction rechercher/remplacer (fichier simple ou multiple). Faire de requêtes sous ELAN, sauvegarde des requêtes et des résultats. Exporter vers Excel. (Isabelle Rousset et Christophe Parisse)

GROUPE AVANCES

Jour 1 : Prise en main du logiciel ELAN (Isabelle Rousset)

Questions présidant à l’établissement d’un schéma d’annotation, élaboration d’un template : structuration de l’annotation (type des pistes et des attributs). Constitution de vocabulaires contrôlés, insertion de différents médias, modalités de segmentation, annotations. (Isabelle Rousset)

Import d’annotations, Fonctions avancées (merge, filtres, copy, tokeniser), Modifications/ réutilisation d’un template. Sensibilisation à la constitution d’un manuel de codage. (Isabelle Rousset)

Jour 2 : Requêtes et analyse

Requêtes, utilisation d’expressions régulières, enregistrement des requêtes, recherches sur plusieurs fichiers, exports des résultats. Utilisation d’Excel : import, export des données, utilisation des fonctions d’Excel pour modifier des données, pour générer des tiers ou des données à réimporter le cas échéant. (Christophe Parisse)

Insertion de données primaires de type biomécanique (fichiers liés), affichage dans ELAN, transformation des données en annotations (import des données depuis excel). (Dominique Boutet)

Perspectives croisées sur l'analyse multimodale de corpus oraux (25/05/2013)

Compte-rendu

Actions envisagées

• Recenser et regrouper les unités, équipes et individus concernés.

• Identifier et centraliser les besoins ainsi que les ressources disponibles : corpus, tutoriels, métadonnées, normes de diffusion, manuels de codage, pratiques, etc.

• Établir un état des lieux en identifiant les problèmes généraux qui traversent les trois domaines ainsi que les spécificités de chacun d'entre eux et en impulsant de nouvelles questions de recherche, notamment à l'interface entre domaines.

• Optimiser l'utilisation et la visibilité des ressources, par exemple : élaborer un « guide de bonnes pratiques », examiner différentes modalités de diffusion, faire les aménagements nécessaires pour accroître leur accessibilité, y compris par des moyens de visualisation pour les articles scientifiques.

• Promouvoir la standardisation des corpus et en améliorer la spécification, par exemple : faire le point sur différents systèmes et critères de segmentation automatique ou semi-automatique, mettre en place une police de caractères pour la notation des gestes, proposer des avancées dans l'analyse de la langue des signes au vu des limites des gloses en langue vocale ainsi qu'en matière de bases de données lexicales (lemmatisation) et de procédures de transcription, recenser les développements d’outils paramétrables permettant de segmenter le signal, etc.

• Recenser les besoins en formation, notamment en ce qui concerne : les enregistrements lors de la constitution des corpus ; le découpage, l'annotation et l'analyse des données dans différents systèmes ; ainsi que la diffusion des métadonnées et le dépôt d'informations sur un centre de ressources.

Constitution et fonctionnement du groupe de travail

Participants au groupe (liste ouverte à compléter)

Lors de la réunion du Conseil Scientifique qui s'est tenue le 16 janvier 2012, les personnes ci-dessous se sont inscrites pour participer à ce groupe de travail.

Experts externes

Le groupe identifiera et pourra solliciter des experts externes nationaux ou internationaux.

Modalités de fonctionnement

Le groupe fonctionnera par divers types d’échanges réguliers (courriels, téléconférences, réunions si nécessaire) et devra fournir des comptes rendus au Comité de Pilotage IRCOM plusieurs fois par an. Il est envisagé d’organiser des rencontres avec d'autres groupes de travail.

Dernière mise à jour : 2015/01/26