RÉUNION

Vendredi 5 octobre 2001

Info :

- Rappel sur ce qu'Annelies nous avait envoyé après la réunion du 8 mai (on écrit toujours trop) :

On a fini un peu vite mardi dernier et on n'a pas vraiment conclu sur ce qu'on doit faire d'ici la prochaine réunion qui est dans longtemps (15 septembre) !!

L'idéal serait que l'on réalise le corpus d'ici là et que l'on aie un premier proto du logiciel afin que l'on puisse transcrire le corpus avec.

Il faudrait rajouter Jimmy et Frédéric à la liste des participants et les autres personnes qui étaient intéressées, Rachid je crois, et leur proposer de participer aux sous-groupes qui les intéressent.
Qui s'en charge ?

Pour ce qu'on doit faire à court terme, voila ce que je sais :

- Rachid doit relancer le directeur de l'INJS, Annick coordonne le sous-groupe "réalisation du corpus commun",
- le sous-groupe "logiciel d'aide à la transcription" s'est fixé un rendez-vous à Toulouse le 23 mai (Annelies, Christophe, Patrice et sa gang),

- Annie et Fanch doivent se voir sans doute à Toulouse aussi la date n'est pas encore fixée,

- le tableau ébauché par le sous-groupe "segmentation" doit être mis au propre (par moi) et diffusé afin d'être complété,

Vous voyez autre chose qu'on doit faire ?
On peut aussi faire d'autres sous-groupes.
Vous avez des propositions ?

 

Ordre du jour

9h30-10h00	Café rituel au LIMSI ...
10h00-10h30	Informations diverses (INJS, ...)
10h30 - 12h	Etat des lieux : Logiciel, Corpus - Corpus test constitué par Fanch et Annick
12h-13h	Repas
13h30 -15h30	Finalisation du rapport d'avancement du projet (1 an ) et de l'article pour Toulouse
15h30 - 17h30	Suite du projet

Compte-rendu

Présents

Christophe Collet, Annick Choisier, Annie Risler, Christian Cuxac, Patrice Dalle, Ivani Fusellier, Marie Anne Sallandre, Fanch Lejeune, Annelise Braffort, Bruno Bossard, Rachid Gherbi

Cyril Courtin, Chab Nasro : assocation Visuel, stagiaire UP8, Eric Lawrin : ex-étudiant à Galaudet, a travaillé à la TV, en licence à P8 , a des projets en TV.

I- Informations

Info INJS :

Marie-Anne a demandé aux membres du labo audio-visuel, ils sont très intéressés, mais le directeur ne savait pas très bien qui nous sommes , d'où on vient... d'où pas de réponse !
Rachid a envoyé au moins 3 lettres lettres au directeur et a expliqué au téléphone au secrétariat ce qu'est le projet...

Marie-Anne propose relancer le directeur la semaine prochaine. Les membres du labo INJS pensent que ce type de service, location de compétences et matériel, se fera sous forme de vacations. Le projet est bloqué au niveau de la direction de l'INJS. Elle peut reprendre contact car elle connait l'institut et n'en est plus dépendante hiérarchiquement.

Pour les pb techniques (2 caméras, lumières), le responsable a dit qu'on pourrait apporter du matériel si nécessaire. Ce qui est important pour eux c'est de faire quelquechose d'officiel, sinon ils sont prêts.

Décision : Marie-Anne prend rendez-vous et y va avec Rachid et Annick .

Corpus

Présentation par Fanch Lejeune des acquisitions de corpus, réalisés dans le cadre de sa thèse, avec Annick Choisier.

Conditions techniques: une salle, fond blanc, éclairage naturel, caméra vidéo Betamax.
Il y a deux corpus faits deux jour différents : 1 fois avec un caméscope familial Hi8 et 1 fois avec une caméra 3 CCD Betamax.

 

Eric Lawrin fait part de son expérience de travail à la TV, c'est différent, le fond est bleu (pour le trucage), il faut resserer un peu, il faut que la personne soit un peu décalée par rapport à la caméra (tournée) pour qu'on voit la perspective sinon ça applatit les distances.
Il faut que la personne soit un peu décalée. entre 0 et 30 degrés. Il faut contôler avec un moniteur.i
Il faudra décaler dans les 2 dimensions : latéral et hauteur.

Questions à examiner :
Si la personne qui signe est de 3/4 est-ce qu'on voit bien son regard.
Est-ce que ces conditions sont cohérente avec les contraintes du traitement d'images.
Est-ce que dans ce cas-là le décalage ne doit pas dépendre de la main dominante.

Il faut faire des tests : face à la caméra et décalé dans un sens et un autre.

Discussion sur l'opportunité d'une caméra au dessus pourmieux observer les mouvements latéraux.
Par exemple , dans la vidéo de Blanche neige , dans la scène avec le puit, on a du mal à interpréter le mouvement de la main.

Pour Eric, à partir d'expériences de visoconférence, la qualité importante c'est le mouvement, s'il y a trop de couleur (saturation) ça écrase le mouvement, il ne faut pas que ça soit trop contrasté. Si la couleur est très vive, ça perturbe...
On ne peut pas comparer une image en visionconférence et la TV, mais il faut regarder tout ces paramètres.

Discussions sur la qualité des séquences :
- c'est la résolution et le contraste qui déterminent l'impression de qualité de l'image.
- Pourquoi y a t-il une différence de mouvement alors que c'est à 25 images/seconde dans les 2 cas.
- Dans l'un des films la personne était décalée, ça gène pour comprendre
- Le noir du vêtement est trop contrasté, surtout avec le fond blanc.
- Il faut éviter de faire un fond proche de la couleur de la peau, sinon on aura du mal en traitement d'image à séparer la peau du fond.
- Une lumière sur fond bleu permettrai de bien séparer la personne.
- Ca serait plus facile sur un fond bleu ou vert que blanc.

Il faut 2 caméras avec une qui fait un plan sur le visage, pour le regard.

Conclusion
Cette discussion montre qu'on est loin d'avoir déterminé les conditions pour faire un corpus parfait qui puisse servir à tous.
Est-ce qu'on doit pas ramener nos ambitions vers l'étude des conditions d'un corpus avant de passer à la suite.

Tout un travail intéressant a déjà été fait sur la segmentation et la transcription. Si on arrive à objectiver notre segmentation, on aura bien avancé.
Ce travail a été vraiment très intéressant même au niveau linguistique.

Vérifier ce qu'on croit déjà savoir (par rapport au regard ou autre) c'est ce qu'on fait. Ces éléments ne sont pas objectifs pour le moment.

Il faut peut-être séparer les éléments qui facilitent la compréhension de ceux qui permet tent le traitement d'image. Il faudrait faire une liste des indices visuels plus fins pour la segmentation.
Christian Cuxac a listé les indices visuels, en les regroupant par signification linguisitique et par indices visuels.

Proposition (Annelies) de continuer de travailler plutôt tous ces aspects la, càd : les indices visuels de segmentation au différents niveaux linguistiques, informatique... pour préciser les conditions techniques et pendant ce temps continuer à négocier avec l'INJS.

Discussion suite à une suggestion d'Eric, pour le traitement de l'image, d'utiliser des capteurs pour le mouvement... ça serait plus sûr au niveau du résultat.c
- Cela permet d'avoir plus d'info, ça serairt intéressant.
- Où mettre les capteurs ?

Si on continue à travailler sur les indices dont on a besoin pour notre recherche, on pourra réfléchir aux méthodes pour les mesurer. On peut aussi faire des essais. Cela ralonge d'autant plus la partie recherche...

L'année dernière une chaine de TV a été créée avec de la traduction où ils utilisent des capteurs et produisent un personnage artificiel qui signe.
Voir aussi signing avatar : http://www.signingavatar.com/

Le capteur idéal c'est celui qui reproduirait les conditions réelles d'utilisation de la LS chez l'homme, c'est-à-dire une tête de stéréovision mais c'est difficile pour le moment. On fait donc toujours un compromis entre ce qu'on sait extraire dans un temps acceptable et ce qu'il faudrait faire dans l'idéal.

D'un point de vue informatique, le traitement d'image c'est très compliqué, et l'idée d'objectiver les indices, cela permet de faciliter ces traitement parce qu'on sait alors ce qu'on cherche.

Le point sur le logiciel

Les équipes du LIMSI et de l'IRIT se sont rencontrées pour une journée de travail à Toulouse en mai.

Le groupe du LIMSI a poursuivi l'étude de l'éditeur de partition : les spécifications sont faites et les classes (tout ce qui réalise les fonctionnalités du logiciel) ont été programmées. Par contre l'interface graphique (ce qui permet d'utiliser le logiciel) n'a pas pu être fait. Ca ne pose pas de problème théorique, mais c'est un travail de developpement que Christophe ou Annelies n'ont pas le temps de faire.
Proposition de réserver un montant de vacations qui permettraient de payer un étudiant pour faire ce travail à raison de quelques heures par semaine.

A l'IRIT, dans l'équipe de Patrice, il y avait 3 personnes dont les activités sont en rapport avec le projet :
- Boris Lenseigne fait sa thèse sur une architecture multi-niveaux pour l'interprétation d'images dans des séquences d'images de locuteurs en LS. Il a surtout travaillé à mettre en place l'environnement nécessaire pour développer ce projet (bibliothèque d'opérateurs de traitement d'image, environnement graphique, etc ...).
- Céline Hudelot a fait un stage de DEA sur les indices visuels spaciaux-temporel (par ex trouver le bout d'un mouvement dans une séquence). Elle a étudié une méthode d'extraction du locuteur puis de détermination des régions qui correspondent à la peau (visage, mains) et enfin une méthode d'extraction et d'analyse du mouvement adaptée de la méthode tMHI (Time Motion History Image). D'autre part elle a réalisé une interface permettant de manipuler la vidéo et de déclencher un traitement
Environnement informatique retenu : unix/Linux, C++ pour la programmation, GTK+ et GTKmm pour l'interface, bibliothèques SDL (Simple DirectMedia Layer) et Smpeg (SDL MPEG Player Library) pour la vidéo et bibliothèque C++ Pandore pour l'analyse d'image.
Elle restera peut-être en thèse sur un sujet proche, d'analyse de gestes.
Un rapport technique sur le logciel qu'elle a produit va être fait.
- Felicia Maviane a travaillé sur un éditeur de SignWritting aidé par le traitement d'image.
- Enfin, une étudiante sourde, Guillemette Jausions, vient d'arriver dans l'équipe pour faire un DEA sur l'analyse des expressions du visage par traitement d'image.

Remarque sur leur absence à cette réunion : jusqu'à présent les questions de remboursement des déplacements n'étaient pas encore réglées. C'est maintenant réglé : Annie a déjà été remboursée et Patrice le sera bientôt.

Les équipes du LIMSI et de l'IRIT vont organiser une réunion technique informatique pour permettre la fusion entre leurs programmes et sans doute revoir à la baisse leurs ambitions.

Discussion sur les matériels informatiques :
- Patrice signale que les chercheurs de son équipe n'ont pas de station de travail permattant de traiter la vidéo (pas d'acquisition). c'est pénalisant pour le développement et la validation des programmes.

Décision de faire une analyse chiffrée des besoin en matériel pour pouvoir l'acheter.
Christian Cuxac informe que le projet dispose d'un total de 250Kf HT et hors fraiss de gestion retenu par Paris8. Le premier versement est donc d'environ 100Kf.
Il faut faire le point sur le budget : savoir combien on a dépensé et décider du matériel que l'on va acheter.
Chaque équipe qui a besoin de matériel envoie des devis qui passent par les conditions de marché de Paris8.

A Paris 8 les chercheurs du projet pourront utiliser la salle des doctorants, mais pas seuls (d'où problème de sécurité du matériel informatique)

Remarque : demande que les notes prises en réunion soient envoyées le plus vite possible, même si elles ne sont pas mises en forme, pour les personnes qui n'ont pas pu venir à la réunion.

AB: cet après-midi on travail en petit groupe pour rédiger l'état des lieux

pour faire l'article de toulouse et pour le rapport d'avancement du projet.

MAS: j'aimerai bien que l'on sache ce soir ce que doit faire chacun

2-Travail de rédaction de l'article collectif pour les journées de Toulouse en novembre

Travail en 3 groupes:

1- Présentation de LS-COLIN

a- Hypothèses :

- sur la LSF
- sur le traitement d'images

b- Objectifs

2- Première étape

a- Mise en commun des approches d'analyse de la LS

b- État de l'art sur les systèmes existants

3- Réalisation d'un éditeur de partitions

a- Spécification d'un éditeurmanuel

b- Possibilités d'automatisation partielle

Répartition du travail à faire

- INJS : Marie-Anne -> contacte de la direction 1 semaine -> RdV avec Rachid

- Compte-rendu : Annick lundi ou mardi

- Budget:

Patrice -> devis de Toulouse à Paris8 pour essai 1 sem.
Ivani -> PC -> P8
Patrice -> Plate forme acquisition vidéo à l'IRIT
Christophe -> Vacations aux LIMSI
Christian -> point précis sur le budget -> combien peut-on dépenser.

Tout le monde envoie à Christian ses frais en disant si c'est déjà remboursé.

- Ministère: Christian -> Contacter le ministère pour savoir la suite du projet : budget, rapport d'avancement...

- Article :

- partie 1 Christophe
- partie 2 Rachid + intro
- partie 3 Annelies

Dans une semaine l'article est sur le site web

La semaine suivante on envoie des remarques aux responsables de partie

La semaine d'après, Patrice et Marie-Anne finalisent l'article avec la conclusion

Garder tout ce qu'on a fait même si ce n'est pas dans l'article, afin de faire le rapport intermédiaire.

--------------

Dernières nouvelles (8/10) :

Suite à un contact de Christian avec le Ministère, il n'est pas nécessaire de faire un rapport intermédiaire. Il y aura simplement une entrevue de suivi pour vérifier que le projet se déroule normalement. Nous serons informés par courrier.

Voila une nouvelle qu'elle est bonne !
Cependant j'ai hésité à vous la transmettre, car je suis intimement convaincu que l'obligation de rédiger quelque chose est très bénéfique pour l'avancement du projet.
Mais bon ....

Patrice