Publié par Jean-david Boussemaer

Résumé reprenant quelques idées énoncées ou développées par Frédéric Bevilacqua (chargé de recherche à l’IRCAM depuis octobre 2003 dans les équipes Application Temps Réel et Pôle spectacle) lors de la conférence « Méthodes informatiques d’analyse du geste pour la musique et la danse » (IRCAM, le 17 janvier, 18h30).

 

Depuis plus d’un an, l’IRCAM est doté d’un pôle de recherches sur les technologies pour le spectacle menant trois types d’activités : la création d’interfaces, l’analyse de données issues de capteurs et le montage de projets artistiques (avec des artistes en résidence).

 

Musique

Trois familles d'instruments digitaux se distinguent :
- les « imitatifs », s’inspirant d’instruments existants. Ex. les claviers MIDI, le Virtual Violin de S. Goto.
- les « interfaces originales ». Ex. The Hands de Michel Waisvisz et le Méta Instrument de Serge de Laubier.
- les « instruments augmentés », dotés de capteurs pour augmenter les possibilités des instruments acoustiques. Grâce à eux, on obtient des données (ex. courbe d’accélération de l’archet) destinées à contrôler des processus musicaux. Ex. l’Hypercello de Tod Machover, la clarinette augmentée de Butch Rouan et le violon augmenté de l’IRCAM.

Si pour les instruments « imitatifs » et les instruments « augmentés », l’apprentissage est limité (la gestuelle est codifiée), il est nécessaire pour les nouvelles interfaces de réinventer le geste correspondant à l’interface ; le musicien n’a pas de pratique historique et son geste est directement lié au design de l’instrument.

 Après des phases de capture et de prétraitement des données (ex. transformation de la position de l’archet en vitesse), le chercheur passe à l’étape dite du « mapping » : contrôle des processus sonores et/ou visuels. Parmi les principaux types de mapping: le ‘one to one’ (à un paramètre capté correspond un paramètre sonore) et le ‘one to many’ (à un paramètre capté correspond plusieurs paramètres sonores). S’il part de quelque chose de très complexe et qu’il ne souhaite garder que quelques paramètres (many-to-one), le chercheur peut être amené à utiliser des algorithmes de reconnaissance de formes. 

 

Systèmes interactifs danse/musique & analyse du mouvement 

 La première initiative mêlant, de manière convaincante, geste et musique électronique fut Variations V (projet coordonné en 1965 par John Cage, Billy Klüver et la Cunningham Dance Compagny) : lorsqu’un danseur passait entre deux antennes, un son était généré. Dans les années quatre-vingt-dix, de multiples expérimentations similaires virent le jour (ex. les performances du groupe new-yorkais Troika Ranch). Actuellement, les artistes chercheurs explorent deux voies : certains disposent des capteurs sur le corps du danseur, d’autres procèdent à l’analyse du geste par la vidéo. 

 Dans le cas de l’analyse du mouvement par vidéo, il est possible de distinguer quatre champs : l’occupation de l’espace (ex. David Rokeby, système VNS permettant de visualiser la différence de mouvements entre deux moments donnés), la quantité de mouvement, le tracking de différentes parties du corps et l’analyse de la posture et des trajectoires.

 Très complet, le logiciel « Eyesweb » (développé par le laboratoire Infomus de l'Université de Gênes) incorpore une bibliothèque d’analyse de mouvements. L’application permet d’isoler la silhouette du danseur (ou des parties du corps) par rapport au fond puis d’obtenir différents paramètres de haut niveau comme la contraction (d’après la surface de la forme de la silhouette) ou la forme de la trajectoire. Un des axes de recherche à l'Ircam correspond au développement de méthodes de décomposition du mouvement. Par exemple, il est possible de décomposer le mouvement du danseur - en petites oscillations ou en mouvements amples - pour contrôler des paramètres sonores.

Pour l’instant, les performances des systèmes interactifs restent encore limitées par rapport aux niveaux d'analyse du mouvement pratiqués par les danseurs. Ceux-ci sont souvent amenés à redéfinir leurs chorégraphies pour s’adapter au système, ce qui par ailleurs peut amener de nouvelles perspectives artistiques.


Commenter cet article