Contrôle partagé :
Le contrôle des processus qui contribuent à la composition globale est partagé entre le danseur, le concepteur de médias en direct, la musique, la programmation logicielle et le matériel (ordinateur, caméra, dispositif de suivi de mouvement). Aucun d'entre eux n'a un contrôle exclusif sur le résultat. Dans ce sens, l'interaction en direct et la collaboration entre les performers et la technologie sont intégrées au processus créatif.
Le système de base se compose d'un espace de performance, d'un ou plusieurs performers, d'une caméra pour le flux vidéo en direct, d'un capteur Kinect pour le suivi des mouvements, d'un ordinateur exécutant Isadora et TouchDesigner pour la génération et la manipulation de médias en temps réel, d'une surface de projection arrière, d'une surface de projection avant (mur du fond), de deux projecteurs vidéo, d'un système d'éclairage de théâtre (trois projecteurs), et d'un système audio multicanal.
Base spatial dispositif at AiR Studio Rote Fabrik
Fonctionnement du système :
J'ai utilisé le flux vidéo en direct de la caméra et les données de suivi de mouvement du Kinect pour générer une texture visuelle à partir du corps, des mouvements et des gestes des performers. En travaillant avec une caméra vidéo ainsi qu'avec le capteur Kinect, j'ai utilisé deux systèmes parallèles (image vidéo et données de mouvement) simultanément. J'ai utilisé les réseaux de déplacement des pixels et de feedback dans TouchDesigner pour traiter le flux en direct provenant de la caméra.
J'ai utilisé le flux vidéo en direct de la caméra et les données de suivi de mouvement du Kinect pour générer une texture visuelle à partir du corps, des mouvements et des gestes des performers. En travaillant avec une caméra vidéo ainsi qu'avec le capteur Kinect, j'ai utilisé deux systèmes parallèles (image vidéo et données de mouvement) simultanément. J'ai utilisé les réseaux de déplacement des pixels et de feedback dans TouchDesigner pour traiter le flux en direct provenant de la caméra.
Avec l'acteur 'OpenNI' dans Isadora, j'ai extrait les données de suivi de mouvement du Kinect et les ai utilisées pour créer des textures visuelles basées sur des lignes à partir des mouvements des performers en utilisant l'acteur 'Live Drawing' d'Isadora. J'ai également capturé des données de fréquence sonore que j'ai utilisées pour manipuler l'intensité de l'éclairage via un acteur utilisateur 'Matrix Value Send' vers le DMX. J'ai réglé la caméra vidéo de manière à ce que l'intensité de l'éclairage détermine ce que la caméra pouvait « voir » ou non. Dans ce cas, j'ai essayé des enregistrements audio de « Yoora » et « Slowed Cities » que l'artiste sonore KMRU réalise pour le projet. En fin de compte, le son serait interprété en direct en interaction avec les danseurs et la texture visuelle.
Le système fonctionne sur deux niveaux de feedback vidéo. Le premier concerne la caméra vidéo, positionnée de manière à filmer le(s) performer(s) ainsi que tous les éléments dans l'espace, y compris les surfaces sur lesquelles la texture visuelle est projetée. Le deuxième niveau concerne les boucles de feedback opérées au sein de TouchDesigner.
Waithera Rina Schr
Waithera Rina Schr
Waithera Rina Schr
