real-time interactive texture - TeroBuru : performance/sound/interaction design - Opiyo Okach
Dans les processus que j'explore actuellement, la place de la technologie varie entre l'amélioration, la médiation et le complément de certains aspects de l'interaction entre le corps du danseur et les environnements sonores, visuels ou spatiaux de la performance. Le processus explore également les possibilités de participation du public. La technologie n'est pas seulement un outil technique, mais un partenaire créatif du processus.
Cette médiation consiste à capturer des données de mouvement avec des capteurs de profondeur ; des images et des vidéos avec des caméras ; et des sons avec des microphones ou d'autres dispositifs. J'utilise différents outils matériels et logiciels pour intégrer les images, les sons et les données capturés dans l'ordinateur et le moteur de médias. Dans le moteur de médias, j'utilise les données de suivi de mouvement capturées pour contrôler différents paramètres dans la manipulation des médias existants et la génération de nouveaux médias (son, image, vidéo). J'utilise ensuite les images et vidéos capturées pour créer une texture visuelle. Je configure également les données de fréquence audio capturées pour contrôler les valeurs DMX. Le contenu médiatique traité et généré (son, image, vidéo) ainsi que les données de contrôle telles que les valeurs OSC ou DMX sont ensuite envoyés à d'autres dispositifs, systèmes de projection, de surveillance et d'éclairage.
L'ensemble de ce flux de travail se déroule en temps réel. En ce sens, le danseur et le créateur numérique collaborent de manière interactive pour façonner la performance instantanément.
Limitations
Bien que le système que je développe ait encore des limitations techniques en termes de précision, de latence, de capacités de traitement et de rendu, voire de fiabilité, j'ai trouvé des moyens de travailler avec pour obtenir des résultats créativement satisfaisants dans des situations de laboratoire.
Bien que les capteurs optiques de profondeur offrent une manière discrète et ingénieuse de suivre les mouvements humains, leurs méthodes de suivi squelettique semblent présenter un certain nombre de limitations. D'un point de vue chorégraphique, une bonne base pour l'entrée corporelle serait la possibilité de suivre de manière discrète et précise en 3D les articulations détaillées de parties spécifiques du corps (cou, épaules, colonne vertébrale, bassin, etc.) en temps réel. Cela permettrait au danseur de disposer d'un outil avec lequel il pourrait être aussi libre et agile qu'avec son propre corps, en exploitant et en étendant son intelligence et sa créativité au-delà de son corps.
L'Intelligence artificielle
Je me demande quel rôle l'IA jouerait dans le processus décrit ci-dessus. Remplacerait-elle ou serait-elle un système de facilitation alternatif ? Serait-elle un outil complémentaire qui améliore mon système actuel ? Serait-elle un outil entièrement distinct qui ouvrirait des voies de créativité complètement nouvelles ?
Mon système actuel de création numérique, non basé sur l'IA, se compose de trois processus :
- acquisition de données (son, image, vidéo et mouvement)
- utilisation des données pour manipuler les médias et générer de nouveaux contenus
- diffusion du contenu médiatique et des données d'interaction
- acquisition de données (son, image, vidéo et mouvement)
- utilisation des données pour manipuler les médias et générer de nouveaux contenus
- diffusion du contenu médiatique et des données d'interaction
À quelle étape de ces processus l'IA pourrait-elle intervenir, et dans quelle mesure ? Acquisition ? Manipulation ? Génération ? Ou devrais-je ignorer ces processus complètement et simplement lui fournir des exemples de mon résultat final à partir desquels, selon les competences en programmation et performances du matérielle informatiques, elle pourrait générer en masse des milliers de variations du même type, et même plus, dans le style de mon choix ?
Artiste africain ?
Je vois la question venir de loin. Je pense à l'Afrique comme un lieu où convergent une multitude de géographies, cultures, religions et langues, formant une instance d'histoire vivante en perpétuel mouvement, que le corps dansant habite et négocie consciemment et inconsciemment à chaque instant. C'est dans ce cadre conceptuel que s'inscrit mon travail.
On ne peut pas véritablement séparer le corps en traditionnel, moderne, futur, etc., tout comme on ne peut pas ignorer l'importance du patrimoine dans la construction de l'identité et la diversité culturelle. Je crois que travailler avec l'IA peut ouvrir des voies pour conserver et engager le patrimoine de la danse et du corps de manières qui n'ont pas été envisageables avec les technologies existantes.