FR
Kseniia Aleksandrova — Notation of Lights, 2022
EN
Kseniia Aleksandrova — Notation of Lights, 2022
As a result of a series of experiments about the nature of sound, this project raises a question. If the sound changes the space, could the design of the space, therefore, influence or even completely change the sound it produces? The sound experiments made at the beginning of the 20th century showed that it is possible to create an image out of a sound by transforming the sound wave into a light wave. The light wave drew a pattern on the light-sensitive material that was recognized by the reading photocell and played the sound. However, if a sound can be converted into an image and an image can be converted into a sound, then any light object in a dark space can produce a sound. The installation “The notation of light” is a proposition of the design of a space that creates a musical notation. It gives the opportunity to the visitors to interact with objects and produce their own compositions.
Kseniia’s project started with the workshop Physical Editing at HEAD-Genève, where she worked with acoustic mirrors and tried to understand the nature of sound. During the workshop, she explored the method of transforming an image into sound and sound into an image using the existing application Coagula. Coagula is an image synthesizer that transforms images into sound. It also allows you to draw the image and play it. In the beginning, she was working with the images of room 12 at Bâtiment EN, HEAD-Genève. Kseniia transformed the images into sound files in the Coagula application and then opened them in Audacity (a free programme for working with sound) in spectrogram mode to be able to see the image of the sound files.
She has made multiple experiments to be able to understand the relationship between the sound of the space and the objects in this space and how it influences the image of the sound.
She’s created a small 3D model to be able to make more complicated compositions in space. In parallel with the experiments, she has made research into the method of image-sound transformation. She found out that the roots of methodology go into the film industry. When the sound films appeared, the sound was recorded by transforming the sound wave into a light wave which left the pattern in the cinematic film. That’s how they synchronized the voices of the actors and the video. This knowledge gave her the idea to use black space and white objects in that space which changed the sound dramatically.
Even though the application Coagula allowed her to experiment in different ways, she was not satisfied with the sound it produced. She wanted to work in real space rather than with images of the space. That is why in collaboration with Cedric Mourgeon, the IT engineer based in Geneva, They’ve made the application that is called Video Synthesizer. It recognizes the light spectrum of colours in real space using the camera and produces the sound. The application has an invisible grid with tones from low to high that gives a variety of sounds.
The shapes of the objects are based on the sound experiments that have been made. Every object of installation is multifunctional and can be used as a single element or a module of more complicated construction. It gives to the visitors the possibility to play with the modules and create different musical compositions.
Suite à une série d'expériences sur la nature du son, ce projet soulève une question: si le son modifie l'espace, la conception de l'espace pourrait-elle alors influencer ou même changer complètement le son qu'il produit ? Les expériences sonores réalisées au début du 20e siècle ont montré qu'il était possible de créer une image à partir d'un son en transformant l'onde sonore en onde lumineuse. L'onde lumineuse dessinait un motif sur le matériau photosensible qui était reconnu par la cellule photoélectrique de lecture et produisait le son. Cependant, si un son peut être converti en image et une image en son, alors tout objet lumineux dans un espace sombre peut produire un son. L'installation "La notation de la lumière" est une proposition de conception d'un espace qui crée une notation musicale. Elle donne aux visiteurs la possibilité d'interagir avec les objets et de produire leurs propres compositions.
Le projet de Kseniia est né lors de l'atelier Physical Editing à la HEAD-Genève, où elle a travaillé avec des miroirs acoustiques et essayé de comprendre la nature du son. Pendant l'atelier, elle a exploré la méthode de transformation de l'image en son et du son en image en utilisant une application existante Coagula.
Coagula est un synthétiseur d'images qui transforme l'image en son. Il permet également de dessiner l'image et de la jouer. Au début, elle a travaillé avec les images de la salle 12 du Bâtiment EN, HEAD-Genève. Kseniia a transformé les images en fichiers sonores dans l'application Coagula et les a ensuite ouverts dans Audacity (programme gratuit pour travailler avec le son) en mode spectrogramme pour pouvoir voir l'image des fichiers sonores. Elle a fait de multiples expériences pour comprendre la relation entre le son de l'espace et les objets qui s'y trouvent et son influence sur l'image du son.
Elle a créé un petit modèle 3D pour pouvoir réaliser des compositions plus complexes dans l'espace. Parallèlement aux expériences, elle a effectué une recherche sur la méthode de transformation image-son. Elle a découvert que les racines de la méthode remontent à l'industrie cinématographique. Lorsque les films sonores sont apparus, le son était enregistré en transformant l'onde sonore en onde lumineuse qui laissait un motif sur la pellicule cinématographique. C'est ainsi qu'ils synchronisaient les voix des acteurs et la vidéo. Cette connaissance lui a donné l'idée d'utiliser un espace noir et des objets blancs dans cet espace qui changeaient le son de façon spectaculaire.
Même si l'application Coagula lui a permis d'expérimenter de différentes manières, elle n'était pas satisfaite du son produit. Elle voulait travailler dans un espace réel plutôt qu'avec des images de l'espace. C'est pourquoi, en collaboration avec Cédric Mourgeon, ingénieur informaticien basé à Genève, elle a créé une application appelée Video Synthesizer. Elle reconnaît le spectre lumineux des couleurs dans l'espace réel à l'aide de la caméra et produit le son. L'application dispose d'une grille invisible avec des tonalités allant du grave à l'aigu qui donne une variété de sons.
Les formes des objets sont basées sur les expériences sonores qui ont été faites. Chaque objet de l'installation est multifonctionnel et peut être utilisé comme un élément unique ou un module d'une construction plus complexe. Il donne aux visiteurs la possibilité de jouer avec les modules et de créer différentes compositions musicales.
