Espaços entre o sonoro: uma abordagem sobre as instalação artísticas e as noções de interatividade e desmaterialização

Espaços entre o sonoro: uma abordagem sobre as instalação artísticas e as noções de interatividade e desmaterialização Alessandra Lucia Bochio (ECA-USP, bolsista CAPES) Felipe Merker Castellani (IA-UNICAMP, bolsista FAPESP)

Resumo: O presente trabalho consiste em uma reflexão sobre a instalação interativa Espaços entre o sonoro. Para tanto, abordaremos tanto os processos artísticos envolvidos em sua criação, quanto os conceitos e noções presentes nesta, aliando, desta forma, prática artística e investigação teórica.

Abstract: This work is a reflection about the interactive installation Espaços entre o sonoro. To realize this reflection, we will discuss both the artistic processes involved in its creation, and the concepts and notions presents in this, combining by this way, artistic practice and theoretical research.

1. Introdução Espaços entre o sonoro se insere em um gênero artístico que convencionou-se chamar de arte sonora [sound art]. A arte sonora nasce no cruzamento entre as artes visuais e a música através de produções artísticas características das décadas de 1960 e 1970, como a instalação, o happening e a própria música eletroacústica. Segundo Campesato e Iazzetta, a arte sonora é entendida como “a reunião de gêneros artísticos que estão na fronteira entre música e outras artes, nos quais o som é material de referência dentro de um conceito expandido de composição, gerando um processo de hibridização entre o som, imagem, espaço e tempo” (CAMPESATO e IAZZETTA, 2006, p. 2). Contudo, abordaremos alguns conceitos e noções que estão presentes não apenas em trabalhos de arte sonora, mas também em trabalhos de arte mídia em geral; são eles: o conceito de interatividade, a noção de instalação artística e o conceito de desmaterialização; este último tratado conjuntamente com espaço arquitetônico das instalações e com as ações do público. Pretendemos tratá-los visando apontar a sua forma de exploração na criação de Espaços entre o sonoro, trabalhando concomitantemente as questões que sugiram da prática artística e aquelas que

decorreram da investigação teórica. Espaços entre o sonoro é uma instalação interativa que visa intensificar a imaterialidade do suporte digital e da música, criando um espaço materialmente vazio, no qual os movimentos do público criam sons.

2. Sobre o conceito de interatividade A interatividade é a relação recíproca entre usuários e interfaces computacionais inteligentes1 (PLAZA, 2000, p. 5) – entende-se por interfaces: dispositivos tanto de entrado quanto de saída que funcionam como pontes entre as ações humanas e os códigos do computador (sua base numérica). É, portanto, uma comunicação baseada na tradução de um código a outro, estabelecendo, assim, um código comum entre homem e máquina. A este respeito, Julio Plaza refere-se a “uma comunicação fundada nos princípios da sinergia” (PLAZA, 2000, p. 17), entendida como “a ação coordenada de vários órgãos, no caso, o homem e máquina” (PLAZA, 2000, p. 22). Isto quer dizer que o computador trata as informações expressas apenas na sua linguagem e, desta forma, cada ação do usuário deve ser convertida em um código apropriado. Em contrapartida, o usuário também não poderia compreender a linguagem do computador, necessita que os códigos sejam traduzidos em formas compreensíveis, como em imagens, textos, sons, etc. Couchot (2003) afirma que a interação homem/máquina ocorre unicamente no momento em que o homem se desdobra em informação, ou seja, a ação do usuário, ao passar pela interface, é transformada ela mesma em uma réplica numérica – o toque em uma letra do teclado, por exemplo, é traduzido em dados numéricos. O autor acredita que as tecnologias digitais introduzem uma nova ordem visual e perceptiva decorrentes dos processos de tradução de um código a outro. Se para que se estabeleça a interação é necessário que ocorra uma sinergia entre homem e máquina, a ação do usuário deve também ser simulada ao computador: ela se torna uma expressão numérica e é este corpo numerizado (simulado ao computador) a superfície de contato e de encontro do homem e da 1 Compreendemos o adjetivo inteligente conforme Plaza, “de tal maneira que o espectador possa agir sobre o fluxo, modificar a estrutura, interagir com o ambiente, percorrer a rede, participando, assim, dos atos de transformação e criação” (PLAZA, 2000, p. 7).

máquina; a interatividade é a interposição dos processos computacionais no diálogo homem/máquina. Voltando-se ao conceito de “atrelagem interindividual” de Gilbert Simondon, Couchot refere-se ainda à interatividade como um atrelamento do homem à máquina. A atrelagem é decorrente das funções autorreguladoras, que quando iguais são realizadas melhor e mais cuidadosamente pela dupla homem e máquina, do que pelo homem ou pela máquina unicamente – possível apenas quando há a descoberta de uma codificação comum a ambos. Tal reflexão aponta para as transformações na vida contemporânea decorrentes das práticas tecnológicas. O atrelamento à máquina ocorre, pois há certas funções que podem ser realizadas mais facilmente com a máquina, ou ainda, podem criar outras funções que não poderiam ser realizadas de outra maneira. É importante ressaltar que a interatividade não é apenas uma comodidade técnica ou funcional; ela implica em uma prática de mudança, pois reflete-se nos processos de percepção, amplificando os sentidos humanos e a capacidade de processar diversas informações simultaneamente. Nesta perspectiva, a interatividade rompe com o funcionamento da comunicação na qual há uma mensagem transmitida por um emissor a um receptor, pois a mensagem existe e se manifesta apenas no momento em que se estabelece a troca e através das interfaces. O emissor não é mais o único a enunciar o sentido, uma vez que a mensagem não preexiste a troca, pois ela é originaria de uma ação coordenada entre ambos. Nas palavras de Couchot: Então não há mais comunicação, no sentido estrito, entre um enunciador e seu destinatário, mas comutação mais ou menos instantânea entre um receptor tornando emissor, um emissor tornando (eventualmente) receptor e um “propósito” flutuante, que por sua vez emite e recebe, se aumenta ou se reduz. O sentido não se engendra mais por enunciação, transmissão e recepção, alternadamente, mais uma hibridização entre autor, o propósito veiculado pela máquina (ou a rede) e o destinatário (COUCHOT, 2003, p. 187).

Sob tais aspectos, compreendemos que a comutação entre emissor e receptor implica em um trabalho cooperativo, no qual rompe com um centro emissor detentor de um enunciado.

3. Sobre as instalações interativas A instalação surge como uma modalidade artística com a característica de explorar o espaço tridimensional. O artista realiza seu trabalho no próprio espaço, juntamente com outros possíveis elementos presentes neste. Tal espaço é incorporado ao conceito do trabalho e oferecido ao público para vivenciá-lo e descobri-lo em seus deslocamentos. A instalação solicita a presença do público de maneira diversa da chamada pintura retiniana, pois sua atenção não se fixa em um objeto único, mas sobretudo em um conjunto de elementos que são incorporados ao ambiente da instalação, firmandose como materiais e conteúdos da mesma. Esta modalidade artística se insere na arte de participação, já que sua fruição depende de deslocamentos corporais e situações a serem vividas naquele tempo e espaço por processos de inclusão e/ou de interação. As descobertas do espaço proposto pela instalação desencadeiam-se através de um sistema relacional, que opera através da conexão das várias partes que compõem a instalação. No campo da arte e tecnologia, o conceito de instalação é ampliado para um ambiente no qual são criadas situações com dispositivos tecnológicos (imagens ampliadas, telas múltiplas, câmeras, microfones, interfaces computacionais, entre outros). Estes, por sua vez, configuram e transformam o espaço arquitetônico – conjuntamente, ou não – com outros elementos. Tais ambientes oferecem ao público situações que se desenvolvem através das relações estabelecidas entre e com tais dispositivos, elementos e o próprio espaço. O termo “interativa” qualifica a instalação como sendo do tipo que possibilita um diálogo entre público e máquina. As interfaces computacionais funcionam como pontes entre as ações humanas e os códigos do computador. Segundo Tavares: O adjetivo 'interativa' delimita o objeto em questão ao qualificar uma possibilidade de ação recíproca em modo dialógico entre obra e receptor(es), e/ou estabelecidas em tempo real, por sua vez caracterizando um processo de ir e vir, circunscrito à obra, ao contexto a ela inerente, ao receptor e à interface tecnológica utilizada (TAVARES, 2001, p. 14-15).

É a incorporação de interfaces no espaço da instalação que permite um diálogo com a obra. O público executa uma ação de acordo com um evento que acontece no ambiente, e uma interface

capta essa ação e a envia a um programa que retorna outra informação para o espaço, construindo assim um sistema e um diálogo do público com a obra. Nas instalações interativas há a predominância da ocorrência de um evento que se apresenta em constante transformação de acordo com os movimentos e ações do público. O desenvolvimento digital de algoritmos complexos, de câmeras e de sensores, possibilitaram a construção de imagens, sons, etc. no próprio processo de interação com o público. Nas instalações interativas, o público pode movimentar-se e interagir com elementos virtuais que se atualizam no próprio espaço da instalação em consequência das informações que o computador recebe por parte do próprio público, pois a concretização, por exemplo, da imagem digital pode agora se valer do processo de simulação dos objetos do mundo físico, sobrepondo de modo efêmero objetos virtuais aos ambientes das instalações. Tais fatos acarretaram mudanças na relação espaço/objetos/público devido as possibilidades que as sensibilidades das novas tecnologias trazem. Os dispositivos digitais propiciam aos artistas trabalharem apenas com imagens e/ou sons e prescindirem da materialidade dos objetos tridimensionais. As transformações nas imagens e/ou sons acontecem continuamente, ponto a ponto, de acordo com as transformações que o programa recebe via alguma interface que capta as atuações do público. Nesse sentido, o espaço que pode estar vazio pelo desaparecimento dos elementos tridimensionais, se transforma em um espaço todo sensível, onde cada ponto no eixo x, y, z pode assumir uma sensibilidade diferenciada ou uma relação específica com o que acontece no espaço. Esse espaço sem a presença de objetos tridimensionais ganha novas qualidades, tornando-se cheio de sensibilidade, e apresentando-se como um novo espaço.

4. Sobre o conceito de desmaterialização De acordo com Claudia Giannetti (2006), desmaterialização é a “independência da existência física/material do objeto” (GIANNETTI, 2006, p. 89). As experiências proporcionadas pelas tecnologias digitais têm ampliado e flexibilizado as noções de realidade e materialidade.

Através dos modelos e simulações computacionais mundos artificias são multiplicados, criando diversas possibilidades a serem experienciadas sem mobilizar um único objeto real. Conforme a autora, a arte mídia já acolhe experiências de uma estética de procedimentos desde 1945, assim como uma tendência à desmaterialização do objeto artístico e outras estratégias de imaterialidade, que além de dominarem a arte e a teoria nos anos 1960 e 70, cedem lugar as ocorrências e a participação do público em detrimento do objeto de arte que perdura no tempo. O que nos interessa neste contexto são as mudanças na relação entre espaço/objeto/público nas instalações que as possibilidades dos processos de desmaterialização trouxeram através das especificidades do suporte digital; desta forma, o espaço torna-se nas instalações interativas, “um vazio-cheio cheio de ar, cheio de átomos, cheio de energia e sensível ao ser humano, que aos poucos vai se conscientizando e trabalhando com essa densidade, como já o estão fazendo os artistas no espaço das instalações na era digital” (SOGABE, 2007).

5. Sobre Espaços entre o sonoro. No caso de Espaços entre o sonoro, o som é o que torna o espaço físico sensível; isto ocorre através da criação de um ambiente no qual as ações do público são capturadas por dispositivos tecnológicos, neste caso, câmeras de vídeo e sensores de distância. Tais dispositivos possibilitam tanto o controle em tempo real dos parâmetros referentes à síntese sonora, quanto a combinação dinâmica dos objetos sonoros que compõe a obra. Optamos por utilizar apenas sensores com os quais não é realizado um contato físico específico, pois desta forma criamos um espaço de interação aparentemente vazio, que ganha novas qualidades, apresentando-se como um novo espaço. Nesse espaço, o público molda os sons, interage e recombina as estruturas musicais que configuram a instalação, tornando tanto o material sonoro quanto o espaço da obra sensíveis as suas ações. Através de seus deslocamentos pelo espaço e de seu relacionamento com os dispositivos tecnológicos, o público se torna criador e recriador da instalação, manipulando, combinando e recombinando seus componentes sonoros.

Para construção da instalação utilizamos dois dispositivos para o mapeamento das ações do público: uma câmera de vídeo e um sensor ultra-sônico de distância. Na Fig. 1, representamos a área capturada pela câmera, através do retângulo cinza e área do sensor através da linha horizontal tracejada.

Fig. 1- Representação do espaço da instalação Espaços entre o sonoro.

Na bibliografia existente encontramos diversos exemplos de sistemas interativos que se utilizam dos mesmos conjuntos ou tipos de dispositivos tecnológicos para mapear as ações do público, e/ou de performers, e gerar sons. Por exemplo, no sistema V-scope, desenvolvido pela Lipman Ltda, são utilizados até oito transmissores ultra-sônicos (ou infravermelhos) dispostos no corpo humano ou em objetos em movimento, os sinais emitidos por estes são capturados por três receptores (Cf. Camurri, 1995) e processados por um módulo baseado em redes neurais. Câmeras de vídeos são utilizadas nos sistemas EyesCon, desenvolvido pelo grupo Palindrome; EyesWeb desenvolvido pelo “Dipartimento di informatica, sistemistica e telematica”, da Universidade de Gênova; Jitter, desenvolvido pela Cycling '74, entre outros (Cf. MIRANDA; WANDERLEY, 2006). O mesmo pode ser dito, com relação às instalações interativas que se utilizam destes mesmos recursos, como Very nervous system criada por David Rokeby, ou Gestation e Map 1 e Map 2 de Garth Paine, sendo a primeira nossa principal referência artística. Em Very nervous system, visando a criação de um espaço no qual os movimentos do público produzem sons, foram utilizadas além de câmeras de vídeo, processadores de imagem, computadores e sintetizadores. O

trabalho foi primeiramente apresentado como uma instalação, posteriormente em espaços externos e também utilizado para performances. Segundo o artista, a interface é o elemento principal da instalação, pois defini-se como uma espécie “zona de experiencias multi-dimensionais”, sendo a sua incorporação no espaço que permite o diálogo com a obra. Rokeby (http://homepage.mac.com/davidrokeby/vns.html) afirma que sua intenção principal era a interpenetração entre o sistema computacional da obra e o público, até que a noção de controle se perdesse e este relacionamento se tornasse um envolvimento mútuo. (Cf. ROKEBY, 1990). While the 'sound' of the system and the 'dance' of the person within the space are of interest to me, the central aspect of the work is neither the 'sound' nor the 'dance'. It is the relationship that develops between the sounding installation and the dancing person that is the core of the work (ROKEBY, 1990).

Em Espaços entre o sonoro objetivamos criar diversas formas de interatividade, dentro das quais criamos relações mais ou menos diretas entre as ações do público e os efeitos resultantes nos objetos sonoros. Por exemplo, as relações diretas entre o atravessamento de determinada porção espacial e os módulos de síntese acionados, ou entre o aumento da velocidade dos movimentos e um acelerando rítmico. Também ocorrem pequenas micro-flutuações, modificações dos envelopes sonoros e outras formas de transformação que não estão diretamente ligadas a tipos de ações que remetam a uma contiguidade com os sons resultantes. Podemos dividir em três conjuntos principais o modelo computacional da instalação, que foi inteiramente desenvolvido em ambiente gráfico de programação Pure Data (PD), a primeira parte é composta pelos módulos de interação, responsáveis pelo mapeamento das ações do público; a segunda pelos módulos de síntese sonora, responsáveis pela geração do material sonoro; e a terceira por módulos de estruturação musical, que combinam dinamicamente os componentes dos módulos de síntese. Os módulos de interação utilizam dois dispositivos de entrada, uma câmera de vídeo e um sensor ultra-sônico de distância; o mapeamento via câmera detecta os movimentos do público através do cálculo da diferença entre dois quadros subsequentes de filmagem, bem como do

baricentro (centro de gravidade) da diferença entre quadros. Utilizamos tal estratégia para coletarmos o deslocamento e a presença do público em um região mais ampla do espaço, em relação àquela coletada pelo sensor; este último calcula a distância do público em relação a si mesmo e também a velocidade dos movimentos deste dentro de sua área de captura. Utilizamos dois métodos de síntese sonora, síntese por modulação de frequência (síntese FM) e a síntese por modelamento físico Karplus-Strong, ambos os métodos serão controlados pelos módulos de estruturação musical, que determinarão através da interação com o público as durações, o envelope sonoro e as estruturas rítmicas e melódicas utilizadas. Convém ressaltarmos que as ações do público interferem no sistema interativo de Espaços entre o sonoro de duas formas interligadas, como ilustra a Fig. 2, atuam diretamente nos módulos de síntese FM informando, por exemplo, o índice de modulação, dado pela distância do público com o sensor; ou também atuam disparando os algoritmos presentes nos módulos de estruturação musical, que consequentemente acionam os módulos de síntese, que podem ou não já terem sofrido alterações pela interação.

Fig. 2- Diagrama ilustrativo das formas interligadas de interação em Espaços entre o sonoro.

É também através da modificação desses módulos de estruturação musical que diferenciamos os momentos e controlamos a evolução sonora da instalação no fluxo temporal. Primeiramente, realizamos uma lenta transição entre um estado sonoro marcado pela presença de sons com valores de sustentação longos e pouca atividade rítmica, em direção a valores curtos e maior presença de atividade rítmica; paralelamente criamos também uma maior autonomização da música em relação a interação, aumentando cada vez mais o tamanho das estruturas musicais

acionadas pela movimentação do público. Posteriormente, ocorre a rarefação do material apresentando anteriormente, e agora são acordes contento sete módulos de síntese FM simultâneos que são acionados pela interação, nestes o público pode aumentar ou diminuir o índice de modulação através da proximidade, ou do distanciamento, com o sensor ultra-sônico. Além disso, neste momento ao movimentar-se mais rapidamente o público pode acrescentar um material musical diferenciado, composto por módulos de síntese Karplus-Strong. Pretendemos desta forma, criar, assim como mencionou Rokeby, um envolvimento mútuo entre o público e o sistema computacional, ora turvando, ora afirmando a noção de controle dentro da obra.

6. Considerações finais Os conceitos de interatividade e desmaterialização bem como a noção de instalação interativa estão presentes em grande parte da produção de arte mídia atual. Contudo, não tivemos como objetivo abordá-los de maneira definitiva, mas sim fornecer uma reflexão que pudesse abranger tanto a abordagem teórica, quando a prática artística dentro deste campo. Acreditamos que tal processo de realimentação constante entre estes dois eixos nos permite uma visão abrangente e crítica das questões próprias deste campo problemático.

7. Referências Bibliográficas CAMPESATO, L., e IAZZETTA, F. “Som, espaço e tempo na arte sonora”. Anais do XVI Congresso da ANPPOM, Brasília, 2006. CAMURRI, A. “Interactive Dance/Music Systems”. Proceedings of 1995 ICMC, Banff, 1995. COUCHOT, E. A tecnologia na arte: da fotografia à realidade virtual. Porto Alegre: UFRGS, 2003. DOMINGUES, D. “As instalações multimídia como espaços de dados em sinestesia”. In: Imagens Técnicas, FECHINE, Y., OLIVEIRA, A. (Orgs.). São Paulo: Hacker, 1998. GIANNETTI, C. Estética digital: sintopia da arte, a ciência e a tecnologia. Belo Horizonte: C/Arte, 2006. PLAZA, J. “Arte e interatividade: autor-obra-recepção”. Ars, 2000, p. 9-27. RÉNAUD, A. “Comprender la imagen hoy. Nuevas imágenes, nuevo régimen do lo visible, nuevo imaginario” (1989), acessado em junho, 2011, http://textosyteoria.wordpress.com/category/textos-yteoria/. ROKEBY, D. “The Harmonics of Interaction”. Musicworks, vol. 46, Spring, 1990. SOGABE, M. “Os espaços das instalações: objeto, imagem e público”. Anais do 16.º Encontro Nacional da ANPAP, Florianópolis, 2007. MIRANDA, E. R., e WANDERLEY, M. New digital musical instruments: control and interaction beyond the keyboard. Wisconsin: A-R, 2006. TAVARES, M. “A recepção no contexto das poéticas interativas”. Tese de Doutorado, Escola de Comunicações e Artes da USP, 2001.