Auralização com Wave Field Synthesis

Wave Field Synthesis • 2013 • ECA-USP

Auralização com Wave Field Synthesis Marcio José da Silva Escola de Comunicações e Artes

Universidade de São Paulo [email protected]

Resumo No contexto integrativo das áreas de música, computação musical e engenharia de áudio, foi proposta a pesquisa e o desenvolvimento das bases de um sistema de sonorização capaz de criar imagens sonoras espaciais, através da aplicação prática da teoria de Wave Field Synthesis (WFS). Esta técnica permite projetar cada fonte sonora (instrumentos musicais e vozes) em diferentes pontos do espaço auditivo (salas de concerto, auditórios, etc.) em uma região de escuta que pode abranger quase toda a área compreendida por este espaço, dependendo da quantidade de alto-falantes disponíveis instalados.

Sumário 1

2

3

4

5

Introdução

2

1.1

Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2

1.2

Utilização de técnicas de espacialização . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2

Wave Field Synthesis

2

2.1

Teoria básica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

2.2

Aplicações de Wave Field Synthesis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

2.3

Limitações de Wave Field Synthesis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

Projetos com WFS

6

3.1

O projeto CARROUSO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6

3.2

The Game of Life . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6

3.3

Casa del Suono . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7

3.4

WFS do IRCAM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7

3.5

WFS da Technical University - Berlin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7

3.6

IOSONO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7

Software

8

4.1

SoundScape Renderer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4.2

sWONDER . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9

4.3

WFSPlayer de Daniel Salvador . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9

4.4

Testes de Software de referência . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

10

Desenvolvimento de protótipo

8

10

5.1

Patch inicial em Pure Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12

5.2

Dificuldades encontradas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

13

5.3

Instrumentação musical virtual . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

13

5.4

Contribuições esperadas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

14 1

Wave Field Synthesis • 2013 • ECA-USP

1

Introdução

1.1

Objetivos Como projeto para o mestrado na ECA-USP foi proposto o desenvolvimento de um módulo de

sonorização baseado na técnica de Síntese de Campo de Onda ou Wave Field Synthesis (WFS), que busca controlar o posicionamento, ou a projeção, do som de cada objeto sonoro (criar imagens sonoras espaciais). Assim, espera-se produzir a sensação de estar em meio a fontes sonoras e, através de aproximações e afastamento das projeções dos sons, ouvi-los com maior ou menor destaque. Também vislumbra-se experimentar uma aplicação de instrumentação musical virtual espacial, conforme pode ser visto no item 5.3. A ideia principal é construir uma implementação computacional modular e flexível para WFS. Este deve ser acoplado ao sistema AUDIENCE1 , que foi desenvolvido por pesquisadores do NEAC (Núcleo de Engenharia de Áudio e Codificação Sonora do Laboratório de Sistemas Integráveis da POLI-USP). Espera-se que o sistema de sonorização proposto possa ser útil para desenvolver aplicações avançadas de instrumentação musical, como instrumentos espaciais virtuais. A implementação modular deve comandar uma matriz de WFS básica com 16 canais.

1.2

Utilização de técnicas de espacialização A evolução tecnológica dos equipamentos de som foi, e continua sendo, incorporada a shows

musicais, auditórios, salas de cinema, jogos de computador e sonorização de eventos teatrais, entre outras aplicações. Desde o seu aparecimento, as técnicas de auralização vêm evoluindo e tendem a ter um número cada vez maior de alto-falantes necessários às novas implementações. Isto pode ser observado comparandose, como feito por Thomaz (2007), alguns sistemas de sonorização, como, por exemplo, os sistemas monofônico, estéreo, quadrifônico, surround (5.1, 7.1, etc.) e Ambisonics. A evolução das técnicas de espacialização de campo sonoro levou à otimização e expansão do uso do espaço auditivo. Isto tem melhorado com as novas tecnologias de áudio e o aumento do poder de processamento dos computadores, o que sugere buscar explorar todas as possibilidades técnicas possíveis. Segundo Faria (2005), o desenvolvimento de um sistema de sonorização baseado em Wave Field Synthesis (WFS) traz como vantagem diminuir o número de pontos de interferência das ondas geradas, produzindo uma frente de onda mais próxima daquela que um instrumento real produziria no espaço de audição, através da sua projeção por um número bem mais elevado de alto-falantes que os usados nos sistemas comuns de áudio espacial.

2 Wave Field Synthesis Segundo Vries (2009), a técnica de Wave Filed Synthesis foi introduzida em 1988 por A. J. Berkhout (Universidade TU Deft, Holanda). É baseada na teoria formulada no século XVII pelo físico holandês Christiaan Huygens, tendo como princípio fundamental obter o modelamento físico da propagação de frentes de ondas sonoras através da propagação e superposição de várias pequenas frentes de onda, o que requer uma formulação computacionalmente mais complexa. 1 Informações

2

em: http://www.lsi.usp.br/neac/audience

Wave Field Synthesis • 2013 • ECA-USP

2.1

Teoria básica Em WFS, o objetivo principal é emular a frente de onda que seria produzida por objetos sonoros

reais em um ambiente acústico específico, através de matrizes de alto-falantes densamente distribuídas na área de audição. Para que isso ocorra, cada alto-falante emite um sinal com um determinado atraso e com atenuação correspondente à sua posição para contribuir com a síntese de uma fonte virtual. Na figura 1, é apresentada a criação de imagens sonoras virtuais. Tem-se a impressão que a fonte sonora encontra-se atrás dos alto-falantes.

Figura 1: À esquerda ondas sonoras reais, à direita ondas sonoras sintetizadas por WFS. Figura retirada de: LIMSI - http: // www. limsi. fr/ Scientifique/ aa/ thmsonesp/ IRV

Em WFS os objetos sonoros também podem ser projetados em frente aos alto-falantes. Na figura 2, podem ser observadas duas possibilidades de criação de imagens sonoras virtuais. Na primeira, tem-se a impressão que a fonte sonora encontra-se atrás dos alto-falantes, enquanto na segunda, à direita, temos a fonte sonora em meio aos alto-falantes.

Figura 2: Fontes sonoras produzidas por WFS. Figura retirada de: http: // www. lsi. usp. br/ interativos/ neac/ audience/ ambiwave. htm

Segundo Baalman (2008), cada alto-falante emite um sinal de áudio em instantes controlados de tempo, para que a soma das contribuições destes sinais possa sintetizar a frente de onda circular, correspondente à onda real. A pressão do ar em cada ponto em frente às caixas de som pode ser representada pela função p(~r, t), onde o módulo de ~r corresponde à distância entre o objeto sonoro virtual e a frente de onda e t é o tempo em que a pressão foi medida. Como a pressão do ar é uma onda sonora, deve satisfazer a equação 1 (equação de onda).

∇2 p(~r, t) −

1 ∂2 p(~r, t) = 0 c2 ∂t2

(1)

Nesta equação, c representa a velocidade do som, ∇2 p(~r, t) é o laplaciano da função pressão sonora e

∂2 ∂t2

p(~r, t) é a derivada parcial segunda da função pressão sonora.

Baalman (2008) também afirma que a pressão pode ser representada no domínio da frequência ω, usando-se a equação 2, conhecida como Transformada de Fourier. P(~r, ω ) =

Z ∞ −∞

p(~r, t)e− jωt dt

(2) 3

Wave Field Synthesis • 2013 • ECA-USP

Onde j =

√

−1 (número imaginário).

Com a Transformada Inversa de Fourier, equação 3, obtém-se novamente a função no domínio do tempo. P(~r, t) =

1 2π

Z ∞ −∞

p(~r, ω )e jωt dt

(3)

A função de onda domínio da frequência deve satisfazer a equação 4.

∇2 P(~r, ω ) +

 ω 2 c

P(~r, ω ) = 0

(4)

O eixo x do sistema de coordenadas de referência é colocado sobre as caixas de som, devendo o ouvinte ficar depois da linha de referência, pois este não deve ficar entre um objeto formado em frente das caixas de som e a imagem do objeto sonoro. A figura 3 mostra o sistema de coordenadas, onde ( x f , y f ) são as coordenadas da fonte sonora.

Figura 3: Sistema de coordenadas para matriz WFS.

Segundo Salvador (2010), P(~r, ω ) pode ser representada como o somatório das contribuições das frentes de onda geradas em cada alto-falante, conforme mostrado na equação 5:

P(~r, ω ) =

1 4π

ω

N

∑

D ( xn , ω )

n =1

e j c yre f ∆x yre f

(5)

Onde xn é a abscissa de cada caixa de som, yre f é a ordenada da linha de referência e ∆x é a distância entre o centro das caixas de som. A função D ( xn , ω ) é chamada de operador WFS e corresponde à contribuição de pressão gerada por cada caixa de som do sistema. Segundo Baalman, o operador é expresso pela equação 6: r D ( xn , ω ) = S(ω ) A( x f , y f )

j

ω −j ω d e c c

(6)

q

( x f − xn )2 + y2f é a distância entre a posição da fonte virtual e da caixa de r q −y som n, S(ω ) é o sinal de áudio, A( x f , y f ) = y f 2πd3 (y −f y ) é o fator de amplitude e j ωc corresponde Onde dn = d( xn ) =

f

re f

a um filtro de frequência de 3 dB por oitava. Para o cálculo dos delays (atrasos), que cada caixa de som n deve efetuar ao transmitir sua contribuição sonora, é usada a equação 7: 4

Wave Field Synthesis • 2013 • ECA-USP

tn =

2.2

dn c

(7)

Aplicações de Wave Field Synthesis

Nas diversas aplicações de WFS uma das ênfases é que cada ouvinte tenha sempre a mesma sensação de distribuição e percepção das fontes sonoras no espaço de audição. Em outras técnicas, a mudança da posição do ouvinte deve mudar a percepção do ponto onde está localizado o som. Nos sistemas mais usados nas residências (estéreo e home-theaters), para que se possa obter o resultado de espacialização oferecido em cada um deles, é necessário que o ouvinte se posicione num determinado ponto entre as caixas de som, normalmente ficando numa poltrona fixa. Se várias pessoas estiverem no local, não poderão ficar neste mesmo ponto, não podendo ouvir o resultado da projeção do som da mesma forma. A técnica WFS se diferencia por permitir a localização do objeto independentemente da posição do ouvinte, de forma semelhante ao que ocorre com a projeção de imagens nos filmes em 3D. Segundo (BAALMAN, 2007), WFS produz imagens mais definidas e estáveis e é adequada para situações de concertos, pois, diferentemente das outras técnicas, abrange uma grande área de audição, podendo assim atender um maior número de ouvintes simultaneamente. A utilização de WFS é imediata no cinema e similares, como, por exemplo, nos jogos de computador e em eventos teatrais. Nas artes plásticas, a espacialização sonora pode ser aplicada não apenas como suporte para imagens, mas como uma nova forma do conceito proposto por (SCHAEFFER, 1966), o objeto sonoro. A espacialização sonora por WFS pode ser aplicada para aumentar as possibilidades de abstração nas composições musicais. Pode ser utilizada em conjunto com imagens ou objetos móveis. Segundo Baalman (2007), Wave Field Synthesis é adequada para situações de concertos, pois, diferentemente das outras técnicas, tem a capacidade em induzir a percepção de objetos sonoros localizados numa grande área de audição, podendo assim atender um maior número de ouvintes simultaneamente. Em relação à outras técnicas de auralização, permite outros tipos de movimento das fontes sonoras, tais como movimentos que usam controle mais preciso sobre a localização de fontes de som e movimentação através do espaço de audição, podendo haver uma fonte com uma posição fixa ou uma fonte que se move quando o ouvinte atravessa a região de audição. Com a telepresença (transmissões audiovisuais imersivas à distância) haveriam concertos com a participação de músicos distantes entre si, como se estivessem integrados na mesma sala tocando lado a lado. Cada compositor, arranjador ou produtor em estúdio de gravação poderia pensar os arranjos e orquestrações em função da posição em que gostaria que cada som fosse reproduzido.

2.3

Limitações de Wave Field Synthesis Apesar da técnica ser considerada por muitos autores a que mais permite aproximar a criação

de campos sonoros sintéticos dos naturais, há limitações reconhecidas que devem ser observadas no projeto de sistemas para usos musicais, principalmente para que não se inviabilize a geração dos efeitos desejados. Segundo Hulsebos (2004), com frequências altas, algo a partir de 1 kHz, se tornando mais crítico com o aumento da distância entre os alto-falantes, ocorre uma distorção com relação à espacialização do som sintetizado (“aliasing”). A frequência de aliasing, ou a frequência máxima de operação, é determinada pela diferença máxima de tempo entre a viagem do som de um alto-falante a um ouvinte e a viagem de outro alto-falante ao mesmo ouvinte, incluindo os atrasos necessários para que ocorra a síntese WFS. 5

Wave Field Synthesis • 2013 • ECA-USP

Distâncias pequenas entre os cones dos alto-falantes possibilitam trabalhar com frequências de aliasing mais altas, o que é importante para que possam ser ouvidos os sons de instrumentos de registros bem agudos, assim deve-se buscar o menor espaçamento possível entre os transdutores, para que se possa contornar esta limitação. A reprodução de som em WFS trabalha com um limite inferior não muito baixo, determinado pela pequenas dimensões dos alto-falantes usados nesta técnica, diminuindo a boa reprodução das frequências mais graves. Segundo Baalman (2008), em WFS, considerando que o ouvinte está em frente à matriz de altofalantes, a fonte sonora deve ser renderizada atrás da matriz, sobre ela ou entre ela e o ouvinte. Por esta limitação, é determinada, em função do ouvinte, a linha de referência que serve para determinar até onde o sistema precisa projetar o objeto sonoro. A implementação do sistema pode acabar custando caro já que exige um grande número de canais de áudio, consequentemente exigindo mais recursos de hardware, como interfaces de áudio e um grande número de alto-falantes.

Projetos com WFS

3

A seguir são comentados alguns projetos que se utilizaram de WFS para aplicações musicais:

3.1

O projeto CARROUSO

Conforme analisado por Baalman (2008), o CARROUSO (Creating, Assessing and Rendering in Real Time Of high quality aUdioviSual envirOnments in MPEG-4 context) foi um projeto financiado pela Comunidade Europeia e realizado de janeiro 2001 até junho de 2003, objetivando, com um sistema WFS, a renderização de cenas sonoras, bem como desenvolver técnicas para gravá-las. Para sua realização juntaram-se empresas privadas e universidades, como Delft University, France Telecom R&D, IRCAM, e Fraunhofer Institute IIS AEMT.

3.2

The Game of Life Em 2006, a fundação holandesa “The Game of Life” desenvolveu um sistema WFS com uma matriz

móvel de alto-falantes, conforme pode ser visto na figura 4. Os compositores Barbara Ellison, Yannis Kyriakides e Wouter Snoei criaram peças para este sistema.

Figura 4: The Game of Life. Figura retirada de (BAALMAN, 2008).

6

Wave Field Synthesis • 2013 • ECA-USP

3.3

Casa del Suono Conforme observado por Baalman (2008), na Casa del Suono em Parma na Itália, foram instalados

dois sistemas baseados em WFS. O primeiro para equipar um auditório e o segundo foi montado como um lustre, conhecido como Lampadario Acustico2 (figura 5), usado para colocar fontes sonoras em foco. Martino Traversa compôs uma peça de nome NGC 353 para a inauguração da Casa del Suono. A execução desta composição cria aos espectadores a sensação de que podem tocar os sons que dançam ao redor e acima da cabeça de cada ouvinte.

Figura 5: Lampadario Acustico

3.4 WFS do IRCAM Segundo Baalman (2008), em 2008 foi instalado no IRCAM3 em Paris (França), um sistema WFS equipado com 128 alto-falantes. Este sistema é combinado com um outro sistema para a captura de movimento com câmaras de infravermelhos. Este equipamento é usado para experimentar novos métodos de espacialização para a criação musical e para os experimentos científicos com a realidade virtual e cognição espacial. O IRCAM colaborou com o projeto CARROUSO e nos últimos anos estabeleceu parceria com a empresa suíça Sonic Emotion, para desenvolver sistemas de espacialização baseados em WFS.

3.5 WFS da Technical University - Berlin A Technical University de Berlim, Alemanha, entre 2006 e 2007 lançou um projeto para equipar um de seus auditórios usando um sistema WFS, com um total de 840 canais de áudio. O sistema é controlado pelo software de código aberto sWONDER proposto por Baalman et al. (2007). O programa é controlado via Open Sound Control (OSC), possibilitando a comunicação com outros sistemas, além disso, permite ao usuário definir o movimento das fontes sonoras.

3.6

IOSONO A plataforma comercial IOSONO4 é o resultado do emprego da técnica de WFS para a sonorização

espacial de amplos espaços, como cinemas e teatros. O sistema é o resultado de anos de pesquisa e desenvolvimento de diversas universidades europeias, e foi aperfeiçoado pelo Instituto Fraunhofer, da Alemanha. Desde 2003, há um cinema de 100 lugares em Ilmenau (Alemanha) equipado com 198 2 Il

lampadario acustico. Acesso em: http://www.danieletorelli.net/lampadario.html. Ircam: Accueil. Acesso em: http://www.ircam.fr 4 IOSONO, the future of spatial audio. Acesso em: http://www.iosono-sound.com/ 3 WWW

7

Wave Field Synthesis • 2013 • ECA-USP

alto-falantes. O sistema tem sido também pesquisado para aplicações domésticas (home-theater). Pode-se verificar a aplicação feita recentemente de um sistema de sonorização da IOSONO, usando-se tecnologia baseada em WFS, numa versão adaptada da ópera “Neither”5 , escrita por Morton Feldman and Samuel Beckett.

4 Software Embora aplicações musicais para WFS sejam ainda incipientes, a tecnologia vem amadurecendo há mais de uma década havendo algumas distribuições de software disponíveis na internet. A seguir, como referência para o desenvolvimento deste projeto, é feita uma análise dos programas pesquisados. O funcionamento destes programas e a forma como foram operados permitiram reunir informações fundamentais para basear o projeto de um sistema de WFS para os propósitos deste trabalho de mestrado.

4.1 SoundScape Renderer O SoundScape Renderer (SSR) é um programa usado para reprodução de áudio espacial executado em GNU/Linux e Mac OS X. Foi desenvolvido por Jens Ahrens, Matthias Geier e Sascha Spors, um grupo de pesquisa da Universidade Técnica de Berlim, em colaboração com Telekom Inovation Laboratories. O programa foi escrito em linguagem C++ e também utiliza QT, Python, Puredata. Pode se comunicar em rede usando TCP/IP. O projeto encontra-se na sua 5a versão (0.3.4), a primeira foi publicada em maio de 2010. Os arquivos para a instalação (de todas as versões), bem como o manual de instruções, encontram-se disponíveis em: https://dev.qu.tu-berlin.de/projects/ssr/files. O SSR tem como propósito ser um framework para possíveis implementações de estado da arte com várias técnicas de reprodução de áudio espacial para uso e pesquisa. Ele é capaz de processar cenas acústicas virtuais usando WFS, reprodução biaural (HRTF), Ambisonics, Amplitude Panning (AAP), e Vector Base Amplitude Panning (VBAP). Também pode ser configurado para operar com array de alto-falantes linear, retangular ou circular. A escolha da geometria final do sistema e do número de alto-falantes é feita alterando-se um arquivo de configurações, que está num código xml. Segundo (AHRENS; GEIER; SPORS, 2012), qualquer programa que envia dados de áudio e qualquer entrada do hardware de áudio pode ser conectado ao SSR e pode servir como fonte de entrada, em realtime. Seu manual recomenda que as conexões de áudio sejam feitas através do Jack Audio Connection Kit (JACK)6 , um programa que, por meio de um servidor de áudio, interliga os programas de áudio e os conecta às entradas e saídas de hardware disponíveis. Desta forma, o SSR pode ser interligado a programas como players e gravadores, ou a qualquer programa que tenha suporte ao JACK. As imagens dos objetos sonoros podem se formar atrás, em frente ou sobre a matriz de alto-falantes. Pode-se trabalhar com fontes virtuais do tipo pontuais ou com ondas planas, o que leva a impressão que a objeto está bem distante (no infinito). É possível colocar os objetos sonoros em movimento fazendo o controle através do mouse na interface de usuário. A técnica consiste em fazer um fade out na posição de origem e um fade in na posição de destino. Cenas sonoras estáticas podem ser salvas, porém o mesmo não ocorre com as cenas em que os objetos sonoros se movem. 5 3D Audio Opera Goes International. Acesso em: http://www.iosono-sound.com/3d-audio-opera-goes-international. html 6 JACK. Acesso em http://jackaudio.org/.

8

Wave Field Synthesis • 2013 • ECA-USP

4.2

sWONDER Segundo Baalman (2004), o projeto de pesquisa do sWONDER (Wave field synthesis Of New Dimensions

of Electronic music in Realtime) começou em 2003, na TU Berlin. Segundo (BAALMAN et al., 2007), para poder ser instalado e usado com muitos canais num grande auditório na TU Berlim, Alemanha, foi reestruturado por uma equipe de desenvolvedores ficando com uma estrutura distribuída. O programa sWONDER é construído em C/C++, e também se utiliza de Qt7 , para a interface de usuário, patches para Pure Data e VST-plugins, roda sob a plataforma Linux e é dividido em alguns programas que podem rodar em diferentes computadores e que podem se comunicar em rede, através do protocolo OpenSoundControl (OSC). Para baixar o sWONDER, deve-se acessar: http: //sourceforge.net/projects/swonder/. Pode ser configurado para operar com array de alto-falantes linear ou retangular, mas não circular. É necessário modificar os arquivos de configuração para usar o sistema com eficiência. É possível definir parâmetros geométricos da sala virtual que o sistema deve conceber, para que o usuário possa mover fontes virtuais dentro da região definida. Isto também permite aos usuários simular as reflexões do som nas paredes da sala virtual. Assim como ocorre no SSR, o sWONDER opera em realtime e é controlado via JACK. Para diversas funções, como gravação e reprodução de áudio em múltiplos canais, o manual do software sugere a utilização do programa Ardour, uma estação de trabalho de áudio digital multicanal. É possível escolher entre fontes virtuais pontuais ou ondas planas com direção definida. As imagens dos objetos sonoros podem se formar atrás, em frente ou sobre a matriz de alto-falantes. O controle do movimento dos objetos sonoros é feita via mouse interagindo com a interface de usuário, com a vantagem de poder optar entre o modo fade out na posição de origem e um fade in na posição de destino ou o modo que tenta movimentar continuamente o objeto, simulando o efeito Doppler. Tanto as cenas sonoras estáticas como as que têm objetos móveis podem ser salvas.

4.3 WFSPlayer de Daniel Salvador O WFSPlayer é uma aplicação construída no ambiente de programação Pure Data por César Daniel Salvador Castañeda, ex-pesquisador da Universidad de San Martín de Porres (USMP), Peru, que concedeu o código-fonte do sistema de WFS para esta pesquisa. Trata-se de um conjunto de patches (abstrações) desenvolvidos por ele no Pd facilitando a utilização de múltiplos canais e múltiplas placas de som, numa implementação em qualquer dos sistemas operacionais suportados pelo Pd. O sistema foi projetado para um arranjo de 35 alto-falantes dispostos em um círculo horizontal de 1,5 m de raio (SALVADOR, 2010). Não é difícil alterar os parâmetros do programa, desde que a configuração seja sempre circular, uma particular limitação (ou característica) desta implementação. Para outro tipo de configuração, como a linear, são necessárias modificações em quase todo o código e, provavelmente, alguns acréscimos em sua estrutura. O programa não tem documentação formal nem site de distribuição, é totalmente experimental, ainda não tem manual de instruções e quase não existem comentários em seu código-fonte. Também vêm incluídos arquivos de áudio a serem renderizados para espacializar o áudio correspondente com modelos de ondas esféricas ou planas. O programa tem vários patchs, o principal tem a interface de controle que pode ser controlada via mouse. 7 Qt.

Acesso em: http://qt.digia.com/

9

Wave Field Synthesis • 2013 • ECA-USP

Testes de Software de referência

4.4

Foram propostos testes de instalação, configuração e uso dos softwares de referência, tendo como objetivo avaliar como os três programas de referência (WFSPlayer de Daniel Salvador, SSR, sWONDER) se comportam como sistema de sonorização de WFS. Os testes de referência ainda não foram completamente finalizados. Dificuldades com múltiplas instalações de sistemas operacionais e das placas de som, de sistemas auxiliares, como o JACK e com o setup de matrizes de alto-falantes tornaram mais complexa esta tarefa do que o previsto inicialmente nos planos de testes. Testes com sWONDER A única instalação do sWONDER bem sucedida até o momento foi feita num dos computadores antigos do NEAC, no sistema operacional Debian 6.0 (32 bits), depois da complicada instalação das bibliotecas auxiliares, como por exemplo OpenGL (funcionamento do Open Sound Control). Para os testes com este programa ocorrerem com 16 canais deverá ser feita uma ponte de áudio, com a utilização do servidor JACK, entre o computador antigo e o computador onde estão instaladas as interfaces sincronizadas M-Audio 1010. Outra opção seria conseguir resolver o problema de instalação no computador novo (onde estão ligadas as interfaces), sendo que até agora constatou-se que os sistemas operacionais das duas máquinas usam compiladores C++ diferentes e que o sWONDER foi instalado com sucesso com a versão mais antiga deste compilador. Testes com SSR A versão instalada do programa foi a 0.3.4 e a primeira instalação foi feita num computador iMac (64 bits), sistema operacional Mac OS X. Antes de rodar o SSR deve-se inicializar o servidor de áudio através da interface gráfica JackPilot. Foi feita apenas a verificação do funcionamento do programa. Em princípio, cria as imagens sonoras que podem ser controladas via GUI, mas não foi feita ainda nenhuma comparação ou medida mais detalhada. Testes com WFSPlayer de C. Salvador Não é difícil alterar os parâmetros deste programa, desde que a configuração seja sempre circular. Outro tipo de configuração, como a linear, precisaria de modificações em quase todo o código e, provavelmente, alguns acréscimos em sua estrutura, o que motivou a construção de um patch totalmente novo em Pd, aproveitando as “dicas” de alguns objetos utilizados por Salvador. Foram feitas algumas alterações para que o programa funcionasse com 6 alto-falantes dispostos em uma circunferência de raio 0,5 m. Com o uso de arquivos de áudio disponibilizados juntos com código-fonte, foram feitos testes iniciais, percebeu-se que existia apenas um efeito de panning entre as caixas, o que provavelmente era consequência do grande espaçamento entre os alto-falantes.

5

Desenvolvimento de protótipo Como base para o desenvolvimento do protótipo foram levantadas informações sobre os programas

de referência, levando à elaboração de diagramas de funcionamento em blocos, úteis para melhor entendimento da técnica e da elaboração de um programa para WFS. 10

Wave Field Synthesis • 2013 • ECA-USP

Com a ajuda do artigo de (GEIER; AHRENS; SPORS, 2008), para o SSR foi possível chegar ao diagrama da figura 6.

Figura 6: Diagrama em blocos do SSR.

O módulo WFS do SSR tem o funcionamento mostrado no diagrama da figura 7.

Figura 7: Funcionamento do módulo WFS do SSR.

Para o sWONDER, o artigo de Baalman et al. (2007) permitiu chegar ao diagrama da figura 8, nele pode-se perceber que cada um dos N canais tem sua unidade de renderização (Render unit), onde são feitos os cálculos para que ocorra a WFS.

Figura 8: Diagrama em blocos do sWONDER.

Os módulos de WFS (Render unit) do sWONDER têm o funcionamento mostrado no diagrama da figura 9. A análise do patch em Pd do WFSPlayer de Daniel Salvador levou ao diagrama em blocos da figura 10. Em todos os diagramas, o módulo WFS correspondente distribui o sinal de áudio de cada um dos canais de entrada a cada caixa, com seus respectivos atrasos, atenuações e filtragens. 11

Wave Field Synthesis • 2013 • ECA-USP

Figura 9: Funcionamento do módulo WFS do sWONDER.

Figura 10: Diagrama em blocos do WFSPlayer.

5.1 Patch inicial em Pure Data Foi proposta e testada uma implementação de um patch para WFS como parte do desenvolvimento do protótipo final. A seguir é feita a descrição e operação deste patch desenvolvido em Pure Data (Pd), dividido em uma implementação computacional modular e flexível. O desenvolvimento em Pure Data permite que instrumentos eletrônicos, como os teclados controladores e os mais modernos computadores, também possam controlar os sons no espaço de audição em tempo real ou de forma programada. Como o sistema é modular, as coordenadas x e y poderão ser geradas em dispositivos externos (como sensores) ou ligadas a interfaces para cena sonora no AUDIENCE ou mesmo em outros programas, podendo descartar a interface de controle mostrada no protótipo desenvolvido e testado até o momento. Isto permite que, como exemplo de aplicação, sejam colocados sensores adaptados a instrumentos musicais que variam as coordenadas conforme sua localização. O protótipo desenvolvido até o momento realiza a WFS fazendo a reprodução da frente de onda através dos cálculos da amplitude e do atraso do sinal de áudio que chega a cada uma das caixas de som. A figura 11 mostra o diagrama em blocos do patch desenvolvido em Pd para WFS. Este patch tem estrutura dividida em três módulos independentes: a interface de usuário, o módulo de WFS e a saída de áudio multicanal. A interface de usuário é dividida em quatro blocos: posição da fonte sonora, controle de foco, entrada de áudio e o controle de volume do patch. A posição da fonte é controlada pelo objeto grid que fornece as coordenadas x e y para o módulo de WFS. O controle de foco muda a relação entre os atrasos de áudio nas caixas de som gerando ondas com curvaturas diferentes da circular, o que altera a localização pontual para localização em uma região. Também é feito, de forma independente da relação de atraso de áudio, o controle de intensidade sonora para ajuste proporcional da contribuição de cada alto-falante na frente de onda. A entrada de áudio envia o sinal que pode ser de um arquivo de áudio 12

Wave Field Synthesis • 2013 • ECA-USP

Figura 11: Diagrama em blocos do patch para WFS.

do computador, da entrada de som externa (via placa de som) ou um som sintetizado no próprio patch. Cada módulo de WFS recebe o sinal de áudio e as coordenadas x e y da posição de cada fonte sonora, e determina os delays (atrasos) e intensidade de som do sinal de áudio desta fonte sonora para cada caixa de som da matriz. A saída de áudio multicanal recebe o áudio dos doze canais e os envia à saída de som do computador.

5.2

Dificuldades encontradas A instalação dos programas SSR e sWONDER exige conhecimentos consideráveis sobre os sistemas

operacionais baseados em Linux. Além de seguir o manual de instalação com um número considerável de procedimentos via terminal de comando, deve-se resolver a pendência da falta de várias bibliotecas exigidas pelos programas citados. A sincronização das placas foi outra tarefa bastante complicada. Para que fossem sincronizadas as duas interfaces M-Audio 1010 precisou ser configurado um arquivo chamado .asoundrc no Linux. Após baixar este arquivo e seguir todas as instruções encontradas no site do ALSA8 (Advanced Linux Sound Architecture), não houve sincronização das placas via sistema operacional. A única solução encontrada foi usar o JACK para a sincronização. O comando executado no terminal do Linux para acionamento e configuração do servidor jackd foi: jackd -R -d alsa -C multi_capture -P multi_playback -r 44100

5.3

Instrumentação musical virtual Neste projeto, após a implementação de WFS no AUDIENCE, pretende-se realizar algumas experi-

mentações em instrumentação virtual espacial explorando ilusões geradas pela manipulação e criação de fontes pontuais. A ideia básica é testar a deformação da forma circular da frente de onda gerada por WFS mudando a relação entre os atrasos de áudio nas caixas de som. A primeira implementação desta ideia, batizada como controle de foco, foi feita no patch em Pd descrito no item 5, que trata do desenvolvimento do protótipo. Também é feito, de forma independente, o controle da intensidade sonora para ajuste proporcional da contribuição de cada alto-falante na frente de onda, de forma independente ao controle da relação de atraso de áudio nas caixas. Os efeitos gerados para a instrumentação virtual espacial tem caráter experimental e espera-se que gere interesse para serem testados como uma técnica de composição para a música eletroacústica. Aqui 8 AlsaProject.

Acesso em: www.alsa-project.org

13

Wave Field Synthesis • 2013 • ECA-USP

o objetivo não é necessariamente criar uma impressão sonora que tem um equivalente natural, mas sim possibilidades de abstração.

5.4

Contribuições esperadas A facilidade de uso determinada pela arquitetura modular e intercambiável possibilita conectar

o algoritmo de WFS a algoritmos de simulação acústica, podendo vir a se tornar uma alternativa aos aplicativos que executam esta função. O maior desafio neste projeto é conceber uma forma de codificação que permita a escolha da geometria final do sistema de alto-falantes. Espera-se que este novo software seja usado em trabalhos de composição, gravações, apresentações, colaborações musicais interativas e aplicações que preconizem efeitos de espacialização sonora, alargando as possibilidades de se auralizar instrumentações musicais também com WFS no sistema AUDIENCE e de forma extensiva a qualquer programa implementado no Pd.

Referências AHRENS, J.; GEIER, M.; SPORS, S. Introduction to the SoundScape Renderer (SSR). [S.l.], 2012. BAALMAN, M. A. J. Application of wave field synthesis in electronic music and sound installations. In: 2nd International Linux Audio Conference, 29 april - 2 Mai 2004, ZKM, Karlsruhe. [S.l.: s.n.], 2004. BAALMAN, M. A. J. On Wave Field Synthesis and The Electro-Acoustic Music: State of The Art 2007. [S.l.], 2007. BAALMAN, M. A. J. On Wave Field Synthesis and Electro-acoustic Music: With a Particular Focus on the Reproduction of Arbitrarily Shaped Sound Sources. Tese (Doutorado) — Technischen Universität Berlin, 2008. BAALMAN, M. A. J. et al. Renewed architeture of the sWONDER software for wave field synthesis on large scale systems. p. 76–83, março de 2007. FARIA, R. R. A. Auralização em ambientes audiovisuais imersivos. Tese_Rev http://www. lsi. usp. br/% 7Eregis/FariaRRA_AuralizacaoAmbientesImersivos_Tese_Rev_web. pdf, 2005. GEIER, M.; AHRENS, J.; SPORS, S. The soundscape renderer: A unified spatial audio reproduction framework for arbitrary rendering methods. 2008. HULSEBOS, E. M. Auralization using Wave Field Synthesis. Tese (Doutorado) — Delft University of Technology. Delft, Holanda, 2004. SALVADOR, C. D. Discrete Driving Functions for Horizontal Reproduction Using Wave Field Synthesis and Higher Order Ambisonics. [S.l.], 2010. SCHAEFFER, P. Traité des objets musicaux. [S.l.], 1966. THOMAZ, L. F. Aplicação à música de um sistema de espacialização sonora baseado em Ambisonics. Dissertação (Mestrado), 2007. VRIES, D. de. Wave field synthesis - aes monograph. Audio Engineering Society Inc, 2009.

14