Aural

Pesquisadores Associados
Josué Ramos
Eliane Guimarães
Sidney CunhaDesenvolvimento
Daniel Domingues, Leonardo Almeida, Igor Martins, Rafael Maiolla, Thiago Spina, Igor Dias, Lucas Soares, Lucas Alves, Felipe Silva, Gustavo de Paula, Eduardo Camargo, Tiago Pinheiro, Eddy Nakamura, Helen Fornazier, Flavio KodamaApoio Técnico
Douglas FigueiredoColaboradores
Hélio Azevedo, Rubens Machado, Roberto Tavares

Direção de Arte
Mariana Shellard

AURAL: instalação sonoro-visual

ambiente evolutivo aplicado à sonificação de trajetórias robóticas

O AURAL é uma proposta inédita no Brasil e traz consigo a colaboração de dois pesquisadores que atuam em Arte & Tecnologia – Artemis Moroni e Jônatas Manzolli respectivamente do Centro de Tecnologia da Informação “Renato Archer” (CTI) e do Núcleo Interdisciplinar de Comunicação Sonora (NICS) da UNICAMP.

Os computadores podem ser criativos? A primeira pessoa a levantar essa questão foi Ada Lovelace (1815 – 1852), colaboradora de Charles Babbage (1791 – 1871), que inventou o primeiro computador de uso geral. Ada percebeu que a “máquina analítica” de Babbage – em essência, um projeto de um computador digital – poderia “compor peças de música científicas e elaboradas de qualquer grau de complexidade e extensão”; mas a criatividade deveria ser creditada não ao engenho, mas ao engenheiro. Leia mais

Desde então, numerosos tem sido os entrelaçamentos entre computadores, arte, música, literatura e outras áreas tidas como “criativas”. Já nos primórdios da era da arte computacional, destacou-se no Brasil e no mundo, Valdemar Cordeiro. Dirigiu a primeira pesquisa em computador em nosso país, em 1968, à frente de uma equipe de matemáticos, físicos, artistas e engenheiros, utilizando-se de meios eletrônicos para programação de arte. Professor da Unicamp, promoveu, em 1971, uma exposição internacional de arte de computador.

Hoje, a área de Inteligência Artificial já tem pelo menos uma proposta de um modelo computacional de criatividade: a computação evolutiva, que simula características do processo evolutivo. Não se pode ignorar o potencial “criativo”, ou “criador”, da evolução, o que talvez venha atraindo a pesquisa de tantos profissionais da área de criação, artistas, músicos e designers para o campo da computação evolutiva. Programas que usam algoritmos evolutivos podem evoluir estruturas inesperadas, de uma forma que a mente humana não poderia produzir por si mesma

No AURAL, pela primeira vez haverá a integração de música criada por processos evolutivos, sistema de visão artificial e uma comunidade de robôs para produzirem juntos sons e imagens. Ao visitar esta instalação o usuário poderá, através do desenho de uma curva com o mouse, disparar um processo que resultará numa complexa cadeia de eventos sonoros.

O sistema de sonificação do AURAL está estruturado na aplicação de Computação Evolutiva para geração de eventos sonoros. Neste contexto, a representação do protocolo MIDI foi usada na composição do genótipo da população de acordes em evolução, como no desenvolvimento original do sistema VOX POPULI, sobre o qual foi construído o núcleo da instalação AURAL, o ambiente JaVOX. A característica sonora de ambos é descrever o processo de sonificação através de populações de clusters e acordes criando uma nova sonoridade a cada passo do processo.

No AURAL, as trajetórias geradas pelos robôs são associadas às estruturas sonoras do JaVOX. No computador, o usuário desenha curvas com o mouse, associando a elas trajetórias que guiam a produção sonora. A curva desenhada pelo usuário é transmitida como uma trajetória para um robô mestre, o NOMAD, percorrer numa arena monitorada por um sistema de visão artificial. Outros robôs móveis, os iCreates, estarão presentes no ambiente. Quando há colisão, o iCreate se afasta. O comportamento dos robôs é observado pelo sistema de visão artificial, omnidirecional, que monitora as trajetórias dos robôs, enviando-as de volta para o ambiente JaVOX.

Desta forma, o fluxo de informação parte e retorna para o JaVOX no processo de sonificação. O sistema de amplificação sonora é realizado no entorno do espaço onde os robôs navegam e para isto são utilizadas duas caixas acústicas e uma placa de som conectada ao computador central.

O processo de vínculo entre o comportamento dos robôs no espaço e a sonificação foi desenvolvido com o objetivo de verificar a capacidade do AURAL de criar texturas sonoras auto-organizadas a partir de interações simples entre os agentes do sistema, os robôs móveis. Outras câmeras capturam imagens do ambiente que, processadas, são projetadas como cenários. As câmeras são os “olhos” da instalação, apresentando algumas das possibilidades do que pode ser a visão robótica.

A instalação AURAL é o resultado de várias etapas de desenvolvimento sobre o ambiente original, VOX POPULI, realizadas por alunos de iniciação científica sob a supervisão de pesquisadores do CTI e do NICS/UNICAMP. A eles, os alunos, e a todos os jovens, é dedicada esta instalação, esperando que sirva de inspiração para muitas outras.

A exibição será encerrada no dia 20 com uma proposta inédita onde três músicos farão a estréia da obra “Variações Robóticas”, composta por Manzolli e trechos produzidos pelo Aural. Esta obra será tocada por três músicos em interação direta com as trajetórias sonoras do Aural. O som da Marimba, Piano Digital e Cello se entrelaçará com o os acordes evolutivos do Aural. Com esta obra, o ciclo se fecha criando-se um campo generativo onde homem e máquina se completam e coexistem no mesmo processo evolutivo.