SoundSculpt: Esculpindo Som com Tecnologia Imersiva

Uma nova fronteira na criação musical une arte, movimento e emoção

Inspirado pela arte milenar da escultura, SoundSculpt convida usuários a moldar o som com o corpo, evocando a sensação tátil de transformar matéria bruta em arte. Ao unir áudio espacial, arte visual e tecnologia de realidade aumentada, o projeto rompe as barreiras tradicionais da criação musical, tornando o processo mais sensorial e participativo. Segundo Zhao, a proposta é dissolver os limites entre quem cria e o que é criado, promovendo uma experiência imersiva que ressignifica o papel do usuário.

O diferencial de SoundSculpt reside em sua capacidade de integrar múltiplos sentidos em uma única interface. Utilizando os óculos Bose AR Frames, equipados com sensores de movimento, o sistema capta a orientação da cabeça e gestos do usuário, convertendo-os em modulações sonoras e visuais em tempo real. Essa fusão de som, movimento e imagem cria um ambiente generativo, onde cada ação resulta em novas composições e paisagens audiovisuais, estimulando a criatividade e o bem-estar emocional.

A tecnologia por trás do projeto emprega recursos avançados de XR (realidade estendida), com processamento espacial de áudio e manipulação visual desenvolvidos em Unity e scripts em C#. O framework MIDI permite que dados captados pelos sensores dos óculos sejam traduzidos em variações de tom e volume, enquanto a superfície virtual do “bubble” responde ao toque, proporcionando uma interação fluida e responsiva. A aplicação de princípios de sinestesia amplia a percepção sensorial, conectando arte física e digital.

Os testes realizados no MIT Media Lab, com designers e não-designers, demonstraram que a ferramenta aprimora a percepção de espaço, som e movimento, além de promover estabilidade emocional. A pesquisa sugere potencial para uso em terapias artísticas e psiquiatria, destacando o impacto social positivo ao oferecer uma forma lúdica de expressão e regulação emocional. O reconhecimento do projeto pelo prêmio Iron A' Design Award reforça sua relevância e inovação no cenário internacional.

Entre os principais desafios enfrentados, destacam-se a integração de feedback multissensorial em tempo real e a sincronização precisa entre áudio e imagem. Superar limitações técnicas de sensores e processamento de dados exigiu testes contínuos e adoção de tecnologias de ponta em XR, resultando em uma experiência envolvente e emocionalmente significativa.

SoundSculpt representa uma convergência entre arte, tecnologia e saúde mental, abrindo caminhos para novas formas de expressão criativa. Ao permitir que o usuário “esculpa” o som com movimentos, Zhao oferece uma ferramenta que transcende o entretenimento, promovendo bem-estar e inovação no cotidiano.