基于TouchDesigner的声音可视化交互——“看见”音乐

人耳可听到声音的频率范围在20Hz到20kHz之间，因此从生理角度，当在人们欣赏频响范围广阔的多声部音乐，如交响乐、摇滚乐等音乐作品时，能够听到不同频率范围下的各声部的演奏。然而，根据心理声学的“鸡尾酒会效应”，人的听觉注意力会根据人的视觉注意力进行选择，例如在现场观看交响乐演出时，如果我们有意识地盯着某一种乐器看，那我们的听力就会“放大”这一种乐器的声音，同时自动“屏蔽”或“降低”其他乐器的声音。 在“鸡尾酒会效应”的理论基础上，为了让人们在欣赏多声部音乐时，能够感受到更加丰富的音乐细节，我们利用可视化编程的开发平台TouchDesigner制作了一个实时的声音可视化交互作品。该作品能够实时分析导入的音乐片段，并对该片段音乐的频率进行实时的分析处理并渲染出对应的二维和三维图形，在动态的三维图形的视觉引导下，收听音乐的人能够有意识地关注到一些细微的音乐细节，丰富欣赏音乐的审美感受。同时也可以通过按键切换麦克风，实时拾取声音并渲染出相应的动态图形。该作品兼具实用性、趣味性和审美价值。