跳到正文

看见声音:图像就能把声音“展示”出来

MIT 新设的 Music Technology and Computation Graduate Program 学生 Mariano Salcedo 研究神经细胞自动机与音乐视觉的结合,希望让可自我再生的图像随音乐呈现声音,并补充和提升聆听体验。

功思 AI 编辑部

约 2 分钟读完

看见声音:图像就能把声音“展示”出来

看见声音

作为 MIT 新设 Music Technology and Computation Graduate Program 最早一批学生之一,Mariano Salcedo ’25 正在研究人工智能与音乐视觉的交叉领域。

具体来说,他的研究生课题聚焦于神经细胞自动机(neural cellular automata,NCA)。这一方法将经典细胞自动机与机器学习技术结合起来,让图像得以“生长”,并具备自我再生能力。

当与音乐这样的刺激相结合时,这些图像就能把声音“展示”出来。

Salcedo 说:“这种方法让任何人都能创作由音乐驱动的视觉效果,同时利用自组织系统富有表现力、且有时难以预测的动态特性。”通过他设计的网页界面,用户可以调整音乐能量与 NCA 系统之间的关系,利用任何音乐音频流创造独特的视觉表演。

他说:“我希望这些视觉效果能够补充并提升聆听体验。”

去年,Salcedo 作为 Alex Rigopulos (1992) Fellow in Music Technology and Computation,从 MIT 获得了人工智能与决策专业的理学学士学位。在校期间,他研究了机器学习中的信号处理,以及对信号的经典理解如何为我们理解 AI 提供参考。如今,他是 Music Technology and Computation Graduate Program 首届 5 名硕士生之一。

该项目由音乐技术实践教授 Eran Egozy ’93, MNG ’95 负责,是 MIT 人文、艺术与社会科学学院下属 Music and Theater Arts 与工程学院合作开展的项目。它邀请从业者研究、发现并开发音乐领域新的计算方法。项目还设有演讲系列,让学生和更广泛的 MIT 社区接触音乐行业专业人士、艺术家、技术专家以及其他研究人员。

Rigopulos ’92, SM ’94 是一名视频游戏设计师、音乐人,也是 Harmonix Music Systems 的前 CEO;他于 1995 年与 Egozy 共同创立了这家公司。如今,Harmonix 已成为 Epic Games 的一部分,Rigopulos 则在那里担任负责音乐方向游戏开发的总监。

Rigopulos 说:“MIT 是我几十年前第一次能够追求自己对音乐技术热情的地方,而那段经历也成为我漫长而充实职业生涯的起点。所以,当 MIT 推出音乐技术高级学位项目时,我很高兴能够资助一项 fellowship,帮助推动这个令人兴奋的新项目。”

Egozy 对 Salcedo 的工作以及他继续探索其可能性的投入感到十分振奋。他说:“他是多学科研究者的一个很好的例子,会深入思考如何最好地利用技术来增强并拓展人类创造力。”

参与讨论

正在确认登录状态…