AI研究破解为何我们对音乐有感觉

在一篇新发表的论文中，南加州大学的计算机科学家和心理学家团队合作通过AI研究来破解音乐如何影响人们的行为、感觉和思维。

心跳加速，手心出汗，大脑颞横回如圣诞树一般倏然亮起——可能你从未如此仔细地想过，在听音乐时，你的大脑和身体会发生什么变化。

但这个问题困扰了科学家们数十年：为什么像音乐这样抽象的东西会引发如此一致性的反应？在一项新研究中，南加州大学的研究团队借助人工智能，深入研究了音乐如何影响听者的大脑、身体和情绪。

研究团队观察了一组志愿者在听到三首不熟悉音乐时的心率、皮肤电反应（或汗腺活动）、大脑活动以及主观的快乐和悲伤感受。

研究人员测试了74个音乐特征，他们发现，力度、音区、节奏与和声对于预测听众的反应尤为有用。

该研究的主要作者计算机科学博士生兼南加州大学信号分析和解释实验室 (SAIL) 成员Tim Greer说道：“我们从整体角度看待音乐感知，使用了多种音乐预测器，最终得以进一步了解我们身体和大脑对音乐的反应。”

对比差异是关键

在他们的研究成果中，研究人员注意到，音乐对大脑中的“颞横回”和“颞上回”听觉复合体产生了巨大的影响。

具体来说，大脑会对律动清晰度或节拍的力度做出反应。举个简单的例子吧，在听到Lady Gaga的《罗曼死》(Bad Romance) 时，你的脑回看起来会很活跃。

他们还发现，力度、节奏和音色的变化，或新乐器的加入，会导致活跃度上升。换言之，对比差异是关键。例如，出现力度（即“响度”）变化时，脑回就会被激活。

Greer说道：“如果一首歌从头到尾响度都很大，就不会有很多力度变化，相对于作曲家运用了响度变化的音乐，其中的体验强度不会那么大。”Greer自己就是一位作曲家兼萨克斯和键盘乐器手。

“在不到三分钟的时间里，词曲作家的工作就是带你体验情绪的过山车，而力度变化则是方式之一。”

所以，如果你听一整张黑金属专辑的《黑金属》(black metal)，全程都很燥，那么可能不会有太大的反应。但如果你听的是 涅槃乐队Nirvana的《少年心气》(Smells Like Teen Spirit)，在这首曲子中，从宁静的吟唱到响亮的合唱，然后反复，那反应就会不一样了。

研究团队还发现，在出现新乐器或音乐声开始渐增时，皮肤电反应（主要用于测量排汗）也会增加。

Greer说道：“每次加入新乐器时，你都能看到皮肤的集体反应出现一个峰值。”

此外，在音乐的高潮部分之前，歌曲的复杂程度也有所提高。一般来说，歌曲出现的乐器越多，人们的反应就越大。（回想一下Mike Oldfield的Tubular Bells第一节，这首歌不断加入更多的乐器，直至高潮。）

最悲伤的音符？这个奖项授予了小音阶的第7级音升调。研究发现G小调歌曲中的F#音与高悲伤等级呈正相关。

这可能是大家都能感知到The Animals《日升之屋》(House of the Rising Sun) 中叙述者的痛苦挣扎的原因。这首歌就是运用了小音阶的第7级音升调为开头，展开了每一个诗节，所蕴含的情绪也在逐级递增。

新领域

在这个实验中，研究团队选择了三首情绪饱满的纯音乐，传唱度不高，因此听众的情绪反应中无记忆的元素。（例如，在拔智齿时听过的背景音乐可能会影响你对那首曲子的感知。）

在神经成像实验中，研究人员让40名志愿者听了一系列悲伤或快乐的音乐片段，同时使用磁共振成像扫描他们的大脑。该项实验由Assal Habibi在南加州大学大脑与创造力研究中心执行。Assal Habibi是南加州大学Dornsife文理学院的心理学助理教授，她的团队包括哥伦比亚大学的博士后学者Matthew Sachs。

大脑在聆听音乐时的表现：听肖邦的降E大调夜曲 (Op.9, No. 2) 时，志愿者大脑的功能磁共振成像扫描图。视频：南加州大学大脑与创造力研究中心。

为测量身体反应，研究人员让60位受试者戴着耳机听音乐，同时测量他们的心脏活动和皮肤电传导。同时，也会评定他们的情绪强度（高兴或悲伤），评分为1-10分。

然后，计算机科学家使用AI算法分析处理这些数据，以确定人们对哪些听觉特征的反应相一致。

过去，神经科学家曾尝试过深入了解音乐对身体、大脑和情绪的影响，他们分析了极短时间内的MRI脑部扫描图——例如，观察大脑对两秒钟音乐的反应。

在这项研究中，科学家们通过对比，使用算法分析了实验室收集的数据，其中包括脑部扫描图以及其他模式的数据，以观察人们长时间听音乐时的感受。

该研究的共同作者，Niki and C. L. Max Nikias 工程学系主任兼电子与计算机工程和计算机科学教授Shrikanth (Shri) Narayanan说道：“新颖的多重模态计算方法不仅有助于在大脑和身体层面阐明人类对于音乐的情感体验，还可将其与个体的实际感受相联系，表达出他们的体验。”

感受美好

这项研究有助于研究人员找出最适合锻炼、学习或睡眠的歌曲，此外还具有治疗应用——研究已证实，音乐能够缓解焦虑、减轻疼痛，帮助身体不便人士或痴呆症患者。

Habibi说道：“从治疗的角度来看，音乐是一个非常棒的工具，能够调动情绪，让人心情更好。

通过这项研究，我们将音乐刺激纳入疗法之中，治疗抑郁症和其他情绪障碍。这还有助于我们理解大脑中的情绪处理过程。”

据研究人员称，未来的研究将着重探究不同类型的音乐能为我们的情绪反应带来哪些积极影响，以及作曲家的意图与听者对音乐的感知是否相符。

这篇题为《音乐对人类神经、生理和情感体验影响的多重模态观点》(A Multimodal View into Music’s Effect on Human Neural, Physiological, and Emotional Experience)的论文于10月22日在ACM Multimedia多媒体会议上汇报。研究团队还包括南加州大学Viterbi工程学院的本科生Ben Ma，他也是南加州大学SAIL的成员。

编辑：Caitlin Dawson

头图：南加州大学的研究人员让一组志愿者听三首不熟悉的音乐，然后观察他们的心率、皮肤电反应（或汗腺活动）、大脑活动以及主观的快乐和悲伤感受。（从右上角开始，顺时针方向）：TIM GREER、SHRIKANTH NARAYANAN、BEN MA。摄影/HAOTIAN MAI。