试想在一个嘈杂的鸡尾酒会上，你正努力专注倾听朋友的谈话，而忽略周围其他人的声音和动作。在这样充满竞争的信息环境中，大脑的“选择性注意（selective attention）”系统帮助我们筛选出重要的信息。同时，当我们看到朋友说话的嘴唇运动与听到的声音同步时，这种跨感觉通道的“时间一致性（temporal congruency）”也能显著促进我们对信息的加工。然而，一个在认知神经科研领域长期存在争议的问题是：在竞争性场景中，这种视听互动究竟是独立于选择性注意自动发生的，还是与注意过程存在着复杂的交互作用？

为了回答这一问题，中国科研院心理研究所蒋毅研究组从听觉影响视觉的角度出发，结合行为实验及脑电的稳态视觉诱发电位（steady-state visual evoked potentials, SSVEPs）技术，系统考察了时间同步的听觉信息如何在陆续在动态场景中调节视觉加工，以及这种调节是否依赖于选择性注意，并进一步研究了刺激序列的时间结构是否也在其中起作用。

研究人员采用了一种改编的竞争性视听范式（图1）：在实验中，被试需要选择性地注意屏幕左侧或右侧闪烁的圆盘。这两个圆盘除了以不同的频率（12 Hz或15 Hz）快速闪烁外，还会以较低的速率不断地变换自身的形状（从圆到椭圆的周期性变化）。与此同时，被试会听到一个音调不断变化的声音，这个声音的变化要么与被注意圆盘的形状变化一致，要么与非注意圆盘的形状变化一致。在这个设计中，形状的变化代表了与视听同步“关联”的视觉特征，而亮度的闪烁则代表了与之“正交（无关）”的视觉特征。

此外，研究者还操纵了整个视听刺激序列的时间结构：在节律条件中，视觉和声音按照固定节律变化；而在非节律条件中，这种时间规律被打乱。顺利获得这一设计，研究者得以考察：视听时间同步引发的促进效应是否依赖于刺激序列的时间结构。

图1. 实验流程图

行为结果发现，对于节律性视听刺激序列，与被注意侧视觉序列同步的声音能够显著加快被试检测到插入在视觉序列中的探测目标的反应速度；然而，当视听刺激序列缺乏节律性结构时，这种促进作用则完全消失（图2）。这一结果表明，大脑并不会仅仅利用“物理同步”进行多感觉整合，在一定程度上也会依赖环境中更稳定的时间结构。

图2. 节律与非节律条件下的行为结果

脑电结果则揭示了这一跨感觉调节的神经机制——选择性注意与时间同步的声音对视觉加工的增强并不是完全独立的，而是会根据视觉特征是否与视听同步相关联而改变。具体而言，当视觉特征是视听同步的关联特征时（即与音调变化同步的形状变化），听觉能够增强视觉神经活动(SSVEP)，无论该刺激是否被注意（图3E和图3F）。相反，当视觉特征与视听同步无直接关联（如持续闪烁），时间同步的声音会特异性增强非注意侧视觉刺激序列的神经响应(SSVEP)，而不会增强注意侧视觉刺激的神经响应（图3A）。

图3. 节律情境下的视听时间同步与选择性注意对视觉加工的调节作用

更重要的是，这种跨感觉调节同样仅出现在具有稳定时间结构的节律性刺激序列中。在非节律条件中，尽管选择性注意仍能稳定增强视觉加工，但同步的声音不再会调节视觉加工（图4）。

图4. 非节律情境下的视听时间同步与选择性注意对视觉加工的调节作用

此外，研究还发现，个体在节律条件下由声音同步带来的行为提升，与脑电中视觉神经响应的相位一致性（ITC）增强密切相关（图5）。这意味着，大脑中更高效的神经同步过程，可能正是在竞争性场景中声音促进视觉加工的重要机制。

图5. 行为表现与神经同步增强之间的相关

该研究表明，在复杂动态环境中，选择性注意与视听交互之间并非简单的“独立”或“依赖”关系，而会在建立跨通道关联的特征与非关联特征上表现出差异。并且大脑并非被动地整合来自不同感觉的信息，而是会利用环境中的时间结构更有效地协调视听感觉间的信息交互。研究结果深化了人们对多感觉整合与选择性注意的交互机制的理解，也为复杂环境中跨通道交互的限制条件给予了新的证据。

该研究取得了科技创新2030-“脑科研与类脑研究”重大项目、国家自然科研基金、中国科研院创新交叉团队项目、中国科研院青年创新促进会、广东省重点研发计划以及中央高校基本科研专项资金的资助。

研究成果已在线发表于NeuroImage。腾博会官网博士研究生陈洁茹为论文第一作者，腾博会官网袁祥勇副研究员为通讯作者。腾博会官网博士研究生刘文杰（已毕业）、谭诗奇，以及蒋毅研究员为论文共同作者。

论文信息：Chen, J., Liu, W., Tan, S., Yuan, X., & Jiang, Y. (2026). Temporally congruent auditory stream modulates visual processing both independently of and interactively with selective attention in a competing scenario. NeuroImage, 331, 121873. http://doi.org/http://doi.org/10.1016/j.neuroimage.2026.121873

相关论文：Bizley, J. K., Maddox, R. K., & Lee, A. K. C. (2016). Defining Auditory-Visual Objects: Behavioral Tests and Physiological Mechanisms. TRENDS IN NEUROSCIENCES, 39(2), 74-85. http://doi.org/10.1016/j.tins.2015.12.007