生物通报道  9月1日，清华大学计算机系计算机系神经与认知计算中心副教授刘宝林和他指导的硕士生王忠宁等的研究论文在认知神经科学领域国际一流学术期刊Neuroscience（神经科学）上在线发表，这是刘宝林教授今年第三次在该期刊上发表研究成果，该论文预计于9月29日在Neuroscience纸版发表。该论文题为“Semantic association of ecologically unrelated synchronous audio-visual information in cognitive integration: an event-related potential study”（生态不相关的同步视听觉信息在认知整合中的语义关联事件相关电位研究）。

此前在2011年1月21日，刘宝林曾经与他的学生金之星在Neuroscience上以第一完成单位的身份发表过一篇学术论文“异步视听觉信息处理过程中时间异步性对多感官认知整合影响的ERP研究”（The influence of temporal asynchrony on multisensory integration in the processing of asynchronous audio-visual stimuli of real-world events: An ERP Study）。该论文采用ERP（Event-related potentials）研究方法，通过调整多感官刺激材料中视频关键动作和声音之间的时间异步性，证明了不同感官信息输入之间的异步性对人脑认知整合的影响。研究同时发现，随着视听觉信息之间的异步性的增大，多感官认知整合会被弱化。并且早期的多感官整合存在如下规律：AV情况下（视听觉信息同步）认知整合最强，其次是V_A情况（视频关键动作出现在声音之前），而A_V情况下（声音出现在视频关键动作之前）多感官认知整合最弱。这篇论文是清华师生首次作为第一完成单位在Neuroscience上发表论文。

2011年3月31日，刘宝林和硕士生王忠宁等再度在Neuroscience（神经科学）上在线发表了题为Cognitive integration of asynchronous natural or non-natural auditory and visual information in videos of real-world events: An event-related potential study（异步自然或非自然视听觉信息认知整合的事件相关电位研究）的研究论文。该论文研究了人脑对异步自然或非自然视听觉信息的认知整合，发现存在两种不同的认知整合机制。一种是对视频与自然声音的整合，其第一个阶段为人脑将接收到的信息和人脑中的语义记忆相联系；第二个阶段是评估接收到的与真实世界中多感官信息不一致的语义信息。另一种是对视频与非自然声音的整合，其第一个阶段和视频与自然声音整合的第一个阶段类似，而第二个阶段与人脑对非自然声音信息的重认知记忆有关。

在9月的最新论文中，研究人员研究了生态不相关的同步视听觉信息在认知整合中的语义关联，揭示了刺激驱动的活动通过人脑中的一个时间语义网络绑定在一起，形成多感官表示；而这个时间语义网络的状态是由人脑对刺激物之间长期学习的关联和所接收到的信息的短期经验所决定的。

（生物通：何嫱）

生物通推荐原文摘要：

Semantic association of ecologically unrelated synchronous audio-visual information in cognitive integration: an event-related potential study.

In this paper, we aimed to study the semantic association of ecologically unrelated synchronous audio-visual information in cognitive integration. A moving particle, which speed varied, was taken as a visual stimulus, while a simple tone, which frequency varied, was used as an auditory stimulus, both were synchronously presented to subjects in the form of a video. Behavioral results confirmed our hypothesis that the moving particle with varied speed and the simple tone with varied frequency were highly associated. Event-related potential (ERP) results showed that an N400 effect and a late posterior negativity (LPN) were elicited under the Incongruent condition as compared to the Congruent condition. It was further determined that there was semantic association between ecologically unrelated synchronous audio-visual information in cognitive integration. We considered that the N400 effect in our results reflected the process that stimulus-driven activities are bound together through a temporal semantic network (TSN) to form multimodal representations, while the state of this temporal semantic network was determined by both long-term learned association among stimuli and short-term experience of incoming information. The LPN might reflect the process that the human brain searches and retrieves context-specifying information in order to make a judgment, and the context-specifying information might have originated from the long-term learned association stored in the brain.

作者简介：
刘宝林
男，汉族，1965年1月出生于河北保定，清华大学计算机科学与技术系副教授。1997年7月教育部公派在白俄罗斯国立大学应用数学与计算机科学系获博士学位。1999年8月清华大学电机工程与应用电子技术系电工博士后科研流动站出站并晋升为副教授，之后留校任教。

主要学术兼职：
现为国家自然科学基金委员会同行评议专家、北京市科技创新基金专家库专家、教育部奖励专家库专家、电子学报和清华大学学报通讯评审人。

主要研究方向：
电磁场数学模型、脑电场模型与人脑认知过程、视觉刺激下及语义刺激下的人脑认知ERP研究。
主要科研项目：
作为项目负责人或子项目负责人正在进行和已经完成的主要项目有：973国家重大基础研究计划项目两项、863高科技计划重点项目一项、国家自然基金项目两项、国家教委留学回国人员基金项目一项、清华大学基础研究基金项目一项、清华大学骨干人才支持计划项目一项、985基础基金项目一项。

主要获奖情况：
以第一、第二或集体奖排名前1/3获国家级优秀教学成果奖二等奖两项、北京市优秀教学成果奖一等奖两项、北京市第三届高校教学基本功大赛一等奖一项、清华大学优秀教学成果奖一等奖两项、清华大学优秀教学成果奖二等奖一项、清华大学优秀教学软件二等奖一项。

发表学术论文：
近年来，以第一、二作者在国内外核心学术期刊（如Russian Science Bulletin、Radio and Communications Technology、Radio Technology、Acta Electronica Sinica、Journal of Electronics & Information Technology)及重要国际会议等上已公开发表学术论文数十篇。