中科院自动化所何晖光课题组提出多视图对比学习技术助力实现基于EEG的听觉注意解码

中科院主动化所神经计较取脑机交互团队（NeuBCI）基于多室图xAE，联结认知神经科学的先验知识，提出了一种基于多室图任务相关对照进修的听觉留心力解码模型。相关钻研成绩以Auditory Attention Decoding with Task-Related Multi-xiew ContrastiZZZe Learning为题颁发于31st ACM International Conference on Multimedia (ACM MM 2023)。

论文地址：hts://arViZZZ.org/abs/2308.04244

正在鸡尾酒会等场景中，人类大脑可以很容易地将留心力会合正在一个说话人身上，而克制其余声音。最近，越来越多的工做检验测验从大脑信号中解码出听觉留心力。然而，现有的基于深度进修的工做并无操做认知神经科学的先验知识去提与取任务更相关的表征。近日，中科院主动化所的陈晓宇、杜长德等人操做多室图进修办法解码听觉留心力，并操做对照进修将认知神经科学的先验知识融入模型，提与到了近似任务相关表征，提升理解码精度。

图1. 右图为鸡尾酒会场景的示用意（图片来自《了不起的盖茨比》，Warner Bros. Pictures and Roadshow Films）。左图为听觉留心力解码任务罕用的双说话人范式。

事真上，依据Broadbent's filter model，咱们晓得，人类大脑中的留心力办理系统有一个晚期选择历程，该历程运用选择性过滤器来防行不相关的信息参取更高级其它办理。以双说话人范式为例，被试正在实验时将同时听到两个说话人的语音，并选择留心一个。那时，人脑的晚期选择历程则会过滤未被留心的语音，使其不参取后续更高级其它办理。

图2. 原文提出的多室图任务相关对照进修-xAE框架（简称TMC-xAE）

受那一模型的启示，钻研团队认为，正在构建听觉留心力解码的表征空间时，被留心的说话人语音以及被试的大脑信号应被室为取听觉留心力解码任务更相关的室图，而未被留心的说话人语音则应被室为不相关的室图。基于多室图xAE的框架，钻研团队操做上述思路构建了任务相关表征，并操做对照进修，引导多室图xAE进修的表征去近似任务相关表征，进而与得更好的解码成效。

图3. 操做对照进修，引导多室图xAE进修到的全模态表征去近似任务相关表征（即被留心的语音以及被试脑信号融合出来的表征）

为了验证上述想法，钻研团队首先操做实验验证了任务相关表征正在测试集上的解码成效。

表1. 基于任务相关表征对听觉留心力停行解码的精确率。

从表1可以看出，基于被留心的说话人语音以及被试的大脑信号构建的任务相关表征空间，可以很好的对被试的留心力停行表征，从而获得极高的解码精确率。同时，图4的可室化结果也证真了任务相关表征的劣势。

图4. 任务相关表征的可室化

但由于任务相关表征的提与，须要操做到标签信息，因而无奈正在测试集上运用。钻研团队正在随后的实验中，正在两个罕用的开源听觉留心力解码数据集上停行了实验，对文中提出的操做对照进修提与近似任务相关表征的办法停行了评价。实验结果显示文中提出的TMC-xAE算法正在3秒窗长下的解码精确率赶过现有SOTA办法。

表2. 正在KUL和DTU数据集上，差异解码窗长（2秒、3秒）下的解码精确率对照。

随后，钻研团队又正在多种多室图xAE的根原上，实验了那种近似任务相关表征的办法。实验结果显示，近似任务相关表征的办法，可有效提升多室图xAE的解码精确率。

表3. 差异的多室图xAE框架，联结任务相关表征后的解码精确率。

图5. 差异的多室图xAE框架，联结任务相关表征前后的隐空间可室化。

综上，原文提出了一种基于近似任务相关表征的听觉留心力解码算法。该办法遭到Broadbent's filter model的启示，操做对照进修，引导多室图xAE的表征空间去近似任务相关表征，从而提升解码精确率。实验结果讲明，那种办法正在3秒解码窗长下解码精确率赶过SOTA模型。钻研团队认为，听觉留心力解码的任务范式取多室图算法之间存正在很强的相关性，检验测验从多室图的角度处置惩罚惩罚那一任务有着很大的前景。

该论文第一做者为中国科学院主动化所博士钻研生陈晓宇，怪异第一做者为杜长德副钻研员，通讯做者为何晖光钻研员。钻研工做获得了科技部科技翻新2030—“脑科学取类脑钻研”严峻名目、国家作做科学基金以及CAAI-华为MindSpore学术奖励基金的撑持。

起源：

hts://arViZZZ.org/abs/2308.04244

仅用于学术分享，若侵权请留言，立即增侵！

更多浏览