来源：脑机接口社区
运营/排版：何晨龙
人类天生具有分离各种音频信号的能力，比如区分不同的说话者的声音、或将声音与背景噪音区分开来。这种天生的能力被称为“鸡尾酒会效应”。
中枢听觉系统通过分析声音流中的模式的统计结构（例如频谱或包络），可以轻松地在混合的声音中识别特定的目标声音。
在 AI 领域，设计与人类一样强大的语音分离系统长期以来一直是一个重要目标。
先前的神经科学研究提示：人类大脑经常利用视觉信息来帮助听觉系统解决 “鸡尾酒会问题”。
受到这一发现的启发，视觉信息被纳入进来以改善语音分离质量，由此产生的方法被称为多模态语音分离方法。
如果系统能够捕捉到唇部运动，这一额外线索将有助于语音处理，因为它在嘈杂环境中补充了语音信号的信息丢失。
然而，现有的多模态语音分离方法的分离能力仍远远不及人类大脑。
基于此，清华大学生物医学工程学院苑克鑫教授团队打造了一款脑启发 AI 模型（CTCNet，cortico-thalamo-cortical neural network）。
图 | 苑克鑫（来源：苑克鑫）
该模型的语音分离性能大幅领先于现有方法，不仅为计算机感知信息处理提供了新的脑启发范例，而且在智能助手、自动驾驶等领域有潜力发挥重要作用。
苑克鑫表示：“CTCNet 是在皮层-丘脑-皮层环路和 A-FRCNN 基础上的结果。”
近些年，苑克鑫课题组针对高级听觉丘脑及其皮层联接的架构和生理学特性进行了系统性研究。
在此基础上，结合清华大学计算机系胡晓林教授课题组之前的语音分离应用算法，他们提出了一种多模态语音分离方案。
然后，使用公开数据集进行了一系列的语音分离测试和调参，最终才得到了具有优异语音分离性能的 CTCNet。
（来源：TPAMI）
因此，本次研究是在机制研究的基础上引发的应用研究。
“总体而言，这是一个双向奔赴的合作过程。作为一名 AI 研究者，也许可以通过阅读脑科学领域的文献来获得灵感，但与脑科学研究者的直接沟通一定是最为高效。”苑克鑫说。
他继续表示，在没有相应知识的情况下，AI 研究者通过阅读文献来理解大脑的工作原理是有一定困难的。
而作为脑科学研究者，应该有将研究成果向 AI 领域转化的意识和意向，主动与 AI 领域的研究者接触、讨论，这样才有可能碰撞出火花。
事实上，AI 研究者在没有脑科学知识的情况下，已经在试图模拟大脑的部分功能，只不过脑科学研究者并不知道。
通过接触和了解，脑科学研究者就有机会将其研究成果迁移至 AI 研究者已经开展的脑功能模拟的尝试中，从而助力于开展真正有效的脑启发 AI 研究。
苑克鑫表示：“通过本次研究，我深切体会到了神经科学与 AI 领域的研究人员之间加强交流，对于有效开展脑启发 AI 相关工作的重要性。”
图 | 胡晓林（来源：百度百科）
据了解，苑克鑫与胡晓林都同时是清华大学与大脑研究相关的三个中心的兼职研究员，因此经常有机会互相听对方的工作报告，这成为了他们发起合作的契机。
另外，由于神经科学与 AI 是两个截然不同的学科，合作的成功离不开双方团队成员的密切交流。
虽然在交流过程中经常出现词同意不同的情况，甚至出现互相听不懂对方在说什么的情况，但是双方都有足够的耐心去理解对方措辞的内涵，这成为了最终合作成功的重要保障。
最终，相关论文以《由皮层-丘脑-皮层环路启发的视听语音分离模型》（An Audio-Visual Speech Separation Model Inspired by Cortico-Thalamo-Cortical Circuits）为题发在 Transactions on Pattern Analysis and Machine Intelligence（TPAMI）[1]。
胡晓林团队的硕士生李凯是第一作者，苑克鑫团队的博士后谢凤华、以及胡晓林团队的博士生陈航分别是第二作者和第三作者，苑克鑫和胡晓林担任共同通讯作者。
图 | 相关论文（来源：TPAMI）
下一步：
首先，他们将解析在单丘脑神经元水平上视、听觉信息的空间和时间整合模式，希望能够借助于该模式实现对 AI 模型的升级，进一步提高模型的语音分离性能，使其能够应对更加复杂的自然场景；
其次，他们将探索该模型在其他应用场景，如探索在噪音背景下的医学信号检测中的应用潜力；
最后，他们将解析在中枢感觉系统中处于更低层级脑区，如中脑中的多模态神经元的解剖、功能联接架构，进而探索这些联接架构启发 AI 模型构建的潜力。
预计拟构建的一系列 AI 模型，将能逆向揭示不同多模态感觉核团、及其中的神经元，在中枢感觉信息处理中可能扮演的重要角色和工作机制。
参考资料：
1.K. Li, F. Xie, H. Chen, K. Yuan and X. Hu, "An Audio-Visual Speech Separation Model Inspired by Cortico-Thalamo-Cortical Circuits" in IEEE Transactions on Pattern Analysis & Machine Intelligence, vol. , no. 01, pp. 1-15, 5555.
人工智能产业链联盟高端社区
相关阅读
【碳中和】珍藏版！22个国内外“碳中和”相关报告合集！
【工业机器人】全球工业机器人详细产业链梳理！
【智能制造】智能制造50大产业链全景图
【智能工厂】智能工厂如何快速落地
【工业技术】航空制造推动新概念机器人发展（上）
【工业技术】航空制造推动新概念机器人发展（下）
【新基建+人工智能生态】全网最火“新基建”生态图谱—人工智能篇（含40个细分领域厂商）
【AI】一文读懂人脸识别技术
【AI】解析 | 人工智能发展及技术架构
【报告】中国人工智能厂商全景报告（附PDF下载）
【AI】（收藏）从 A-Z 全面盘点人工智能专业术语梳理！
【AI】计算机视觉入门大全：基础概念、运行原理、应用案例详解
【AI】一文读懂机器学习、数据科学、人工智能、深度学习和统计学之间的区别
【智能仓储】一文带你彻底搞懂智能仓储！
【深度学习】12张高清思维导图，总结深度学习
【神经网络】给初学者们讲解人工神经网络（ANN）
人工智能的基础--知识分类
【AI产业链】120图勾勒全球AI产业完整图谱!
【AI】一文读懂人工智能产业链
【AI】中国人脸识别产业链全景图！
【AI】史上最全的人工智能（AI）产业链地图！
【芯片】国产芯片大全：70个细分领域代表企业
人工智能产业链深度透析—基础层
人工智能产业链深度透析-技术层
人工智能全产业链深度透析--（综合）
人工智能产业链深度透析—产业应用医疗篇
朱松纯 | 人工智能的现状、任务、构架与统一（上）
朱松纯 | 人工智能的现状、任务、构架与统一（中）
朱松纯 | 人工智能的现状、任务、构架与统一（下）
【AI】美国国家人工智能研发战略规划2019
【智慧农业】2018中国农牧家禽行业智慧养殖白皮书
【智慧农业】2019年智慧农业市场调研及前景研究报告（附PDF下载）
【智能家居】我国智能锁产业现状及未来发展趋势分析
【知识图谱】详解知识图谱关键技术与应用、AI图谱技术在知乎的应用实践、如何构建多快好省的“知识图谱即服务”
荐：
【中国风动漫】《姜子牙》刷屏背后，藏着中国动画100年内幕
【中国风动漫】除了《哪吒》，这些良心国产动画也应该被更多人知道！
【中国风动漫】《雾山五行》大火，却很少人知道它的前身《岁城璃心》一个拿着十米大刀的男主夭折！
声明
免责声明：部分文章和信息来源于互联网，不代表本订阅号赞同其观点和对其真实性负责。如转载内容涉及版权等问题，请立即与小编联系（微信号：913572853），我们将迅速采取适当的措施。本订阅号原创内容，转载需授权，并注明作者和出处。如需投稿请与小助理联系（微信号：AI480908961）
编辑：Zero