梦晨 发自 凹非寺量子位 | 公众号 QbitAI
猫头鹰的大脑约有11.5亿个神经元、1280亿个突触。
全部塞进一个微波炉大小的机箱——就成了世界上最大的神经拟态系统，英特尔Hala Point。
![]()
不过别担心，期间没有任何猫头鹰受到伤害，是用的硅芯片模拟生物神经元。
这种芯片效果如何？一系列数据说话：
执行AI推理负载和处理优化问题时，速度比常规CPU和GPU架构快50倍，同时能耗降低了100倍。
运行传统深度神经网络时，INT8精度运算的能效比达到了15 TOPS/W。（英伟达尚未发货的最新GB200 NVL72在INT8精度只有6 TOPS/W，当前的DGX H100系统约为3.1 TOPS/W）
用于仿生脉冲神经网络模型时，能够以比人脑快20倍的实时速度运行其全部11.5亿个神经元。
在运行神经元数量较低的情况下，速度可比人脑快200倍。
……
总之，这不是传统意义上拼峰值算力的那种AI芯片，能效比高才是Hala Point系统最大的优势。
据统计，仅训练GPT-3就耗电10GWh，相当于欧洲6000人一年的用电量，而随着AI应用的普及，推理能耗更是难以估量。
反观人脑，凭借860亿个神经元，每秒能完成上万亿次运算，功耗却不到20W。
那么，如何让芯片模拟生物大脑的运作方式，正是神经拟态计算的核心理念。
来自英特尔实验室的Hala Point规模已接近人脑的1/80，让这一构想离现实更近了一步。
![]()
那么究竟什么是神经拟态芯片，如何做到高能效比，最终又能用于哪些应用？
存算一体、异步稀疏计算
先来看Hala Point系统具体配置：
由1152个Loihi 2处理器组成，封装在一个六机架的数据中心机箱中。
整个系统支持分布在140544个神经形态处理内核上的多达11.5亿个神经元和1280亿个突触，最大功耗为2600瓦。
Hala Point还包括2300多个嵌入式x86处理器，用于辅助计算。
![]()
Loihi 2芯片采用Intel 4工艺制造，每个芯片有128个核心。每个芯片包含多达100万个数字神经元和1.2亿个突触，采用存算一体设计，打破了冯诺依曼架构的瓶颈。
Loihi 2还应用了众多类脑计算原理，如异步（asynchronous）、基于事件的脉冲神经网络（SNNs），以及不断变化的稀疏连接，以实现能效比和性能的数量级提升。
对于这些独特的技术，我们联系到英特尔研究院副总裁、英特尔中国研究院院长宋继强，询问了更多细节。
![]()
异步，是一种摒弃了传统芯片的全局时钟，采用事件驱动的架构。
宋继强借用人类大脑分区来解释，相当于一个人的嗅觉、视觉、触觉等可以同时工作，但并不需要同步。
如此一来Hala Point系统工作时是稀疏计算，又有点像现在主流大模型都会用的MoE专家混合架构。
所以Hala Point系统追求的不是极致性能，它更大的价值在于，以一种前所未有的规模，验证了神经拟态计算的可行性和优势。
在算法和应用层面，Hala Point不是专门为当前主流的深度学习模型设计的（但经过修改也能跑）。它更适合去探索一些全新的，受生物学启发的学习范式。
比如基于时序脉冲编码的SNN脉冲神经网络，就是一个很有前景的方向。SNN能更好地捕捉时空信息的动态变化，有望在语音、视觉等时序数据的处理上取得突破。
此外，神经拟态系统天然适合进行持续学习和片上学习，这也是当前深度学习系统的一大短板。
宋继强还介绍了英特尔的神经拟态研究社区INRC，已有包括全球学校、企业和研究机构的200多成员加入。
社区中大约一半的应用探索是用于机器人、无人机。而且这类应用并不需要Hala Point这么大的系统，只需要几块芯片就能搞定了。
那么Hala Point这样的大杀器又是应用在哪呢？
一个潜在的应用场景是组合优化。宋继强透露，他们发现用神经拟态计算去求解一些大规模规划等特定问题时，相比传统方案，能耗可以降低约3000倍。
这得益于其稀疏计算的特性，避免了大量的无效能耗。从这个角度看，神经拟态系统或许能在物流、智慧交通等领域”另辟蹊径”。
One More Thing
在Loihi芯片和Hala Point系统的介绍中，很少出现其他芯片强调的“频率”、“主频”这样的参数。
宋继强解释，神经拟态系统确实不会追求高频率，还开了一个小玩笑：
人脑就不会以很高的频率工作，不然会发热冒烟。
参考链接：[1]https://www.intel.com/content/www/us/en/newsroom/news/intel-builds-worlds-largest-neuromorphic-system.html[2]https://www.theregister.com/2024/04/17/intel_hala_point_neuromorphic_owl
— 完 —
量子位年度AI主题策划正在征集中！
欢迎投稿专题 一千零一个AI应用，365行AI落地方案
或与我们分享你在寻找的AI产品，或发现的AI新动向
![]()
点这里👇关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
![]()
猫头鹰的大脑约有11.5亿个神经元、1280亿个突触。
全部塞进一个微波炉大小的机箱——就成了世界上最大的神经拟态系统，英特尔Hala Point。
不过别担心，期间没有任何猫头鹰受到伤害，是用的硅芯片模拟生物神经元。
这种芯片效果如何？一系列数据说话：
执行AI推理负载和处理优化问题时，速度比常规CPU和GPU架构快50倍，同时能耗降低了100倍。
运行传统深度神经网络时，INT8精度运算的能效比达到了15 TOPS/W。（英伟达尚未发货的最新GB200 NVL72在INT8精度只有6 TOPS/W，当前的DGX H100系统约为3.1 TOPS/W）
用于仿生脉冲神经网络模型时，能够以比人脑快20倍的实时速度运行其全部11.5亿个神经元。
在运行神经元数量较低的情况下，速度可比人脑快200倍。
……
总之，这不是传统意义上拼峰值算力的那种AI芯片，能效比高才是Hala Point系统最大的优势。
据统计，仅训练GPT-3就耗电10GWh，相当于欧洲6000人一年的用电量，而随着AI应用的普及，推理能耗更是难以估量。
反观人脑，凭借860亿个神经元，每秒能完成上万亿次运算，功耗却不到20W。
那么，如何让芯片模拟生物大脑的运作方式，正是神经拟态计算的核心理念。
来自英特尔实验室的Hala Point规模已接近人脑的1/80，让这一构想离现实更近了一步。
那么究竟什么是神经拟态芯片，如何做到高能效比，最终又能用于哪些应用？
存算一体、异步稀疏计算
先来看Hala Point系统具体配置：
由1152个Loihi 2处理器组成，封装在一个六机架的数据中心机箱中。
整个系统支持分布在140544个神经形态处理内核上的多达11.5亿个神经元和1280亿个突触，最大功耗为2600瓦。
Hala Point还包括2300多个嵌入式x86处理器，用于辅助计算。
Loihi 2芯片采用Intel 4工艺制造，每个芯片有128个核心。每个芯片包含多达100万个数字神经元和1.2亿个突触，采用存算一体设计，打破了冯诺依曼架构的瓶颈。
Loihi 2还应用了众多类脑计算原理，如异步（asynchronous）、基于事件的脉冲神经网络（SNNs），以及不断变化的稀疏连接，以实现能效比和性能的数量级提升。
对于这些独特的技术，我们联系到英特尔研究院副总裁、英特尔中国研究院院长宋继强，询问了更多细节。
异步，是一种摒弃了传统芯片的全局时钟，采用事件驱动的架构。
宋继强借用人类大脑分区来解释，相当于一个人的嗅觉、视觉、触觉等可以同时工作，但并不需要同步。
如此一来Hala Point系统工作时是稀疏计算，又有点像现在主流大模型都会用的MoE专家混合架构。
所以Hala Point系统追求的不是极致性能，它更大的价值在于，以一种前所未有的规模，验证了神经拟态计算的可行性和优势。
在算法和应用层面，Hala Point不是专门为当前主流的深度学习模型设计的（但经过修改也能跑）。它更适合去探索一些全新的，受生物学启发的学习范式。
比如基于时序脉冲编码的SNN脉冲神经网络，就是一个很有前景的方向。SNN能更好地捕捉时空信息的动态变化，有望在语音、视觉等时序数据的处理上取得突破。
此外，神经拟态系统天然适合进行持续学习和片上学习，这也是当前深度学习系统的一大短板。
宋继强还介绍了英特尔的神经拟态研究社区INRC，已有包括全球学校、企业和研究机构的200多成员加入。
社区中大约一半的应用探索是用于机器人、无人机。而且这类应用并不需要Hala Point这么大的系统，只需要几块芯片就能搞定了。
那么Hala Point这样的大杀器又是应用在哪呢？
一个潜在的应用场景是组合优化。宋继强透露，他们发现用神经拟态计算去求解一些大规模规划等特定问题时，相比传统方案，能耗可以降低约3000倍。
这得益于其稀疏计算的特性，避免了大量的无效能耗。从这个角度看，神经拟态系统或许能在物流、智慧交通等领域”另辟蹊径”。
One More Thing
在Loihi芯片和Hala Point系统的介绍中，很少出现其他芯片强调的“频率”、“主频”这样的参数。
宋继强解释，神经拟态系统确实不会追求高频率，还开了一个小玩笑：
人脑就不会以很高的频率工作，不然会发热冒烟。
参考链接：[1]https://www.intel.com/content/www/us/en/newsroom/news/intel-builds-worlds-largest-neuromorphic-system.html[2]https://www.theregister.com/2024/04/17/intel_hala_point_neuromorphic_owl
— 完 —
量子位年度AI主题策划正在征集中！
欢迎投稿专题 一千零一个AI应用，365行AI落地方案
或与我们分享你在寻找的AI产品，或发现的AI新动向
点这里👇关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~