美国芯片初创公司Etched今天发布了名为"Sohu"的AI专用芯片,一举打破了行业的固有认知
据Etched透露,单台搭载8个Sohu芯片的服务器,其AI运算能力堪比160块英伟达H100 GPU。这意味着,在运行当前最先进的大语言模型时,Sohu的处理速度比下一代英伟达Blackwell (B200) GPU还要快10倍以上
具体来说,一台Sohu服务器每秒可以处理超过50万个Llama 70B模型的token,这一数字是H100服务器(23,000 tokens/秒)的20倍,是预估中的B200服务器(约45,000 tokens/秒)的10倍多。这种级别的性能提升,足以让整个AI行业为之震动
专攻Transformer架构的赌注
Etched之所以能够实现如此惊人的性能突破,源于他们两年前做出的一个大胆决定:专门为Transformer架构设计芯片。这意味着Sohu无法运行传统的CNN、RNN或LSTM等模型,但在处理Transformer模型时,它的速度快得让人难以置信
这个决定堪称一场豪赌。Etched的创始人们相信,Transformer架构将主导AI的未来。事实上,目前所有顶尖的AI模型,如ChatGPT、Sora、Gemini等,都是基于Transformer架构的。Etched认为,随着AI模型训练和推理成本攀升至数十亿美元量级,哪怕1%的性能提升都足以证明一个5000万到1亿美元的定制芯片项目是值得的
GPU的瓶颈与专用芯片的崛起
为什么Sohu能够如此轻松地超越GPU?答案在于专用化带来的效率提升。Etched指出,现代GPU实际上只有约3.3%的晶体管用于矩阵乘法运算 - 这是AI workload的核心操作。而Sohu通过专注于Transformer架构,可以将芯片面积更多地用于计算单元,从而实现更高的性能和效率
这种专用化策略让人想起了比特币挖矿的历史。当ASIC矿机问世时,用GPU挖矿很快就变得毫无经济可行性。Etched相信,随着AI模型规模的不断扩大,类似的变革也将在AI芯片领域发生
改变游戏规则的潜力
如果Sohu真的能够兑现其承诺,那么它将彻底改变AI行业的格局。目前,许多AI应用受限于计算资源。例如,Google的Gemini模型需要60多秒才能回答一个关于视频的问题,而视频生成模型每秒只能生成一帧画面。有了Sohu,这些任务可能会变得瞬间完成
更重要的是,Sohu的出现可能会大幅降低AI应用的成本门槛,让更多企业和开发者有机会参与到AI革命中来。这不仅仅是技术的进步,更可能带来整个行业的民主化
虽然Sohu还未正式上市,但Etched表示,他们已经与多家早期客户签订了价值数千万美元的硬件预订合同。公司还透露,他们已经与台积电达成合作,将使用其4nm工艺生产Sohu芯片
Etched的创始人相信,他们正在解决"我们这个时代最重要的问题"。如果Sohu真的能够实现其承诺的性能,那么我们很可能正在见证AI硬件领域一个新时代的开端
⭐星标AI寒武纪，好内容不错过⭐
用你的赞和在看告诉我～
你看好吗？👇👇