【导读】马斯克「搞笑」模型刚刚升级到Grok-1.5，推理性能暴涨，支持128k长上下文。最重要的是，Grok-1.5的数学和代码能力大幅提升。
Grok-1官宣开源不过半月，新升级的Grok-1.5出炉了。
刚刚，马斯克xAI官宣，128K上下文Grok-1.5，推理能力大幅提升。
并且，很快就会上线。
11天前，Grok-1模型的权重和架构开源，展示了Xai在去年11月之前取得的进展。
Grok-1有3140亿参数，是Llama 2的4倍大，而且采用的是MoE架构，8个专家中2个是活跃专家。
Xai介绍，也就是从那时起，团队改进了最新模型Grok-1.5的推理和解决问题的能力。
OpenAI前开发者关系负责人表示，从xAI重大发布的时间可以看出他们前进的步伐和紧迫感。令人振奋！
128K上下文，Grok-1.5数学推理能力暴涨
根据官方介绍，Grok-1.5改进了推理能力，上下文长度为128K。
Grok-1.5最显著的改进之一是，它在编码和数学相关任务中的表现。
在测试中，Grok-1.5在数学基准上取得50.6%的得分，在GSM8K基准上获得了90%，这两个数学基准涵盖了从小学到高中的各种竞赛问题。
此外，在评估代码生成和解决问题能力的HumanEval基准测试中，Grok-1.5获得了74.1%的高分。
从下图中，与Grok-1相比，可以看出Grok-1.5在数学方面的能力得到大幅提升，GSM8K上从62.9%改进到90，MATH上从23.9%提升到50.6%。
128K长语境理解，扩增16倍
Grok-1.5另一全新特点是，能够在其上下文窗口内处理高达128K token的文本。
这使Grok的内存容量，增加到以前上下文长度的16倍，从而使它能够利用更长的文档中的信息。
此外，新模型还可以处理更长和更复杂的提示，同时在其上下文窗口扩展时仍保持其指令跟随能力。
在Needle In A Haystack（NIAH）评估中，Grok-1.5 展示了强大的检索能力，可检索长度达 128K 字节的上下文中的嵌入文本，并取得了完美的检索结果。
Grok-1.5基础设施
Grok-1.5构建在基于JAX、Rust和Kubernetes的定制分布式训练框架之上。
这个训练堆栈可以让xAI团队能够以最少的投入，大规模构建创意，以及训练新的架构。
在大型计算群集上进行训练LLM的一个主要挑战是，最大限度地提高训练任务的可靠性和正常运行时间。
xAI定制的训练编排器，可确保自动检测有问题的节点，并将其从训练任务剔除。
与此同时，他们还优化了检查点、数据加载和训练任务的重启，以最大限度地减少发生故障时的停机时间。
xAI表示，Grok-1.5将很快提供给早期测试者，以帮助改进模型。
博客还预告了Grok-1.5将在未来几天里推出几个新功能。
最后，xAI还是一如既往地po出了招募信息。
参考资料：
https://x.ai/blog/grok-1.5
人工智能产业链联盟欢迎各方人士加入！点击下方对应链接了解详情！↓↓↓一、人工智能产业链联盟志愿者&合伙人招募！
二、人工智能产业链联盟“智芯畅行”芯片项目组创始团队招募！
三、人工智能产业链联盟全线产品，期待全球制造商&合作伙伴加入！
四、“人工智能产业链联盟投融圈”正式启动！仅限靠谱投资人&投融资机构加入！
人工智能产业链联盟高端社区
相关阅读
【碳中和】珍藏版！22个国内外“碳中和”相关报告合集！
【工业机器人】全球工业机器人详细产业链梳理！
【智能制造】智能制造50大产业链全景图
【智能工厂】智能工厂如何快速落地
【工业技术】航空制造推动新概念机器人发展（上）
【工业技术】航空制造推动新概念机器人发展（下）
【新基建+人工智能生态】全网最火“新基建”生态图谱—人工智能篇（含40个细分领域厂商）
【AI】一文读懂人脸识别技术
【AI】解析 | 人工智能发展及技术架构
【报告】中国人工智能厂商全景报告（附PDF下载）
【AI】（收藏）从 A-Z 全面盘点人工智能专业术语梳理！
【AI】计算机视觉入门大全：基础概念、运行原理、应用案例详解
【AI】一文读懂机器学习、数据科学、人工智能、深度学习和统计学之间的区别
【智能仓储】一文带你彻底搞懂智能仓储！
【深度学习】12张高清思维导图，总结深度学习
【神经网络】给初学者们讲解人工神经网络（ANN）
人工智能的基础--知识分类
【AI产业链】120图勾勒全球AI产业完整图谱!
【AI】一文读懂人工智能产业链
【AI】中国人脸识别产业链全景图！
【AI】史上最全的人工智能（AI）产业链地图！
【芯片】国产芯片大全：70个细分领域代表企业
人工智能产业链深度透析—基础层
人工智能产业链深度透析-技术层
人工智能全产业链深度透析--（综合）
人工智能产业链深度透析—产业应用医疗篇
朱松纯 | 人工智能的现状、任务、构架与统一（上）
朱松纯 | 人工智能的现状、任务、构架与统一（中）
朱松纯 | 人工智能的现状、任务、构架与统一（下）
【AI】美国国家人工智能研发战略规划2019
【智慧农业】2018中国农牧家禽行业智慧养殖白皮书
【智慧农业】2019年智慧农业市场调研及前景研究报告（附PDF下载）
【智能家居】我国智能锁产业现状及未来发展趋势分析
【知识图谱】详解知识图谱关键技术与应用、AI图谱技术在知乎的应用实践、如何构建多快好省的“知识图谱即服务”
荐：
【中国风动漫】《姜子牙》刷屏背后，藏着中国动画100年内幕
【中国风动漫】除了《哪吒》，这些良心国产动画也应该被更多人知道！
【中国风动漫】《雾山五行》大火，却很少人知道它的前身《岁城璃心》一个拿着十米大刀的男主夭折！
声明
免责声明：部分文章和信息来源于互联网，不代表本订阅号赞同其观点和对其真实性负责。如转载内容涉及版权等问题，请立即与小编联系（微信号：913572853），我们将迅速采取适当的措施。本订阅号原创内容，转载需授权，并注明作者和出处。如需投稿请与小助理联系（微信号：AI480908961）
编辑：Zero