明敏 发自 凹非寺量子位 | 公众号 QbitAI
MoE（混合专家）模型最近有多火，不用过多介绍了吧？
作为当下最顶尖、最前沿的大模型技术方向，MoE能在不增加推理成本的前提下，为大模型带来性能激增。比如，在MoE的加持之下，GPT-4带来的用户体验较之GPT-3.5有着革命性的飞升。
但普通用户想要体验MoE的神奇魅力，必须每个月交20美元申请账号。
那么……有没有免费的MoE让我用用呢？
有！
超级无门槛、人人免费玩的MoE大模型来了！
![]()
昆仑万维刚刚发布最新发布的天工2.0大模型，在千亿参数规模基础上采用和GPT-4同款的MoE混合专家结构，具备强大多模态能力，支持最高100K超长上下文窗口（超过15万个汉字），应对复杂任务的能力更强，模型响应速度更快。
搭载天工2.0大模型的新版天工AI智能助手APP，现在就能在手机应用商店免费下载使用。
由此，天工AI智能助手也成为国内首个搭载MoE架构并面向全体C端用户免费开放的AI应用。
先来看看效果：
上传Excel，即可一键分析数据，并制作图表。
![]()
女朋友生气了不好哄，它也能帮你想到话术，还会提醒注意事项。
![]()
而且还会分析面相？AI奇怪の技能点增加了……
![]()
采用GPT-4同款架构
天工AI智能助手的升级，关键来自最新升级的天工2.0大模型。
它采用MoE（专家混合模型）架构，是GPT-4的同款，也被认为是GPT-4能力飞升的关键。
MoE是一个并行的前馈神经网络，主要由门控模型/路由器（Gating Model/Router）和一组专家模型（Experts Models）构成，当数据输入门控模型/路由器时，系统会根据任务类型将每个token分配给一个或多个专家模型，让每个专家模型可以专注于处理该部分数据，从而提升模型整体性能。
![]()
△MoE架构示例（LIMoE）
业界猜测GPT-4可能包含1.76万亿个参数，包含16个专家模型，每个模型大约有1110亿个参数。其中可能有Python专家、高级图像解析专家、事实核查专家、安全和道德专家、情绪分析专家等。
这种精确的专家模型选择和分工机制，让大模型理解能力、灵活性、准确性、安全性都大幅提升，由此也成为最近一段时间以来几乎最热门的大模型趋势，国内外大模型玩家都在纷纷跟进。
最新升级的天工大模型2.0也是采用了MoE架构。带来的主要提升有三方面：
应对复杂任务能力更强
速度更快、效率更高
灵活多样，可扩展性更强
应对复杂任务方面，天工2.0集成的多个专家模型都能够针对不同的数据分布和构建模式进行搭建，提升大模型在各个细分领域的专业能力，然后再进一步整合各个专家模型的输出结果，从而显著提升复杂任务、多模态任务方面的表现。
同时，得益于MoE架构稀疏化的特点，模型在每次回答问题时只需激活对应部分的网络，相较于同等参数规模的稠密模型，计算效率更高。
天工2.0呈现出的高稀疏性特点，使其能更快速响应用户。
在灵活性方面，稀疏化模型使得天工2.0能够在不增加计算量的前提下显著扩展模型规模，在同等计算资源下获得更强性能。并通过增加专家模型数量、调整专家模型的权重配比，天工2.0能够极大丰富模型的可扩展性。
而除了最新发布的千亿级天工2.0以外，在过去半年多时间里，天工还推出了百亿级开源大模型“天工Skywork-13B”、AI Agent开发平台“天工SkyAgents”、多模态大语言模型“天工Skywork-MM”等。
这些模型能力，如今在最新版天工AI智能助手上都有体现。主要包括：
多模态能力
超长上下文
准确理解关键词语义
多模态方面，天工AI智能助手新增了图文对话能力，能更好理解视觉素材，进行图文对话、图文创作等任务，并且提升了图像生成质量。
![]()
同时还能生成图文并茂的回答内容。
![]()
去年9月天工多模态大模型Sky-MMv1发布。
它由一个视觉编码器、一个可学习采样器模块和一个经LoRA调优后的大语言模型组成。通过自研Mental Notes技术，模拟人类认知过程，天工多模态大模型显著降低“幻觉”问题，增强中文指令追随能力、中文相关场景的识别能力，降低了文化偏见对于多模态理解造成的限制。
![]()
超长上下文方面，天工AI智能助手现在可支持100K上下文（超过15万汉字），通过扩展技术可支持200K超长文档理解。
在InfiniteBench评测中，天工系列大模型10项指标平均分47.5分，超过Claude2，接近GPT-4 128k的52.6分。
在针对超长上下文的“大海捞针”测试中，天工大模型的正确率可以达到100%。
这项测试通过在海量文档集中插入特定信息，然后对文档集进行提问，测试模型能否从中找到正确的关键信息，以此可以验证其长下文信息提取能力。
下图是天工大模型在“大海捞针”测试中的实验结果，横轴表示token长度，纵轴表示埋入信息在文档中的深度，天工大模型达到了100%正确率。
![]()
最后，天工AI智能助手还具备联网智能搜索能力，这部分同样调用了大模型作为底层基础技术。
据了解，天工AI搜索在设计之初就在数据集与索引环节引入了大模型技术，能对互联网上的海量内容进行识别和筛选，屏蔽虚假广告内容，初步清洗出较为纯净、高质量的搜索结果。
![]()
△结果首先参考了央视网的链接
并且利用大模型来对用户搜索指令做Query改写，深入挖掘用户真实意图。
在搜索引擎核心的召回（Match）和排序（Rank）技术上，大模型能够模仿人类的识别判断能力，判断搜索指令（Query）和被搜索文档（Doc）是否具有相关性，并将这些匹配好的相关性样本当做“教科书案例”让搜索引擎学习，提升搜索引擎性能的同时实现模型侧的端到端迭代。
比如很多时候用户搜索时都只给出零星的信息，需要大模型对关键字有更好的理解力。
![]()
通过引入检索增强技术（RAG），还能显著提高大模型的回答质量，并为答案提供可解释性，避免“胡言乱语”的倾向。
RAG的技术路径为：用户提问——在数据库中检索相关答案——系统将用户的提问及检索出的相关答案一起合成Prompt——将Prompt提交给大模型——大模型返回提问结果。
![]()
在如上一系列技术的加持下，天工AI智能助手也上线了一大波新功能。比如数据分析、热梗百科、图文对话等。
具体效果究竟如何？我们也来上手体验了一把~
AI都懂科目三是啥了
新版天工AI智能助手新增了五项能力：
热梗百科
数据分析
图文对话
伴侣小华
星座运势
它们之中很多都具备多模态能力。比如图文对话里，可以上传一张照片让AI作诗。
![]()
它不仅能把握照片中的重点，如河流、高楼、车辆等，还把雾霾美化成了仙境白雾。
![]()
新增的数据分析功能，同样具备多模态能力。
只需上传相应文档，给出指示，它就能快速绘制出对应图表。
![]()
回答一些网络热梗时，天工AI智能助手也能够图文并茂。
比如提问“科目三是啥？”
模型能够准确阐述这个梗的来龙去脉，最后还会附上视频链接。
![]()
值得一提的是，AI面对相似的问题，回答也都很有针对性。
比如都是刘德华《恭喜发财》衍生出来的网络用语，但是给出的回答很明确区分了它们的渊源。
![]()
除了以上新增能力，天工AI智能助手在AI画画方面，提升了对提示词的理解力、画面细节等。
![]()
这不，马上就要过年了，在家无聊的话，天工AI智能助手里还有个“赚大钱”的机会！
从2月8日开始，天工AI智能助手还将开启“巧绘龙年”AI绘画大赛。
只要使用APP内“AI绘画”功能绘制图画作品并投稿至活动专区，即可有机会获得最高10万元人民币的现金大奖。
![]()
如何参赛？
在应用市场内搜索“天工”、点击下载即可~
AGI让每个人能更好表达自我
毫无疑问，昆仑万维是国产大模型的一匹黑马。
早在去年4月，昆仑万维就发布了双千亿级大语言模型“天工”的1.0版本（黑马入局！昆仑万维版ChatGPT「天工」通过自家程序员面试，首发就敢现场演示）。去年8月，昆仑万维更是推出了国内第一款搭载大模型能力的AI搜索（国内第一款AI搜索来了！首发实测：0广告支持多轮追问，搜索结果自动总结成文）。
而在更早的2020年，昆仑万维便已入局大模型赛道，累计已投入数亿元人民币研发。2022年，昆仑万维在发布AIGC全系列算法模型的同时，就开源了百亿级参数模型，积累了广泛的开发者好评与社区共创。
除了“天工1.0”双千亿级大模型、“天工2.0”MoE大模型外，昆仑万维还围绕“天工”系列推出了百亿级开源大语言模型系列“天工Skywork-13B”、AI Agent开发平台“天工SkyAgents”、多模态大语言模型“天工Skywork-MM”等前沿AI产品，并已逐步构建起AI大模型、AI搜索、AI音乐、AI Story、AI游戏等AI业务矩阵，是国内模型技术与工程能力最强、布局最全面的人工智能大模型企业之一。
无论是“天工2.0”与新版“天工AI智能助手”作为国内首个搭载MoE架构并面向全体C端用户免费开放的AI应用的推出，还是以上种种前沿大模型AI产品的开放，其背后都是昆仑万维“天工”团队在大模型领域的深耕与积累。
前沿技术研发从来不能一蹴而就，国产大模型的创新也始终道阻且长。
在问到“为什么要把大模型能力向所有C端用户免费开放？”时，昆仑万维回答道：
一直以来，昆仑万维始终秉承着‘实现通用人工智能，让每个人更好地塑造和表达自我’的公司使命。我们希望不断降低大模型技术的应用与学习门槛，与广大用户携手探索未知世界、共创科技未来。
如今，大模型应用落地趋势已开启。在可预见的方向中，以大模型为底座、面向所有人开放使用的超级APP是最被大家期待的成果之一。因为它能在短时间内尽可能让更多人拥抱大模型趋势，让AI真的服务于自己。
整个趋势也在向着这个方向演进。技术层面，多模态、MoE都是当下主流，它们从底层加强模型的性能，让AI能够在更大程度上理解世界。应用层面，各种爆火AI玩法层出不穷，也是为了能让更多人感受到生成式AI的魅力，并从中探索挖掘人类和大模型更好的交互方式。
天工AI智能助手的升级，正是大模型玩家如何引领趋势的直接体现。技术升级+玩法丰富，同时还面向所有人免费开放，把门槛打到最低……在春节前一炮打响今年的AI应用趋势。
而更值得关注的是，当每个人都能参与到大模型趋势之中，每个人也就有机会塑造趋势。
打开APP体验一把，说不定你喜欢的AI玩法就是下一个现象级爆款呢？
— 完 —
点这里👇关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
![]()
MoE（混合专家）模型最近有多火，不用过多介绍了吧？
作为当下最顶尖、最前沿的大模型技术方向，MoE能在不增加推理成本的前提下，为大模型带来性能激增。比如，在MoE的加持之下，GPT-4带来的用户体验较之GPT-3.5有着革命性的飞升。
但普通用户想要体验MoE的神奇魅力，必须每个月交20美元申请账号。
那么……有没有免费的MoE让我用用呢？
有！
超级无门槛、人人免费玩的MoE大模型来了！
昆仑万维刚刚发布最新发布的天工2.0大模型，在千亿参数规模基础上采用和GPT-4同款的MoE混合专家结构，具备强大多模态能力，支持最高100K超长上下文窗口（超过15万个汉字），应对复杂任务的能力更强，模型响应速度更快。
搭载天工2.0大模型的新版天工AI智能助手APP，现在就能在手机应用商店免费下载使用。
由此，天工AI智能助手也成为国内首个搭载MoE架构并面向全体C端用户免费开放的AI应用。
先来看看效果：
上传Excel，即可一键分析数据，并制作图表。
女朋友生气了不好哄，它也能帮你想到话术，还会提醒注意事项。
而且还会分析面相？AI奇怪の技能点增加了……
采用GPT-4同款架构
天工AI智能助手的升级，关键来自最新升级的天工2.0大模型。
它采用MoE（专家混合模型）架构，是GPT-4的同款，也被认为是GPT-4能力飞升的关键。
MoE是一个并行的前馈神经网络，主要由门控模型/路由器（Gating Model/Router）和一组专家模型（Experts Models）构成，当数据输入门控模型/路由器时，系统会根据任务类型将每个token分配给一个或多个专家模型，让每个专家模型可以专注于处理该部分数据，从而提升模型整体性能。
△MoE架构示例（LIMoE）
业界猜测GPT-4可能包含1.76万亿个参数，包含16个专家模型，每个模型大约有1110亿个参数。其中可能有Python专家、高级图像解析专家、事实核查专家、安全和道德专家、情绪分析专家等。
这种精确的专家模型选择和分工机制，让大模型理解能力、灵活性、准确性、安全性都大幅提升，由此也成为最近一段时间以来几乎最热门的大模型趋势，国内外大模型玩家都在纷纷跟进。
最新升级的天工大模型2.0也是采用了MoE架构。带来的主要提升有三方面：
应对复杂任务能力更强
速度更快、效率更高
灵活多样，可扩展性更强
应对复杂任务方面，天工2.0集成的多个专家模型都能够针对不同的数据分布和构建模式进行搭建，提升大模型在各个细分领域的专业能力，然后再进一步整合各个专家模型的输出结果，从而显著提升复杂任务、多模态任务方面的表现。
同时，得益于MoE架构稀疏化的特点，模型在每次回答问题时只需激活对应部分的网络，相较于同等参数规模的稠密模型，计算效率更高。
天工2.0呈现出的高稀疏性特点，使其能更快速响应用户。
在灵活性方面，稀疏化模型使得天工2.0能够在不增加计算量的前提下显著扩展模型规模，在同等计算资源下获得更强性能。并通过增加专家模型数量、调整专家模型的权重配比，天工2.0能够极大丰富模型的可扩展性。
而除了最新发布的千亿级天工2.0以外，在过去半年多时间里，天工还推出了百亿级开源大模型“天工Skywork-13B”、AI Agent开发平台“天工SkyAgents”、多模态大语言模型“天工Skywork-MM”等。
这些模型能力，如今在最新版天工AI智能助手上都有体现。主要包括：
多模态能力
超长上下文
准确理解关键词语义
多模态方面，天工AI智能助手新增了图文对话能力，能更好理解视觉素材，进行图文对话、图文创作等任务，并且提升了图像生成质量。
同时还能生成图文并茂的回答内容。
去年9月天工多模态大模型Sky-MMv1发布。
它由一个视觉编码器、一个可学习采样器模块和一个经LoRA调优后的大语言模型组成。通过自研Mental Notes技术，模拟人类认知过程，天工多模态大模型显著降低“幻觉”问题，增强中文指令追随能力、中文相关场景的识别能力，降低了文化偏见对于多模态理解造成的限制。
超长上下文方面，天工AI智能助手现在可支持100K上下文（超过15万汉字），通过扩展技术可支持200K超长文档理解。
在InfiniteBench评测中，天工系列大模型10项指标平均分47.5分，超过Claude2，接近GPT-4 128k的52.6分。
在针对超长上下文的“大海捞针”测试中，天工大模型的正确率可以达到100%。
这项测试通过在海量文档集中插入特定信息，然后对文档集进行提问，测试模型能否从中找到正确的关键信息，以此可以验证其长下文信息提取能力。
下图是天工大模型在“大海捞针”测试中的实验结果，横轴表示token长度，纵轴表示埋入信息在文档中的深度，天工大模型达到了100%正确率。
最后，天工AI智能助手还具备联网智能搜索能力，这部分同样调用了大模型作为底层基础技术。
据了解，天工AI搜索在设计之初就在数据集与索引环节引入了大模型技术，能对互联网上的海量内容进行识别和筛选，屏蔽虚假广告内容，初步清洗出较为纯净、高质量的搜索结果。
△结果首先参考了央视网的链接
并且利用大模型来对用户搜索指令做Query改写，深入挖掘用户真实意图。
在搜索引擎核心的召回（Match）和排序（Rank）技术上，大模型能够模仿人类的识别判断能力，判断搜索指令（Query）和被搜索文档（Doc）是否具有相关性，并将这些匹配好的相关性样本当做“教科书案例”让搜索引擎学习，提升搜索引擎性能的同时实现模型侧的端到端迭代。
比如很多时候用户搜索时都只给出零星的信息，需要大模型对关键字有更好的理解力。
通过引入检索增强技术（RAG），还能显著提高大模型的回答质量，并为答案提供可解释性，避免“胡言乱语”的倾向。
RAG的技术路径为：用户提问——在数据库中检索相关答案——系统将用户的提问及检索出的相关答案一起合成Prompt——将Prompt提交给大模型——大模型返回提问结果。
在如上一系列技术的加持下，天工AI智能助手也上线了一大波新功能。比如数据分析、热梗百科、图文对话等。
具体效果究竟如何？我们也来上手体验了一把~
AI都懂科目三是啥了
新版天工AI智能助手新增了五项能力：
热梗百科
数据分析
图文对话
伴侣小华
星座运势
它们之中很多都具备多模态能力。比如图文对话里，可以上传一张照片让AI作诗。
它不仅能把握照片中的重点，如河流、高楼、车辆等，还把雾霾美化成了仙境白雾。
新增的数据分析功能，同样具备多模态能力。
只需上传相应文档，给出指示，它就能快速绘制出对应图表。
回答一些网络热梗时，天工AI智能助手也能够图文并茂。
比如提问“科目三是啥？”
模型能够准确阐述这个梗的来龙去脉，最后还会附上视频链接。
值得一提的是，AI面对相似的问题，回答也都很有针对性。
比如都是刘德华《恭喜发财》衍生出来的网络用语，但是给出的回答很明确区分了它们的渊源。
除了以上新增能力，天工AI智能助手在AI画画方面，提升了对提示词的理解力、画面细节等。
这不，马上就要过年了，在家无聊的话，天工AI智能助手里还有个“赚大钱”的机会！
从2月8日开始，天工AI智能助手还将开启“巧绘龙年”AI绘画大赛。
只要使用APP内“AI绘画”功能绘制图画作品并投稿至活动专区，即可有机会获得最高10万元人民币的现金大奖。
如何参赛？
在应用市场内搜索“天工”、点击下载即可~
AGI让每个人能更好表达自我
毫无疑问，昆仑万维是国产大模型的一匹黑马。
早在去年4月，昆仑万维就发布了双千亿级大语言模型“天工”的1.0版本（黑马入局！昆仑万维版ChatGPT「天工」通过自家程序员面试，首发就敢现场演示）。去年8月，昆仑万维更是推出了国内第一款搭载大模型能力的AI搜索（国内第一款AI搜索来了！首发实测：0广告支持多轮追问，搜索结果自动总结成文）。
而在更早的2020年，昆仑万维便已入局大模型赛道，累计已投入数亿元人民币研发。2022年，昆仑万维在发布AIGC全系列算法模型的同时，就开源了百亿级参数模型，积累了广泛的开发者好评与社区共创。
除了“天工1.0”双千亿级大模型、“天工2.0”MoE大模型外，昆仑万维还围绕“天工”系列推出了百亿级开源大语言模型系列“天工Skywork-13B”、AI Agent开发平台“天工SkyAgents”、多模态大语言模型“天工Skywork-MM”等前沿AI产品，并已逐步构建起AI大模型、AI搜索、AI音乐、AI Story、AI游戏等AI业务矩阵，是国内模型技术与工程能力最强、布局最全面的人工智能大模型企业之一。
无论是“天工2.0”与新版“天工AI智能助手”作为国内首个搭载MoE架构并面向全体C端用户免费开放的AI应用的推出，还是以上种种前沿大模型AI产品的开放，其背后都是昆仑万维“天工”团队在大模型领域的深耕与积累。
前沿技术研发从来不能一蹴而就，国产大模型的创新也始终道阻且长。
在问到“为什么要把大模型能力向所有C端用户免费开放？”时，昆仑万维回答道：
一直以来，昆仑万维始终秉承着‘实现通用人工智能，让每个人更好地塑造和表达自我’的公司使命。我们希望不断降低大模型技术的应用与学习门槛，与广大用户携手探索未知世界、共创科技未来。
如今，大模型应用落地趋势已开启。在可预见的方向中，以大模型为底座、面向所有人开放使用的超级APP是最被大家期待的成果之一。因为它能在短时间内尽可能让更多人拥抱大模型趋势，让AI真的服务于自己。
整个趋势也在向着这个方向演进。技术层面，多模态、MoE都是当下主流，它们从底层加强模型的性能，让AI能够在更大程度上理解世界。应用层面，各种爆火AI玩法层出不穷，也是为了能让更多人感受到生成式AI的魅力，并从中探索挖掘人类和大模型更好的交互方式。
天工AI智能助手的升级，正是大模型玩家如何引领趋势的直接体现。技术升级+玩法丰富，同时还面向所有人免费开放，把门槛打到最低……在春节前一炮打响今年的AI应用趋势。
而更值得关注的是，当每个人都能参与到大模型趋势之中，每个人也就有机会塑造趋势。
打开APP体验一把，说不定你喜欢的AI玩法就是下一个现象级爆款呢？
— 完 —
点这里👇关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~