衡宇 发自 凹非寺量子位 | 公众号 QbitAI
可信大模型。
这是复旦大学浩清特聘教授、上海科学智能研究院院长漆远认定的通往AGI之路。
请注意,这与此前安全隐私方面的可信AI概念有所不同。
从蚂蚁集团副总裁任上离职后,漆远先是重返学界,在复旦担任教职,而后又产学研并行地创立了大模型公司无限光年。
市场消息,无限光年已完成多轮融资,投资人包括阿里云、启明创投等头部投资机构。
而上述“可信大模型”,就是无限光年的剑之所指。
如果大模型生成的内容不可控、难以解释,就很难满足专业领域对准确性、可靠性、严谨性的要求。
针对该挑战,漆远团队力图在Transformer的基础上结合知识图谱、神经符号计算等,让大模型变得更为“可信”。
但漆远同时解释道,这并非既有“可信AI”与爆火“大模型”两个概念/技术的简单相加。
什么是可信大模型?
到底什么是可信大模型,先一言以蔽之:
把大语言模型与符号推理结合,从而有效解决幻觉问题、大幅度增强模型可信度。
漆远表示,现在的大模型有三大挑战:
Scaling Law再往后,大模型(商业化)何去何从?
大家都研发底层大模型,成本与日俱增,变成烧钱的游戏。
训练大模型过程中,可能产生性能方面的“遗忘性灾难”。
漆远和无限光年团队,着力尽可能解决第三大挑战,即大模型的幻觉和遗忘等问题。
给出的解决办法,是把深度学习背后的连接主义,和符号主义结合起来。
“把时钟倒拨十几年,连接主义是非常不受待见的。科学技术进展就像时装一样,来回换。”漆远解释道,“我们现在做的事,不是符号主义会overwrite,而是两者的结合。”
漆远给出了自己的理由——
一方面,Transformer能解决概率问题,但由于其机制是预测下一个token,无法解决逻辑问题。
另一方面,传统神经符号方法虽然面对复杂推理会遇到性能瓶颈,但能够很好地解决一些小规模的命题逻辑推理问题。
既然如此,不妨将两者结合,变成“神经网络+逻辑推理”。
这样一来,既能有效解决大规模、复杂规则的逻辑推理问题,也能处理输入的不确定性,解决规则冲突问题。
好了,一切明了,其实漆远所提的可信大模型,背后是结合符号学派的推理能力与连接学派的学习能力的神经符号大模型 (Neuro-symbolic foundation model)。
从架构上来说,它不仅能预测下一个token,更能进行逻辑推理的慢思考。
(慢思考一词来自于诺贝尔经济学奖得主Daniel Kahneman的畅销作《快思考慢思考》)
从而增强生成式AI在应用中的可信生成能力,减少错误,提高可靠性。
于是就引出可信大模型的两个好处,一是更精准可靠,同时提高可解释性;二是降低计算相关的成本。
漆远对无限光年的“灰盒大模型”路线进行了补充:
我不能说可信大模型一定是通往AGI唯一的路,但是我认为这一定是一条非常重要、非常关键的路。我认为在两年之内,这条路一定会变得特别重要。很多人都会讲这个词。
以可信大模型为基础,无限光年决心在两个行业率先落地。
医疗和金融。
在金融领域,无限光年与头部证券合作推出AI投研助手。
在医疗领域,无限光年与国内头部三甲医院合作,共同基于可信技术创新打造医疗行业大模型,在体检报告解读方面有效协助医生提升了报告效率和准确度。
而且据透露,以上两个垂直领域内,无限光年打造的都是“精专大模型”,参数规模在百亿以上、千亿以下。
漆远是谁?
最后,我们来展开认识一下漆远本人。
漆远,本科毕业于华中科技大学自动控制专业,在中科院取得模式识别硕士学位后,于MIT媒体实验室进行机器学习工作,并取得博士学位,还从事了博士后研究工作。
他最早从1995年开始接触AI,MIT毕业论文也与机器学习中的贝叶斯推理和概率图模型有关。
按照他早期“自动控制、模式识别还是机器学习都是AI分支”的理念,漆远的本硕博研究都与AI相关。
MIT工作期间,谷歌和Facebook都曾对他伸出过橄榄枝,但漆远最终还是选择留在学术界,后来离开MIT来到普渡大学,担任计算机科学系和统计系的助理教授,并于2013年拿到副教授这一终身教职。
就在1年后,漆远归国加入阿里。
进入阿里,漆远与涂子沛、金榕等人联合创立了达摩院前身——iDST,漆远负责带领中国的研究团队。
并且领导构建了阿里巴巴集团的第一个大规模分布式机器学习平台PAI、主导建立了阿里第一个专业的基于深度学习的语音识别团队。
后来,他又担任蚂蚁金服副总裁、首席数据科学家,达摩院金融智能负责人,蚂蚁AI首席科学家等职位。
2021年,漆远重返学界,加入复旦大学。
现在,漆远是复旦大学浩清特聘教授、博士生导师及人工智能创新与产业研究院院长,同时也是无限光年的创始人。
根据官方对外消息,无限光年团队既有来自阿里巴巴、蚂蚁集团、字节跳动、微软的国际顶尖AI人才,也有来自摩根大通等金融机构、协和医院等医疗机构的资深行业专家。
One More Thing
这两天,漆远带着可信大模型的概念,亮相WAIC,围绕这个概念进行更多探讨。
这一次,他如同往昔一般,依旧信心满满:
2014年,我加入阿里,力排众议推动了两亿参数大模型的训练,参数实现了上百倍的增长;后来我在蚂蚁做可信AI,当时国内搞这个的寥寥无几。
之前两次我都是在非共识的时候做了正确的事,我相信可信大模型也是这样。
— 联系作者 —
— 完 —
量子位年度AI主题策划正在征集中!
欢迎投稿专题 一千零一个AI应用,365行AI落地方案
或与我们分享你在寻找的AI产品,或发现的AI新动向
点这里👇关注我,记得标星哦~
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
可信大模型。
这是复旦大学浩清特聘教授、上海科学智能研究院院长漆远认定的通往AGI之路。
请注意,这与此前安全隐私方面的可信AI概念有所不同。
从蚂蚁集团副总裁任上离职后,漆远先是重返学界,在复旦担任教职,而后又产学研并行地创立了大模型公司无限光年。
市场消息,无限光年已完成多轮融资,投资人包括阿里云、启明创投等头部投资机构。
而上述“可信大模型”,就是无限光年的剑之所指。
如果大模型生成的内容不可控、难以解释,就很难满足专业领域对准确性、可靠性、严谨性的要求。
针对该挑战,漆远团队力图在Transformer的基础上结合知识图谱、神经符号计算等,让大模型变得更为“可信”。
但漆远同时解释道,这并非既有“可信AI”与爆火“大模型”两个概念/技术的简单相加。
什么是可信大模型?
到底什么是可信大模型,先一言以蔽之:
把大语言模型与符号推理结合,从而有效解决幻觉问题、大幅度增强模型可信度。
漆远表示,现在的大模型有三大挑战:
Scaling Law再往后,大模型(商业化)何去何从?
大家都研发底层大模型,成本与日俱增,变成烧钱的游戏。
训练大模型过程中,可能产生性能方面的“遗忘性灾难”。
漆远和无限光年团队,着力尽可能解决第三大挑战,即大模型的幻觉和遗忘等问题。
给出的解决办法,是把深度学习背后的连接主义,和符号主义结合起来。
“把时钟倒拨十几年,连接主义是非常不受待见的。科学技术进展就像时装一样,来回换。”漆远解释道,“我们现在做的事,不是符号主义会overwrite,而是两者的结合。”
漆远给出了自己的理由——
一方面,Transformer能解决概率问题,但由于其机制是预测下一个token,无法解决逻辑问题。
另一方面,传统神经符号方法虽然面对复杂推理会遇到性能瓶颈,但能够很好地解决一些小规模的命题逻辑推理问题。
既然如此,不妨将两者结合,变成“神经网络+逻辑推理”。
这样一来,既能有效解决大规模、复杂规则的逻辑推理问题,也能处理输入的不确定性,解决规则冲突问题。
好了,一切明了,其实漆远所提的可信大模型,背后是结合符号学派的推理能力与连接学派的学习能力的神经符号大模型 (Neuro-symbolic foundation model)。
从架构上来说,它不仅能预测下一个token,更能进行逻辑推理的慢思考。
(慢思考一词来自于诺贝尔经济学奖得主Daniel Kahneman的畅销作《快思考慢思考》)
从而增强生成式AI在应用中的可信生成能力,减少错误,提高可靠性。
于是就引出可信大模型的两个好处,一是更精准可靠,同时提高可解释性;二是降低计算相关的成本。
漆远对无限光年的“灰盒大模型”路线进行了补充:
我不能说可信大模型一定是通往AGI唯一的路,但是我认为这一定是一条非常重要、非常关键的路。我认为在两年之内,这条路一定会变得特别重要。很多人都会讲这个词。
以可信大模型为基础,无限光年决心在两个行业率先落地。
医疗和金融。
在金融领域,无限光年与头部证券合作推出AI投研助手。
在医疗领域,无限光年与国内头部三甲医院合作,共同基于可信技术创新打造医疗行业大模型,在体检报告解读方面有效协助医生提升了报告效率和准确度。
而且据透露,以上两个垂直领域内,无限光年打造的都是“精专大模型”,参数规模在百亿以上、千亿以下。
漆远是谁?
最后,我们来展开认识一下漆远本人。
漆远,本科毕业于华中科技大学自动控制专业,在中科院取得模式识别硕士学位后,于MIT媒体实验室进行机器学习工作,并取得博士学位,还从事了博士后研究工作。
他最早从1995年开始接触AI,MIT毕业论文也与机器学习中的贝叶斯推理和概率图模型有关。
按照他早期“自动控制、模式识别还是机器学习都是AI分支”的理念,漆远的本硕博研究都与AI相关。
MIT工作期间,谷歌和Facebook都曾对他伸出过橄榄枝,但漆远最终还是选择留在学术界,后来离开MIT来到普渡大学,担任计算机科学系和统计系的助理教授,并于2013年拿到副教授这一终身教职。
就在1年后,漆远归国加入阿里。
进入阿里,漆远与涂子沛、金榕等人联合创立了达摩院前身——iDST,漆远负责带领中国的研究团队。
并且领导构建了阿里巴巴集团的第一个大规模分布式机器学习平台PAI、主导建立了阿里第一个专业的基于深度学习的语音识别团队。
后来,他又担任蚂蚁金服副总裁、首席数据科学家,达摩院金融智能负责人,蚂蚁AI首席科学家等职位。
2021年,漆远重返学界,加入复旦大学。
现在,漆远是复旦大学浩清特聘教授、博士生导师及人工智能创新与产业研究院院长,同时也是无限光年的创始人。
根据官方对外消息,无限光年团队既有来自阿里巴巴、蚂蚁集团、字节跳动、微软的国际顶尖AI人才,也有来自摩根大通等金融机构、协和医院等医疗机构的资深行业专家。
One More Thing
这两天,漆远带着可信大模型的概念,亮相WAIC,围绕这个概念进行更多探讨。
这一次,他如同往昔一般,依旧信心满满:
2014年,我加入阿里,力排众议推动了两亿参数大模型的训练,参数实现了上百倍的增长;后来我在蚂蚁做可信AI,当时国内搞这个的寥寥无几。
之前两次我都是在非共识的时候做了正确的事,我相信可信大模型也是这样。
— 联系作者 —
— 完 —
量子位年度AI主题策划正在征集中!
欢迎投稿专题 一千零一个AI应用,365行AI落地方案
或与我们分享你在寻找的AI产品,或发现的AI新动向
点这里👇关注我,记得标星哦~
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~