【AI前沿】速度秒杀GPT-4o!Mistral开源首个22B代码模型破记录,支持80+编程语言




【导读】就在刚刚,法国AI初创公司Mistral发布了自家首款代码生成模型Codestral。不仅支持32K长上下文窗口以及80多种编程语言,而且还用22B的参数量取得了与70B的Llama 3相近的性能。目前,已经开放API与IDE插件供用户使用。
真正Open的AI公司Mistral又低调上新了。
这次,他们发布了首款代码生成模型Codestral,支持80多种编程语言以及32K长上下文窗口。
不仅在基准测试上取得了惊艳的表现,而且代码生成的速度也让试用的网友非常满意。

目前,Codestral提供了多种API,而且模型权重也公开在HuggingFace上。

项目地址:https://huggingface.co/mistralai/Codestral-22B-v0.1/tree/main
代码生成新SOTA
Codestral的训练数据包含80多种编程语言,包括最流行的Python、Java、C、C++和Bash,以及HTML、JavaScript等前端语言,在Swift和Fortran上也有良好表现。
模型可以完成的任务包括编写特定功能的函数、编写测试,以及代码填充。
此外,由于Codestral同时精通英语,也可以与开发人员进行交互,有助于提高工程师的编码水平并减少错误和漏洞。
可以通过Le Chat对话界面免费使用模型的交互功能。

在线地址:https://chat.mistral.ai/chat
作为一个参数量只有22B的模型,Codestral实现了32K的长上下文窗口,是Llama 3 70B的四倍。
Codestral使用了Llama架构,但在7种语言的HumanEval均分超过了CodeLlama,可以和Llama 3打个平手。

RepoBench是一个用于评估存储库级代码补全任务的新基准,考验模型的跨文件检索和理解长上下文能力。在RepoBench上,Codestral使用Python语言达到了SOTA成绩。

此外,在其他语言的评估中,包括C++、bash、Java、PHP、Typescript和C#,Codestral也取得了不错的成绩。

FIM基准可以评估模型在中间填充任务上的性能,但CodeLlama和Llama不直接支持这个功能。
在FIM任务中,Codestral用更少的参数量,在Pyhon、JavaScript和Java三种语言上的分数全面超过DeepSeek Coder 33B。

目前,Mistral开放了两个API供开发者调用Codestral,分别是codestral.mistral.ai和api.mistral.ai,前者有8周的免费测试期,后者按token收费。
此外,还可以通过Continue.dev或者Tabnine插件在VSCode或JetBrains的IDE中使用Codestral的功能。
开发者们已经用上了
基准测试毕竟只是参考,代码工具好不好用,只有试过才知道。
有网友感叹「80种语言太疯狂了」「终于有人想起来Swift了」。

而且实测中可以看到,Codestral的代码生成速度非常快,而且响应延迟也很短。

有人给了GPT-4o和Codestral相同的任务,让它们用Go语言实现基本的发布/订阅系统。
虽然两个模型的响应延迟都很短,但Codestral写完的时候,GPT-4o刚写到一半,生成速度高下立现。
有开发者分析,虽然Codestral不是最大、最好的代码模型,但自己还是会从Claude Opus爬墙,改用Codestral。
因为模型确实包含了更多前沿知识,可以帮助编写最新的AI代码,但ChatGPT和Opus都做不到。

但也有Python工程师吐槽:「没有一个LLM明白,在Python 3.9之后的版本中,就不再需要使用from typing import List了。」
「GPT-4、GPT-4o、Claude Opus、Gemini和Codestral都无法理解这一点。即使明确说明,它们仍然无法理解。」

看来人类程序员剩下的为数不多的优势还有「知错就改」。
参考资料:
https://mistral.ai/news/codestral/
人工智能产业链联盟高端社区

相关阅读
【碳中和】珍藏版!22个国内外“碳中和”相关报告合集!
【工业机器人】全球工业机器人详细产业链梳理!
【工业机器人】日本工业机器人大盘点
【工业机器人】详解工业机器人控制系统架构
【机器人】一文解析机器人发展趋势,从自动化演进到自主化
【机器人】全球首个活体机器人诞生:100%青蛙基因,撕成两半能自我愈合,还能注入体内摧毁癌细胞
【智能工厂】智能工厂如何快速落地
【工业技术】航空制造推动新概念机器人发展(上)
【工业技术】航空制造推动新概念机器人发展(下)
一文读懂人脸识别技术
【神经网络】给初学者们讲解人工神经网络(ANN)
人工智能的基础--知识分类
人工智能产业链深度透析—基础层
人工智能产业链深度透析-技术层
人工智能全产业链深度透析--(综合)
人工智能产业链深度透析—产业应用医疗篇
朱松纯 | 人工智能的现状、任务、构架与统一(上)
朱松纯 | 人工智能的现状、任务、构架与统一(中)
朱松纯 | 人工智能的现状、任务、构架与统一(下)
【智慧农业】2018中国农牧家禽行业智慧养殖白皮书
【智慧农业】2019年智慧农业市场调研及前景研究报告(附PDF下载)
【智能家居】我国智能锁产业现状及未来发展趋势分析
【知识图谱】详解知识图谱关键技术与应用、AI图谱技术在知乎的应用实践、如何构建多快好省的“知识图谱即服务”
【智造】重磅!《中国智能制造排行榜TOP100》榜单发布 揭露智能制造发展趋势
荐:
【中国风动漫】《姜子牙》刷屏背后,藏着中国动画100年内幕
【中国风动漫】除了《哪吒》,这些良心国产动画也应该被更多人知道!【中国风动漫】《雾山五行》大火,却很少人知道它的前身《岁城璃心》一个拿着十米大刀的男主夭折!

声明
内容来源:网络等,免责声明:部分文章和信息来源于互联网,不代表本订阅号赞同其观点和对其真实性负责。如转载内容涉及版权等问题,请立即与小编联系(微信号:913572853),我们将迅速采取适当的措施。本订阅号原创内容,转载需授权,并注明作者和出处。如需投稿请与小助理联系(微信号:AI480908961)
编辑:Zero




到顶部