克雷西 发自 凹非寺

量子位 | 公众号 QbitAI

大模型开源代码王座，再一次易主！

Mistral素有“欧洲OPEnAI”之称，以22B参数表现超过70B的Code。 Llama。

该模型名为Codestral，将代码的英文Code与公司名称相结合。

经过80多种编程语言的训练，Codestral用更少的参数实现了更高的性能，窗口长度也达到了32k，与之前的4k相比。、8k模型大幅增加。

而已有人表示，GPT-Codestral成功解决了4o和Claude3-Opus都失败的代码编辑任务。

因此有网友直言，Codestral的推出，直接改写了多语言代码模型的游戏规则。

另外，也有网友直接@知名本地大模型框架Ollama，希望能支持Codestral，结果Ollama这边也迅速响应，在请求发出后一小时内增加了对Codestral的支持。

那Codestral在测试中取得了什么成绩呢？

新王者开源编程模型

支持32k上下文窗口的Codestral参数为22B。

研究人员在开发过程中使用了80多种编程语言的代码数据来训练Codestral。

包括Python、Java、C 还有像Bash这样的流行语言，比如Fortrann。、古代语言，如COBOL。

值得一提的是，COBOL诞生于1959年，但世界上仍有43%的银行系统依赖它。但另一方面，现在会用的人很少，一般都比较老。

AI工具对COBOL的支持，也许会成为解决COBOL人才极度短缺的一种方式。

回到Codestral，尽管参数不到三分之一，但是评估结果已经大大超过了70B的Code。 Llama。

在Python语言方面，R&D团队使用了HumanEval（pass@1）并且MBPP评估了Codestral的Python代码生成能力，用CruxEval来评估输出预测，用RepoBench来评估Codestral在远程存储库中的代码补充能力。

因此，Codestral在三次测试中都取得了最佳成绩，并且对Llamamal进行了测试。 3和Code 全面超越了Llama。

在SQLSpider测试中，Codestral在数据库方面的表现也与通用模型Llama3非常接近。

对其它编程语言来说，Codestral和通用版Llama3各有胜负，平均分略高于Llama3，但是与Code相比 Llama的优势非常明显。

此外，Codestral还支持FIM（fill-in-the-middle），也就是说，现有的代码可以完全填充。

Python、在JS和Java三种语言中，Codestral的HumanEvalFIM得分接近或超过90%，平均得分为91.6%，超过了参数较大的DeepSeek。 Coder 33B。

在速度方面，使用在线对话版本，只需三秒钟就可以构建一个HTML框架，上面有banner和侧边栏。

Codestral支持的使用方法不仅性能优异，而且形式多样。

Mistral已将模型权重上传至HuggingFace，有条件的可自行下载部署。

以及LangChaing、LlamaIndex，开头提到的Ollama等大型模型框架，以及Mistral自己的开发者平台Lama 已支持使用Codestral的Plateforme。

专用API也在路上，正在进行为期8周的测试，期间开发者可免费使用。

假如仍然不能部署，也可以到Mistral的在线对话平台Le 在Chat中，直接使用网页进行对话。

自然，开发者更关心的是，它仍然可以集成到IDE中。

对于这一点，官方尚未推出原生IDE支持，但已有Continuee。.dev、第三方插件，如Tabnine，支持Codestral，可用于VSCode和JetBrains系列IDE。

One More Thing

Mistral和Codestral一起正式宣布，全新的“非生产”（Non-PRoduction）MNPL是一个许可协议。

CodeStral这次发布的许可协议也是MNPL，根据规定只能用于研究目的，不能用于商业用途。

而且，本协议对“非商业用途”的定义也非常严格，即使仅用于公司内部事务，也不允许。

一些开源作者抱怨说，当他们使用我的代码时，他们从来没有征求过我的意见。为什么要求我反过来遵守他们的规定？太荒谬了。

而且Mistral这边的解释是，如果放开商业用途，用户可能无法为模型研发做出贡献。

同时，官方还表示，虽然Codestral无法商业化，但这并不意味着其他开源模型也将在未来发布。同时，它明确表示，基于Apache，后续将继续发布。 其它模型的2.0协议。

参考链接：
[1]https://mistral.ai/news/codestral/
[2]https://x.com/GuillaumeLample/status/1795820710750744839
[3]https://www.theverge.com/2024/5/29/24166334/mistral-debuts-a-coding-assistant-called-codestral

— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间了解前沿科技动态