Codestral 25.01
访问 Codestral 25.01 API
在过去一年中，所有人工智能创新中，代码生成可以说是最重要的。就像流水线简化了制造业，计算器改变了数学一样，编码模型代表了软件开发领域的重大飞跃。
Mistral AI 一直处于这一变革的前沿，推出了 Codestral，这款最先进 (SOTA) 的编码模型于今年早些时候发布。Codestral 轻量、快速，精通 80 多种编程语言，针对低延迟、高频率的使用场景进行了优化，并支持填补中间代码 (FIM)、代码纠错和测试生成等任务。数以千计的开发者已将 Codestral 用作高效的代码伴侣，生产力常规提升数倍。今天，Codestral 迎来了重大升级。
Codestral 25.01 采用了比初代更高效的架构和改进的 tokenizer，代码生成和补全速度提高了约 2 倍。该模型目前在其重量级中处于领先地位，并在全面的 FIM 使用场景中达到 SOTA 水平。
基准测试
我们已将新的 Codestral 与领先的 sub-100B 参数编码模型进行了基准测试，这些模型被广泛认为是 FIM 任务中的最佳模型。
概述
| Python | SQL | 多种语言的平均得分 | ||||||||
| 模型 | 上下文长度 | HumanEval | MBPP | CruxEval | LiveCodeBench | RepoBench | Spider | CanItEdit | HumanEval (平均) | HumanEvalFIM (平均) |
| Codestral-2501 | 256k | 86.6% | 80.2% | 55.5% | 37.9% | 38.0% | 66.5% | 50.5% | 71.4% | 85.9% |
| Codestral-2405 22B | 32k | 81.1% | 78.2% | 51.3% | 31.5% | 34.0% | 63.5% | 50.5% | 65.6% | 82.1% |
| Codellama 70B instruct | 4k | 67.1% | 70.8% | 47.3% | 20.0% | 11.4% | 37.0% | 29.5% | 55.3% | - |
| DeepSeek Coder 33B instruct | 16k | 77.4% | 80.2% | 49.5% | 27.0% | 28.4% | 60.0% | 47.6% | 65.1% | 85.3% |
| DeepSeek Coder V2 lite | 128k | 83.5% | 83.2% | 49.7% | 28.1% | 20.0% | 72.0% | 41.0% | 65.9% | 84.1% |
按语言
| 模型 | HumanEval Python | HumanEval C++ | HumanEval Java | HumanEval Javascript | HumanEval Bash | HumanEval Typescript | HumanEval C# | HumanEval (平均) |
|---|---|---|---|---|---|---|---|---|
| Codestral-2501 | 86.6% | 78.9% | 72.8% | 82.6% | 43.0% | 82.4% | 53.2% | 71.4% |
| Codestral-2405 22B | 81.1% | 68.9% | 78.5% | 71.4% | 40.5% | 74.8% | 43.7% | 65.6% |
| Codellama 70B instruct | 67.1% | 56.5% | 60.8% | 62.7% | 32.3% | 61.0% | 46.8% | 55.3% |
| DeepSeek Coder 33B instruct | 77.4% | 65.8% | 73.4% | 73.3% | 39.2% | 77.4% | 49.4% | 65.1% |
| DeepSeek Coder V2 lite | 83.5% | 68.3% | 65.2% | 80.8% | 34.2% | 82.4% | 46.8% | 65.9% |
FIM (单行精确匹配)
| 模型 | HumanEvalFIM Python | HumanEvalFIM Java | HumanEvalFIM JS | HumanEvalFIM (平均) |
|---|---|---|---|---|
| Codestral-2501 | 80.2% | 89.6% | 87.96% | 85.89% |
| Codestral-2405 22B | 77.0% | 83.2% | 86.08% | 82.07% |
| OpenAI FIM API* | 80.0% | 84.8% | 86.5% | 83.7% |
| DeepSeek Chat API | 78.8% | 89.2% | 85.78% | 84.63% |
| DeepSeek Coder V2 lite | 78.7% | 87.8% | 85.90% | 84.13% |
| DeepSeek Coder 33B instruct | 80.1% | 89.0% | 86.80% | 85.3% |
FIM pass@1
| 模型 | HumanEvalFIM Python | HumanEvalFIM Java | HumanEvalFIM JS | HumanEvalFIM (平均) |
|---|---|---|---|---|
| Codestral-2501 | 92.5% | 97.1% | 96.1% | 95.3% |
| Codestral-2405 22B | 90.2% | 90.1% | 95.0% | 91.8% |
| OpenAI FIM API* | 91.1% | 91.8% | 95.2% | 92.7% |
| DeepSeek Chat API | 91.7% | 96.1% | 95.3% | 94.4% |
* GPT 3.5 Turbo 是 OpenAI 目前提供的最新 FIM API
即日起可用
Codestral 25.01 正通过我们的 IDE / IDE 插件合作伙伴向全球开发者推出。您可以通过在其相应的模型选择器中选择 Codestral 25.01，感受其在代码补全方面的响应质量和速度差异。
对于企业级用例，特别是需要数据和模型驻留的用例，Codestral 25.01 可在您本地或 VPC 内进行部署。
请查看下方演示，并在 Continue 中免费试用，适用于 VS Code 或 JetBrains。
* Codestral 25.01 聊天演示
Continue 的联合创始人 Ty Dunn 表示：“对于 AI 代码助手来说，代码补全是很大一部分工作，这需要擅长填补中间代码 (FIM) 的模型。Codestral 25.01 在这一领域取得了重大进展。Mistral AI 的新模型能够提供更精确的建议，且速度快得多——这是准确、高效软件开发的关键组成部分。这就是为什么 Codestral 是我们推荐给开发者的自动补全模型。”
要使用 Codestral API 构建您自己的集成，请前往 la Plateforme 并使用 codestral-latest。该 API 也可在 Google Cloud 的 Vertex AI 上使用，在 Azure AI Foundry 上处于私人预览阶段，并即将登陆 Amazon Bedrock。如需了解更多信息，请阅读 Codestral 文档。
Codestral 25.01 在 LMsys Copilot Arena 排行榜上首次亮相即位列第一。我们迫不及待地想听听您的体验！
联系我们
对于大型企业部署，请联系我们。