
Devstral Small (May '25)
2025年5月发布的Devstral Small原始版本,是Mistral AI首个开源代码智能体模型。24B参数,在SWE-Bench Verified达到46.8%准确率,超越GPT-4.1-mini超过20个百分点。采用Apache 2.0许可证,可在单GPU上运行,为代码智能体和软件工程任务的开源解决方案奠定了基础。
智力(较弱)
速度(中等)
输入支持模态
否
是否推理模型
256,000
上下文窗口
128,000
最大输出令牌数
-
知识截止
定价
¥0.72 /M tokens
输入
¥2.16 /M tokens
输出
¥1.08 /M tokens
混合价格
快速简易对比
Codestral (Jan '25)
¥0.2
Codestral-Mamba
Devstral
¥0.1
基础参数
Devstral Small (May '25)的技术参数
参数数量
24,000.0M
上下文长度
256.00k tokens
训练数据截止
开源分类
Open Weights (Permissive License)
多模态支持
文本
吞吐量
137
发布日期
2025-05-21
响应速度
147.68,123 tokens/s
基准测试得分
以下是Devstral Small (May '25)在各种标准基准测试中的表现。这些测试评估了模型在不同任务和领域的能力。
智能指数
34.11
大语言模型智能水平
编码指数
25.18
AI模型在编码任务上的能力表现的指标
数学指数
37.53
解决数学问题、数学推理或执行与数学相关的任务方面的能力指标
MMLU Pro
63.2
海量多任务多模式理解-测试对文本、图像、音频和视频的理解
GPQA
43.4
研究生物理问题评估-用钻石科学级别的问题测试高级物理知识
HLE
4
模型在 Hugging Face Open LLM Leaderboard 上的综合平均得分
LiveCodeBench
25.8
特定的、专注于评估大型语言模型在真实世界代码编写和解决编程竞赛问题能力评分
SciCode
24.5
模型在科学计算或特定科学领域的代码生成方面的能力
HumanEval
84.8
AI模型在 HumanEval 这个特定的基准测试集上取得的成绩
Math 500 评分
68.4
前500道更大型、更知名的数学基准测试评分
AIME 评分
6.7
一个衡量AI模型在解决高难度数学竞赛问题(特指AIME级别)方面能力的指标
GPT 5 Mini
openai

¥1.8
输入tokens/百万
¥14.4
输出tokens/百万
400k
上下文长度
GPT 5 Standard
openai

¥63
输入tokens/百万
¥504
输出tokens/百万
400k
上下文长度
GPT 5 Nano
openai

¥0.36
输入tokens/百万
¥2.88
输出tokens/百万
400k
上下文长度
GPT 5
openai

¥9
输入tokens/百万
¥72
输出tokens/百万
400k
上下文长度
GLM 4.5
chatglm

¥0.43
输入tokens/百万
¥1.01
输出tokens/百万
131k
上下文长度
Gemini 2.0 Flash Lite (Preview)
google

¥0.58
输入tokens/百万
¥2.16
输出tokens/百万
1M
上下文长度
Gemini 1.0 Pro
google

¥3.6
输入tokens/百万
¥10.8
输出tokens/百万
33k
上下文长度
Qwen2.5 Coder Instruct 32B
alibaba

¥0.65
输入tokens/百万
¥0.65
输出tokens/百万
131k
上下文长度