Codestral (May '24)

220亿のパラメータを持つコード生成モデルで、Python、Java、C、C++、JavaScript、Bashなど80種類以上のプログラミング言語で学習されています。命令追従と中間埋め込み（FIM）機能をサポートし、コード補完と生成タスクに使用できます。

インテリジェンス(弱い)

速度(中程度)

入力サポートモダリティ

いいえ

推論モデルかどうか

32,768

コンテキストウィンドウ

32,768

最大出力トークン

知識カットオフ

価格設定

￥1.44 /M tokens

入力

￥4.32 /M tokens

出力

￥2.16 /M tokens

混合価格

クイック簡易比較

Devstral

Codestral-Mamba

Codestral (Jan '25)

￥0.2

基本パラメータ

GPT-4.1技術パラメータ

パラメータ数

22,200.0M

コンテキスト長

32.77k tokens

トレーニングデータカットオフ

オープンソースカテゴリ

Open Weights (Permissive License)

マルチモーダルサポート

テキストのみ

スループット

リリース日

2024-05-29

応答速度

114.256,294 tokens/s

ベンチマークスコア

以下はclaude-monetの様々な標準ベンチマークテストでのパフォーマンスです。これらのテストは、異なるタスクやドメインにおけるモデルの能力を評価します。

インテリジェンス指数

大規模言語モデルインテリジェンスレベル

2042

大規模言語モデルインテリジェンスレベル

コーディング指数

コーディングタスクにおけるAIモデルのパフォーマンス指標

2151

コーディングタスクにおけるAIモデルのパフォーマンス指標

数学指数

数学的問題の解決、数学的推論、または数学関連タスクの実行における能力指標

MMLU Pro

大規模マルチタスクマルチモーダル理解 - テキスト、画像、音声、ビデオの理解をテスト

33.1

大規模マルチタスクマルチモーダル理解 - テキスト、画像、音声、ビデオの理解をテスト

GPQA

大学院物理学問題評価 - ダイヤモンド科学レベルの問題で高度な物理学知識をテスト

25.5

大学院物理学問題評価 - ダイヤモンド科学レベルの問題で高度な物理学知識をテスト

HLE

Hugging Face Open LLMリーダーボードにおけるモデルの包括的な平均スコア

5.1

Hugging Face Open LLMリーダーボードにおけるモデルの包括的な平均スコア

LiveCodeBench

実世界のコード作成とプログラミングコンテスト問題解決における大規模言語モデルの能力を評価する特定の評価

21.3

実世界のコード作成とプログラミングコンテスト問題解決における大規模言語モデルの能力を評価する特定の評価

SciCode

科学計算または特定の科学分野のコード生成におけるモデルの能力

21.8

科学計算または特定の科学分野のコード生成におけるモデルの能力

HumanEval

特定のHumanEvalベンチマークテストセットでAIモデルが達成したスコア

80.2

特定のHumanEvalベンチマークテストセットでAIモデルが達成したスコア

Math 500スコア

最初の500の大規模でよく知られた数学ベンチマークテストのスコア

35.4

最初の500の大規模でよく知られた数学ベンチマークテストのスコア

AIMEスコア

高難度の数学競技問題（特にAIMEレベル）を解決するAIモデルの能力を測定する指標

おすすめAIモデル

Qwen2.5 Coder Instruct 32B

Gemini 1.5 Pro (May '24)

Llama 3.2 Instruct 11B (Vision)