# 数学的推論の強化

Autoregressive-32Bは自己回帰モデリングに基づいて構築されたMultiverse-32Bベースラインモデルで、テキスト生成タスクに強力なサポートを提供します。

ThinkEditは軽量な重み付け編集手法で、少数のアテンションヘッドを特定・編集することで、推論モデルが生成する思考連鎖が短すぎる問題を緩和し、推論精度を向上させます。

STILL-3-1.5B-previewは強化学習技術を用いて推論能力を強化したスローシンキングモデルで、AIMEベンチマークで39.33%の精度を達成

PowerLM-3Bは30億のパラメータを持つ小型言語モデルで、Power学習率スケジューラを用いて訓練され、自然言語の多肢選択、コード生成、数学的推論などの複数のベンチマークテストで優れた性能を発揮します。

Mistral-7bモデルをベースに、Quiet-STaR手法を用いて継続的事前学習を行い、各出力トークンを生成する前に8つの思考トークンを生成することで、推論能力を向上させています。

OpenChatはMistral-7Bをベースとしたオープンソースの言語モデルで、混合品質データによるトレーニングにより優れたテキスト生成能力を提供します。

OpenChat 3.5 1210はMistral-7Bアーキテクチャに基づくオープンソースの言語モデルで、混合品質データセットでトレーニングされ、プログラミング、一般対話、数学的推論タスクをサポートし、全体的な性能はChatGPT(3月版)とGrok-1を上回っています。