Phi 4 Mini Reasoning

language:

• en library_name: transformers license: mit license_link: https://huggingface.co/microsoft/Phi-4-mini-instruct-reasoning/resolve/main/LICENSE pipeline_tag: text-generation tags:
• nlp
• math
• code widget:
• messages:
  • role: user content: 3x^2+4x+5=1の解き方を教えてください？

モデル概要

Phi-4-mini-reasoningは、高品質な推論に特化した合成データに基づいて構築された軽量オープンモデルで、さらに高度な数学的推論能力のためにファインチューニングされています。 このモデルはPhi-4モデルファミリーに属し、128Kトークンのコンテキスト長をサポートします。

üì∞ Phi-4-mini-reasoningブログ、および開発者向け記事
üìñ Phi-4-mini-reasoning技術レポート | HF論文
üë©‚Äçüç≥ Phiクックブック
üè° Phiポータル
üñ•Ô∏è Azureで試す

üéâPhi-4モデル: [Phi-4-reasoning] | [multimodal-instruct | onnx]; [mini-instruct | onnx]

使用目的

主な使用ケース

Phi-4-mini-reasoningは、メモリ/計算リソースが制約された環境やレイテンシが重要なシナリオにおける、多段階でロジックが複雑な数学的問題解決タスク向けに設計されています。 使用ケースには、形式的な証明生成、記号的計算、高度な文章題、および幅広い数学的推論シナリオが含まれます。 これらのモデルは、ステップ間でコンテキストを維持し、構造化されたロジックを適用し、深い分析的思考を必要とする領域で正確で信頼性の高いソリューションを提供することに優れています。

使用ケースの考慮事項

このモデルは数学的推論のみを対象に設計・テストされています。すべての下流用途向けに特別に設計または評価されているわけではありません。 開発者は、特定の下流使用ケースを選択する際に言語モデルの一般的な制限や言語間の性能差を考慮し、特に高リスクシナリオでは、正確性、安全性、公平性を評価・緩和する必要があります。 開発者は、自らの使用ケースに関連する適用可能な法律や規制（プライバシー、貿易コンプライアンス法などに限定されない）を認識し、遵守する必要があります。

このモデルカードに含まれる内容は、モデルのリリースライセンスに対する制限または変更と解釈または見なされるべきではありません。

リリースノート

このPhi-4-mini-reasoningのリリースは、ユーザーフィードバックとコンパクトな推論モデルに対する市場の需要に対応しています。 これは、計算リソースやレイテンシが制約される環境で高品質な段階的問題解決を提供するために最適化された、コンパクトなトランスフォーマーベースの言語モデルです。 このモデルは、より強力なモデル（より大きく、賢く、正確で、指示に従う能力が高い）から生成された合成数学データでファインチューニングされており、推論性能が向上しています。 Phi-4-mini-reasoningは推論能力と効率性のバランスを取っており、教育アプリケーション、組み込みチュートリアル、エッジまたはモバイルシステムへの軽量な展開に適している可能性があります。 Phi-4-mini-reasoningで重大な問題が特定された場合は、MSRC Researcher Portalまたはsecure@microsoft.comを通じて速やかに報告してください。

モデル品質

能力を理解するために、3.8BパラメータのPhi-4-mini-reasoningモデルを、さまざまな推論ベンチマークで一連のモデルと比較しました。 モデル品質の概要は以下の通りです：

全体として、3.8Bパラメータのみのこのモデルは、より大規模なモデルと同レベルの多言語理解能力と推論能力を達成しています。 ただし、特定のタスクではそのサイズによって根本的に制限されています。このモデルはあまりにも多くの事実知識を格納する容量がないため、ユーザーは事実の不正確さを経験する可能性があります。しかし、特にRAG設定でモデルを使用する場合、検索エンジンでPhi-4を拡張することで、この弱点を解決できる可能性があります。

使用方法

トークナイザー

Phi-4-mini-reasoningは最大200064トークンの語彙サイズをサポートしています。トークナイザーファイルには、下流のファインチューニングに使用できるプレースホルダートークンが既に提供されていますが、モデルの語彙サイズまで拡張することもできます。

入力形式

トレーニングデータの性質上、Phi-4-mini-instructモデルは特定の形式を使用したプロンプトに最適です。 以下に2つの主要な形式を示します：

チャット形式

この形式は一般的な会話や指示に使用されます：

<|system|>あなたの名前はPhi、Microsoftが開発したAI数学エキスパートです。<|end|><|user|>3*x^2+4*x+5=1の解き方を教えてください？<|end|><|assistant|>

transformersでの推論

Phi-4-mini-reasoningはtransformersの4.51.3バージョンに統合されています。現在のtransformersバージョンはpip list | grep transformersで確認できます。 Python 3.8および3.10が最適に動作します。 必要なパッケージのリスト：

flash_attn==2.7.4.post1
torch==2.5.1
transformers==4.51.3
accelerate==1.3.0

Phi-4-mini-reasoningはAzure AI Studioでも利用可能です。

例

Phi-4-mini-instructモデルのチェックポイントを取得した後、ユーザーはこのサンプルコードを使用して推論できます。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
torch.random.manual_seed(0)

model_id = "microsoft/Phi-4-mini-reasoning"
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="cuda",
    torch_dtype="auto",
    trust_remote_code=True,
)
tokenizer = AutoTokenizer.from_pretrained(model_id)

messages = [{
    "role": "user",
    "content": "3*x^2+4*x+5=1の解き方を教えてください？"
}]   
inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_dict=True,
    return_tensors="pt",
)

outputs = model.generate(
    **inputs.to(model.device),
    max_new_tokens=32768,
    temperature=0.8,
    top_p=0.95,
    do_sample=True,
)
outputs = tokenizer.batch_decode(outputs[:, inputs["input_ids"].shape[-1]:])

print(outputs[0])

トレーニング

モデル

• アーキテクチャ: Phi-4-mini-reasoningはPhi-4-Miniと同じアーキテクチャを共有しており、3.8Bパラメータの密なデコーダーのみのトランスフォーマーモデルです。Phi-3.5-Miniと比較して、Phi-4-Miniの主な変更点は200K語彙、グループ化クエリアテンション、および入力と出力の埋め込みの共有です。
  
• 入力: テキスト。チャット形式を使用したプロンプトに最適です。
  
• コンテキスト長: 128Kトークン
  
• GPU: 128 H100-80G
  
• トレーニング時間: 2日間
  
• トレーニングデータ: 150Bトークン
  
• 出力: 生成されたテキスト
  
• 日付: 2024年2月にトレーニング
  
• ステータス: これは公開データのカットオフ日が2025年2月のオフラインデータセットでトレーニングされた静的モデルです。
  
• サポート言語: 英語
  
• リリース日: 2025年4月
  

トレーニングデータセット

Phi-4-mini-reasoningのトレーニングデータは、より強力で高度な推論モデルであるDeepseek-R1によって生成された合成数学コンテンツのみで構成されています。 目的はこのモデルから知識を蒸留することです。この合成データセットには、中学校から博士レベルまでの多様な数学問題が100万以上含まれています。 合成データセットの各問題に対して、8つの異なる解決策（ロールアウト）がサンプリングされ、正しいと確認されたもののみが保持され、約300億トークンの数学コンテンツが得られました。 このデータセットは、以下の3つの主要コンポーネントを統合しています：

1. 高品質で公開されている数学問題の厳選された選択と、ベースPhi-4-Miniモデルのトレーニングに使用されたSFT（教師ありファインチューニング）データの一部；
2. Deepseek-R1モデルによって生成された合成数学データの広範なコレクションで、高品質な教師ありファインチューニングとモデル蒸留に特化して設計されています；
3. 好みデータの構築に使用された正解と不正解のバランスの取れたセットで、より効果的な推論軌跡を学習することでPhi-4-mini-reasoningの推論能力を強化することを目的としています。

ソフトウェア

• PyTorch
• Transformers
• Flash-Attention

ハードウェア

デフォルトでは、Phi-4-mini-reasoningモデルは特定のタイプのGPUハードウェアを必要とするフラッシュアテンションを使用することに注意してください。以下のGPUタイプでテストされています：

• NVIDIA A100
• NVIDIA H100

以下のGPUでモデルを実行したい場合：

• NVIDIA V100またはそれ以前の世代のGPU：AutoModelForCausalLM.from_pretrained()をattn_implementation="eager"で呼び出してください。

安全性評価とレッドチーミング

Phi-4モデルファミリーは、堅牢な安全性ポストトレーニングアプローチを採用しています。このアプローチは、オープンソースと社内生成の両方のさまざまなデータセットを活用しています。安全性アラインメントに採用されている全体的な技術は、SFT、DPO（直接選好最適化）、およびRLHF（人間のフィードバックからの強化学習）アプローチの組み合わせで、有用性と無害性に焦点を当てた公開データセットや、複数の安全性カテゴリを対象としたさまざまな質問と回答を含む、人間がラベル付けした合成英語データセットを利用しています。

Phi-4-Mini-Reasoningは、Microsoftの責任あるAI原則に従って開発されました。モデルの応答における潜在的な安全リスクは、Azure AI Foundryのリスクと安全性評価フレームワークを使用して評価され、有害なコンテンツ、直接的なジェイルブレイク、モデルの基礎性に焦点が当てられました。Phi-4-Mini-Reasoningモデルカードには、このモデルを使用する際に開発者が認識すべき安全性と責任あるAIに関する考慮事項に関する追加情報が含まれています。

責任あるAIの考慮事項

他の言語モデルと同様に、Phiモデルファミリーは不公平、信頼性が低い、または攻撃的な方法で動作する可能性があります。認識すべき制限的な動作には以下が含まれます：

• サービスの品質：Phiモデルは主に英語テキストといくつかの追加の多言語テキストでトレーニングされています。英語以外の言語では性能が劣り、非英語間での性能差も経験します。トレーニングデータで表現が少ない英語のバリエーションは、標準的なアメリカ英語よりも性能が劣る可能性があります。
• 多言語性能と安全性のギャップ：異なる言語で言語モデルをより広く利用可能にすることは重要ですが、Phi 4モデルは依然として多言語リリースに共通する課題を示しています。LLMの展開と同様に、開発者は自らの言語的・文化的コンテキストに対する性能や安全性のギャップをテストし、追加のファインチューニングと適切な保護策でモデルをカスタマイズする方が良い立場にあります。
• 危害の表現とステレオタイプの永続化：これらのモデルは、人々のグループを過剰または過少に表現したり、一部のグループの表現を消去したり、軽蔑的または否定的なステレオタイプを強化したりする可能性があります。安全性ポストトレーニングにもかかわらず、異なるグループの表現レベル、文化的コンテキスト、またはトレーニングデータにおける否定的なステレオタイプの例の普及が現実世界のパターンや社会的バイアスを反映しているため、これらの制限が依然として存在する可能性があります。
• 不適切または攻撃的なコンテンツ：これらのモデルは他のタイプの不適切または攻撃的なコンテンツを生成する可能性があり、敏感なコンテキストでは追加の緩和策なしに展開することが不適切になる可能性があります。
• 情報の信頼性：言語モデルは無意味なコンテンツを生成したり、合理的に聞こえるが不正確または時代遅れのコンテンツを作成したりする可能性があります。
• 選挙情報の信頼性：モデルは選挙に関連する重要なクエリに応答する際に欠陥率が高く、誤ったまたは非権威的な選挙関連情報が提示される可能性があります。この分野のモデル性能を改善するために取り組んでいます。ユーザーは自らの地域の選挙当局で選挙関連情報を確認する必要があります。
• コードの限定的な範囲：Phi 4のトレーニングデータの大部分はPythonベースで、"typing, math, random, collections, datetime, itertools"などの一般的なパッケージを使用しています。モデルが他のパッケージを利用するPythonスクリプトや他の言語のスクリプトを生成する場合、すべてのAPI使用を手動で確認することを強く推奨します。
• 長い会話：Phi 4モデルは、他のモデルと同様に、非常に長いチャットセッションで繰り返し的、役に立たない、または一貫性のない応答を生成する場合があります。開発者は、会話のドリフトを考慮して会話ターンを制限するなど、適切な緩和策を適用することをお勧めします。

開発者は、責任あるAIのベストプラクティスを適用し、特定の使用ケースと言語的・文化的コンテキストに関連するリスクをマッピング、測定、緩和する必要があります。Phi 4モデルファミリーは汎用モデルです。開発者がこれらのモデルを特定の使用ケースに展開する計画を立てる際には、使用ケース向けにモデルをファインチューニングし、言語固有の保護策を備えたより広範なAIシステムの一部としてモデルを活用することをお勧めします。考慮すべき重要な分野には以下が含まれます：

• 割り当て：法的地位や資源または生活機会（例：住宅、雇用、信用など）の割り当てに影響を与える可能性のあるシナリオでは、追加の評価とデバイアス技術なしにモデルが適切でない可能性があります。
• 高リスクシナリオ：開発者は、不公平、信頼性が低い、または攻撃的な出力が非常にコストがかかるまたは危害につながる可能性のある高リスクシナリオでモデルを使用する適合性を評価する必要があります。これには、正確性と信頼性が重要な敏感または専門的な領域（例：法律または健康アドバイス）でのアドバイスの提供が含まれます。展開コンテキストに応じて、アプリケーションレベルで追加の保護策を実装する必要があります。
• 誤情報：モデルは不正確な情報を生成する可能性があります。開発者は透明性のベストプラクティスに従い、エンドユーザーがAIシステムと対話していることを通知する必要があります。アプリケーションレベルでは、フィードバックメカニズムとパイプラインを構築し、使用ケース固有の文脈情報で応答を基礎付けることができます。これはRetrieval Augmented Generation（RAG）として知られる技術です。
• 有害なコンテンツの生成：開発者は、コンテキストに対する出力を評価し、利用可能な安全性分類器または使用ケースに適したカスタムソリューションを使用する必要があります。
• 誤用：詐欺、スパム、またはマルウェアの作成などの他の形態の誤用が可能であり、開発者は自らのアプリケーションが適用可能な法律や規制に違反しないことを確認する必要があります。

ライセンス

このモデルはMITライセンスの下でライセンスされています。

商標

このプロジェクトには、プロジェクト、製品、またはサービスの商標またはロゴが含まれている場合があります。Microsoftの商標またはロゴの許可された使用は、Microsoftの商標とブランドのガイドラインに従う必要があります。このプロジェクトの修正版でのMicrosoftの商標またはロゴの使用は、混乱を引き起こしたり、Microsoftの後援を暗示したりしてはなりません。第三者の商標またはロゴの使用は、それらの第三者のポリシーに従う必要があります。

付録A：ベンチマーク方法論

ここでは方法論について簡単に説明します。特に、プロンプトの最適化についてどのように考えるかについてです。理想的には、異なるモデルを比較する際に常に公平な比較ができるように、ベンチマークでプロンプトを変更することはありません。実際、これが私たちのデフォルトのアプローチであり、これまでに実行したモデルの大部分でこのケースです。すべてのベンチマークで、max sequence length（32768）、同じ温度など、同じ生成設定を使用することを考慮しています。 ベンチマークデータセット 最も強力な推論モデルが競い合っている3つの人気のある数学ベンチマークでモデルを評価します。具体的には：

• Math-500：このベンチマークは、モデルの複雑な数学的推論と問題解決能力をテストするために設計された500の挑戦的な数学問題で構成されています。
• AIME 2024：American Invitational Mathematics Examination（AIME）は、高度な数学スキルと論理的推論を評価することを目的とした一連の難しい問題を特徴とする、高く評価されている数学コンテストです。
• GPQA Diamond：Graduate-Level Google-Proof Q&A（GPQA）Diamondベンチマークは、モデルが幅広い数学的質問を理解し解決する能力を評価することに焦点を当てており、単純な計算からより複雑な問題解決タスクまで含まれます。