Phi 3 Mini 128k Instruct Onnx

🚀 Phi-3 Mini-128K-Instruct ONNXモデル

このリポジトリは、Phi-3-mini-128k-instruct の最適化バージョンをホストしており、ONNX Runtimeを使用した推論を高速化します。

Phi-3 Miniは、軽量で最先端のオープンモデルで、Phi-2に使用されたデータセット（合成データとフィルタリングされたウェブサイト）を基に構築されています。特に、非常に高品質で推論に富んだデータに焦点を当てています。このモデルはPhi-3モデルファミリーに属し、ミニバージョンには4Kと128Kの2つのバリエーションがあり、これはサポートできるコンテキスト長（トークン単位）を表します。モデルは、厳格な強化プロセスを経ており、教師あり微調整と直接的な嗜好最適化の両方を組み込んで、正確な命令遵守と堅牢なセキュリティ対策を確保しています。

最適化されたPhi-3 Miniモデルは、ONNX 形式でここに公開されており、ONNX Runtime を使用して、サーバープラットフォーム、Windows、Linux、Macデスクトップ、およびモバイルCPUを含むさまざまなデバイスのCPUとGPUで実行できます。それぞれのターゲットに最適な精度で動作します。

DirectML のサポートにより、開発者はAMD、Intel、NVIDIAのGPUを搭載したWindowsデバイスに大規模にハードウェアアクセラレーションを導入できます。DirectMLとともに、ONNX Runtimeは、CPU、GPU、およびモバイルのさまざまなデバイスでPhi-3 Miniのクロスプラットフォームサポートを提供します。

Phi-3を簡単に始めるには、新しく導入されたONNX Runtime Generate() APIを使用できます。実行方法の説明は こちら を参照してください。

🚀 クイックスタート

Phi-3モデルをさまざまなデバイスやプラットフォーム、さまざまな実行プロバイダーバックエンドで実行できるように、生成AI推論のいくつかの側面をラップする新しいAPIを導入しました。このAPIにより、LLMをアプリに簡単にドラッグアンドドロップできます。これらのモデルの初期バージョンをONNX Runtimeで実行するには、こちら の手順に従ってください。

例えば：

python model-qa.py -m /*{YourModelPath}*/onnx/cpu_and_mobile/phi-3-mini-4k-instruct-int4-cpu -k 40 -p 0.95 -t 0.8 -r 1.0

*入力:*  <|user|>Tell me a joke<|end|><|assistant|>

*出力:*  Why don't scientists trust atoms?
           Because they make up everything!

このジョークは、「make up」の二重の意味を利用しています。科学において、原子は物質の基本的な構成要素であり、文字通りすべてを構成しています。しかし、口語的な意味では、「to make up」は捏造するまたは嘘をつくことを意味することがあり、それがユーモアの源となっています。

✨ 主な機能

• ONNX形式で最適化され、ONNX Runtimeでの推論が高速化されます。
• さまざまなデバイス（CPU、GPU、モバイル）でのクロスプラットフォームサポートがあります。
• DirectMLをサポートし、Windowsデバイスでのハードウェアアクセラレーションが可能です。
• 新しいONNX Runtime Generate() APIを使用して簡単に始めることができます。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

python model-qa.py -m /*{YourModelPath}*/onnx/cpu_and_mobile/phi-3-mini-4k-instruct-int4-cpu -k 40 -p 0.95 -t 0.8 -r 1.0

高度な使用法

このREADMEに高度な使用法の具体的なコード例が記載されていないため、このサブセクションは省略されます。

📚 ドキュメント

ONNXモデル

ここに追加された最適化された構成の一部を紹介します：

1. int4 DML用のONNXモデル：WindowsのAMD、Intel、NVIDIAのGPU用のONNXモデルで、AWQ を使用してint4に量子化されています。
2. fp16 CUDA用のONNXモデル：NVIDIAのGPUで実行するために使用できるONNXモデルです。
3. int4 CUDA用のONNXモデル：RTNを介してint4量子化を使用したNVIDIAのGPU用のONNXモデルです。
4. int4 CPUおよびモバイル用のONNXモデル：RTNを介してint4量子化を使用したCPUおよびモバイル用のONNXモデルです。レイテンシと精度のバランスを取るために2つのバージョンがアップロードされています。Acc=1は精度向上を目的としており、Acc=4はパフォーマンス向上を目的としています。モバイルデバイスの場合は、acc-level-4のモデルを使用することをお勧めします。

5月上旬の公式ORT 1.18リリースで、AMDに関するさらなる更新と、CPUおよびモバイルに関する追加の最適化が行われます。お楽しみに！

ハードウェアサポート

モデルは以下のハードウェアでテストされています：

• GPU SKU: RTX 4090 (DirectML)
• GPU SKU: 1 A100 80GB GPU, SKU: Standard_ND96amsr_A100_v4 (CUDA)
• CPU SKU: Standard F64s v2 (64 vcpus, 128 GiB memory)
• モバイルSKU: Samsung Galaxy S21

必要な最小構成：

• Windows: DirectX 12対応GPUと合計4GB以上のRAM
• CUDA: Compute Capability >= 7.0のNVIDIA GPU

モデルの説明

追加情報

• ONNX Runtime最適化ブログリンク
• Phi-3モデルブログリンク
• Phi-3モデルカード
• Phi-3技術レポート

パフォーマンスメトリクス

Phi-3 Mini-128K-Instructは、すべてのバッチサイズとプロンプト長の組み合わせにおいて、ONNX RuntimeでPyTorchよりも優れたパフォーマンスを発揮します。FP16 CUDAの場合、ORTはPyTorchより最大5倍高速で、INT4 CUDAの場合は最大9倍高速です。

以下の表は、1 A100 80GB GPU, SKU: Standard_ND96amsr_A100_v4 で測定された、CUDA上のFP16とINT4精度における最初の256トークンの平均スループット（tps）を示しています。

注: PyTorch compileとLlama.cppは現在、Phi-3 Mini-128K-Instructモデルをサポートしていません。

パッケージバージョン

🔧 技術詳細

活性化認識量子化

AWQは、精度を維持するために最も重要な上位1％の重要な重みを特定し、残りの99％の重みを量子化することで機能します。これにより、他の多くの量子化手法と比較して、量子化による精度の損失が少なくなります。AWQの詳細については、こちら を参照してください。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

モデルカードの連絡先

parinitarahi, kvaishnavi, natke

貢献者

Kunal Vaishnavi, Sunghoon Choi, Yufeng Li, Akshay Sonawane, Sheetal Arun Kadam, Rui Ren, Edward Chen, Scott McKay, Ryan Hill, Emma Ning, Natalie Kershaw, Parinita Rahi, Patrice Vignola, Chai Chaoweeraprasit, Logan Iyer, Vicente Rivera, Jacques Van Rhyn