Phi 3 Mini 4k Instruct Onnx

🚀 Phi-3 Mini-4K-Instruct ONNXモデル

このリポジトリは、Phi-3-mini-4k-instruct の最適化バージョンをホストしており、ONNX Runtimeを通じた推論の高速化を目的としています。

Phi-3 Miniは、軽量で最先端のオープンソースモデルです。Phi-2で使用されたデータセットを基に構築されており、合成データと選別されたウェブサイトデータが含まれ、特に高品質で推論に富むデータに重点が置かれています。このモデルはPhi-3モデルファミリーに属し、そのminiバージョンには4Kと128Kの2つのバリエーションがあり、これはサポートできるコンテキスト長（トークン単位）を表しています。このモデルは、厳格な強化プロセスを経ており、教師付き微調整（supervised fine-tuning）と直接的な嗜好最適化（direct preference optimization）を組み合わせることで、正確な命令の遵守と強力なセキュリティ対策を保証しています。

最適化されたPhi-3 Miniモデルは ONNX 形式で公開されており、ONNX Runtime を通じてCPUとGPU上で、サーバープラットフォーム、Windows、Linux、Macデスクトップ、およびモバイルCPUを含む様々なデバイスで動作し、各ターゲットに最適な精度が適用されます。

DirectML のサポートにより、開発者はAMD、Intel、NVIDIAのGPUを搭載したWindowsデバイスで大規模なハードウェア加速を実現できます。DirectMLに加えて、ONNX RuntimeはPhi-3 Miniに対して一連のCPU、GPU、およびモバイルデバイスでのクロスプラットフォームサポートを提供します。

Phi-3を簡単に使い始めるには、新しく導入されたONNX Runtime Generate() APIを使用できます。実行方法については、こちら を参照してください。

🚀 クイックスタート

Phi-3モデルをさまざまなデバイスやプラットフォームの異なる実行プロバイダーバックエンドで実行できるようにするため、生成型AI推論のさまざまな側面をカプセル化する新しいAPIを導入しました。このAPIにより、大規模言語モデル（LLMs）をアプリケーションに簡単に統合できます。ONNX Runtimeでこれらのモデルの初期バージョンを実行するには、こちら の手順に従ってください。

例えば：

python model-qa.py -m /*{YourModelPath}*/onnx/cpu_and_mobile/phi-3-mini-4k-instruct-int4-cpu -k 40 -p 0.95 -t 0.8 -r 1.0

*入力:*  <|user|>Tell me a joke<|end|><|assistant|>

*出力:*  Why don't scientists trust atoms?
           Because they make up everything!

このジョークは “make up” の二重意味を利用しています。科学の分野では、原子は物質の基本構成要素であり、実際にすべてを構成しています。しかし、口語では、“to make up” は作り上げるまたは嘘をつくことを意味するため、ユーモラスな効果が生まれます。

✨ 主な機能

• さまざまなハードウェアと精度の要件に対応する、複数の最適化構成のONNXモデルを提供します。
• DirectMLをサポートし、Windowsデバイスでハードウェア加速を実現できます。
• 新しいONNX Runtime Generate() APIを導入し、モデルの統合と使用を容易にします。

📦 インストール

ドキュメントに具体的なインストール手順は記載されていません。ONNX Runtime公式ドキュメント を参照してインストールしてください。

💻 使用例

基本的な使用法

python model-qa.py -m /*{YourModelPath}*/onnx/cpu_and_mobile/phi-3-mini-4k-instruct-int4-cpu -k 40 -p 0.95 -t 0.8 -r 1.0

*入力:*  <|user|>Tell me a joke<|end|><|assistant|>

*出力:*  Why don't scientists trust atoms?
           Because they make up everything!

このジョークは “make up” の二重意味を利用しています。科学の分野では、原子は物質の基本構成要素であり、実際にすべてを構成しています。しかし、口語では、“to make up” は作り上げるまたは嘘をつくことを意味するため、ユーモラスな効果が生まれます。

📚 ドキュメント

ONNXモデル

以下は、追加されたいくつかの最適化構成です：

1. int4 DMLのONNXモデル：Windows上のAMD、Intel、およびNVIDIA GPUに適したONNXモデルで、AWQ を使用してint4に量子化されています。
2. fp16 CUDAのONNXモデル：NVIDIA GPUで実行できるONNXモデルです。
3. int4 CUDAのONNXモデル：RTNを使用してint4に量子化されたNVIDIA GPU用のONNXモデルです。
4. int4 CPUとモバイルデバイスのONNXモデル：RTNを使用してint4に量子化されたCPUとモバイルデバイス用のONNXモデルです。遅延と精度のバランスを取るために2つのバージョンをアップロードしています。Acc=1は精度向上を目的としており、Acc=4はパフォーマンス向上のためのものです。モバイルデバイスでは、acc-level-4のモデルを使用することをお勧めします。

5月初旬に公式ORT 1.18バージョンがリリースされるに伴い、AMDに関するさらなる更新と、CPUおよびモバイルデバイスの追加の最適化が行われます。引き続きご注目ください！

サポートされるハードウェア

これらのモデルは以下のデバイスでテストされています：

• GPU SKU：RTX 4090 (DirectML)
• GPU SKU：1 A100 80GB GPU, SKU: Standard_ND96amsr_A100_v4 (CUDA)
• CPU SKU：Standard F64s v2 (64 vcpus, 128 GiBメモリ)
• モバイルデバイスSKU：Samsung Galaxy S21

必要な最低構成：

• Windows：DirectX 12をサポートするGPUと、少なくとも4GBの総RAM
• CUDA：計算能力 >= 7.0のNVIDIA GPU

モデルの説明

追加情報

• ONNX Runtime最適化ブログのリンク
• Phi-3モデルブログのリンク
• Phi-3モデルカード
• Phi-3技術レポート

パフォーマンス指標

Windows上のDirectML

アクティベーション感知量子化（AWQ）を使用して量子化されたPhi-3 Miniを使用して、DirectMLとONNX Runtimeの新しいGenerate() APIのパフォーマンスを測定しました。テストマシンにはNVIDIA GeForce RTX 4090 GPUとIntel Core i9 - 13900K CPUが搭載されています。DirectMLにより、開発者は優れたパフォーマンスを実現するだけでなく、AMD、Intel、およびNVIDIAがサポートするWindowsエコシステム全体でモデルを展開することができます。最も重要なことは、AWQにより、開発者は大規模な展開を行いながらも高いモデル精度を維持できることです。

ハードウェアパートナーの最適化ドライバーとONNX Runtime Generate() APIの追加更新により、今後数週間でパフォーマンスがさらに向上する予定です。引き続きご注目ください！

CUDA

すべてのバッチサイズとプロンプト長の組み合わせにおいて、Phi-3 Mini-4K-InstructはONNX RuntimeでのパフォーマンスがPyTorchよりも優れています。FP16 CUDAの場合、ORTはPyTorchより最大5倍速く、INT4 CUDAの場合は最大10倍速く動作します。大きなバッチサイズでは、Llama.cppよりも最大3倍速くなります。

以下の表は、1 A100 80GB GPU, SKU: Standard_ND96amsr_A100_v4 で測定された、CUDA上のFP16とINT4精度で生成された最初の256トークンの平均スループット（tps）を示しています。

CPU

以下の表は、Standard F64s v2 (64 vcpus, 128 GiBメモリ) で測定された、CPU上のINT4精度で生成された最初の256トークンの平均スループット（tps）を示しています。

パッケージバージョン

付録

アクティベーション感知量子化

アクティベーション感知量子化（AWQ）は、精度を維持するために最も重要な上位1%の最も顕著な重みを識別し、残りの99%の重みを量子化することで機能します。他の多くの量子化技術と比較して、これにより量子化過程での精度損失が少なくなります。AWQの詳細については、こちら を参照してください。

📄 ライセンス

このプロジェクトはMITライセンスの下で提供されています。

モデルカードの連絡先

parinitarahi, kvaishnavi, natke

貢献者

Kunal Vaishnavi, Sunghoon Choi, Yufeng Li, Akshay Sonawane, Sheetal Arun Kadam, Rui Ren, Edward Chen, Scott McKay, Ryan Hill, Emma Ning, Natalie Kershaw, Parinita Rahi, Patrice Vignola, Chai Chaoweeraprasit, Logan Iyer, Vicente Rivera, Jacques Van Rhyn