Phi 3 Mini 4k Instruct Onnx Web

🚀 Phi-3 Mini-4K-Instruct ONNXモデル（ブラウザ内推論用）

このモデルは、Phi3-mini-4Kを完全にブラウザ内で実行することを可能にします！デモをご覧ください。

このリポジトリには、ONNX Phi-3-mini-4k-instructモデルの最適化されたWebバージョンが格納されており、ONNX Runtime Webを使用してブラウザ内での推論を高速化します。

The Phi-3-Mini-4K-Instructは、38億パラメータの軽量で最先端のオープンモデルで、Phi-3データセット（合成データと公開されているウェブサイトのフィルタリングされたデータを含み、高品質で推論に適した特性に焦点を当てています）で学習されています。常識、言語理解、数学、コード、長文脈、論理推論をテストするベンチマークで評価された場合、Phi-3 Mini-4K-Instructは130億パラメータ未満のモデルの中で堅牢で最先端のパフォーマンスを示しました。

🚀 クイックスタート

実行方法

ONNX Runtime Webは、Web開発者が機械学習モデルを直接Webブラウザで展開できるようにするJavaScriptライブラリで、ハードウェアアクセラレーションを利用した複数のバックエンドを提供します。Phi-3-miniを効率的に実行するには、WebGPUバックエンドを推奨します。

ここに、ONNX Runtimeを使用してWebGPUを活用し、最適化されたPhi3-mini-4KをWebで実行するE2Eの例があります。

WebGPUをサポートするデバイスとブラウザ：Mac、Windows、ChromeOSの場合はChrome 113+とEdge 113+、Androidの場合はChrome 121+です。ブラウザのWebGPUサポート状況を追跡するには、こちらをご覧ください。

パフォーマンス指標

パフォーマンスはGPUによって異なります。GPUが強力であればあるほど、速度は速くなります。NVIDIA GeForce RTX 4090では、約42トークン/秒です。

📚 ドキュメント

追加情報

サーバープラットフォーム、Windows、Linux、Macデスクトップ、およびモバイル用の他の最適化されたPhi3-mini-4k ONNXモデルを取得するには、Phi-3-mini-4k-instruct onnx modelをご覧ください。Webバージョンのモデルと他のバージョンのモデルの違いは以下の通りです。

1. モデルは重みにint4ブロック量子化を使用したfp16です。
2. 'logits'出力はfp32です。
3. モデルはGQAではなくMHAを使用しています。
4. onnxと外部データファイルは2GB未満である必要があり、Chromiumでキャッシュ可能です。

微調整されたPhi3-mini-4kモデルをONNX Runtime Webで実行するように最適化するには、このOliveの例に従ってください。Oliveは、ONNX Runtimeを使用して様々なプラットフォームで効率的に実行できる最適化されたONNXモデルを生成するための使いやすいモデル最適化ツールです。

モデルの説明

モデルカードの連絡先

guschmue, qining