Phi 4 Multimodal Instruct Onnx

🚀 Phi-4 多模態指令 ONNX 模型

這是一個 Phi-4 多模態模型的 ONNX 版本，該模型被量化為 int4 精度，以加速使用 ONNX Runtime 進行推理。

🚀 快速開始

模型運行

CPU 運行

請持續關注，或按照 本教程 為 CPU 生成你自己的 ONNX 模型！

CUDA 運行

# 使用 Hugging Face CLI 直接下載模型
huggingface-cli download microsoft/Phi-4-multimodal-instruct-onnx --include gpu/* --local-dir .

# 安裝 ONNX Runtime GenAI 的 CUDA 包
pip install --pre onnxruntime-genai-cuda

# 請相應地調整模型目錄 (-m) 
curl https://raw.githubusercontent.com/microsoft/onnxruntime-genai/main/examples/python/phi4-mm.py -o phi4-mm.py
python phi4-mm.py -m gpu/gpu-int4-rtn-block-32 -e cuda

DirectML 運行

# 使用 Hugging Face CLI 直接下載模型
huggingface-cli download microsoft/Phi-4-multimodal-instruct-onnx --include gpu/* --local-dir .

# 安裝 ONNX Runtime GenAI 的 DML 包
pip install --pre onnxruntime-genai-directml

# 請相應地調整模型目錄 (-m) 
curl https://raw.githubusercontent.com/microsoft/onnxruntime-genai/main/examples/python/phi4-mm.py -o phi4-mm.py
python phi4-mm.py -m gpu/gpu-int4-rtn-block-32 -e dml

運行時，系統會提示你提供任何圖像、音頻和一個提示信息。

文本組件的性能與 Phi-4 迷你 ONNX 模型 類似。

📚 詳細文檔

模型描述

免責聲明：該模型僅是對基礎模型的優化，與模型相關的任何風險由模型使用者承擔。請針對你的場景進行驗證和測試。應用優化後，輸出結果可能與基礎模型略有差異。

基礎模型

Phi-4-multimodal-instruct 是一個輕量級的開放多模態基礎模型，它利用了用於 Phi-3.5 和 4.0 模型的語言、視覺和語音研究及數據集。該模型可以處理文本、圖像和音頻輸入，生成文本輸出，並具有 128K 標記的上下文長度。該模型經過了增強處理，結合了監督微調（supervised fine-tuning）和直接偏好優化（direct preference optimization），以支持精確的指令遵循和安全措施。

詳情請見 此處。

📄 許可證

本項目採用 MIT 許可證。