Magistral Small 2506 Vision

🚀 Magistral-Small-2506-Vision

本項目受 https://huggingface.co/ngxson/Devstral-Small-Vision-2505-GGUF 啟發，該項目是一個 Devstral 視覺實驗。本項目是 Magistral-Small-2506 帶有視覺能力的實驗性檢查點。

Magistral Small 是對 Mistral Small 3.1 進行 GRPO 訓練的推理微調版本，Mistral Small 3.1 是一個具備視覺能力的大語言模型（LLM）。

在其技術報告中，Mistral 指出 Magistral 僅在文本數據上進行了微調，但作者在 MMMU、MMMU - Pro 和 MathVista 基準測試中報告了結果，顯示儘管僅進行了文本訓練，但仍有適度的改進。這表明 Magistral 成功地將其推理能力泛化到了多模態數據上。

Mistral 在其官方版本中移除了 Magistral 的視覺編碼器，這可能是由於純文本輸入和多模態輸入之間的性能差距所致。

在這個模型中，我將 Mistral Small 3.1 的視覺編碼器移植到了 Magistral Small 上，未進行進一步的訓練，這意味著該模型的純文本性能應與 Mistral 的官方版本相同。

該模型已使用 vLLM 進行測試，並且應該可以與任何支持 Mistral Small 3.1 的工具包配合使用。Mistral 3 的 Transformers 實現效果不佳。

請確保使用 SYSTEM_PROMPT.txt 文件（來自 Mistral 的文檔）中提供的系統提示以及採樣參數 temp=0.7, top_p=0.95。

此模型可能仍存在配置錯誤，這可能會降低性能。如果您遇到任何異常行為，請告知我！

✨ 主要特性

• 多語言支持：支持英語、法語、德語、西班牙語、葡萄牙語、意大利語、日語、韓語、俄語、中文、阿拉伯語、波斯語、印尼語、馬來語、尼泊爾語、波蘭語、羅馬尼亞語、塞爾維亞語、瑞典語、土耳其語、烏克蘭語、越南語、印地語和孟加拉語等多種語言。
• 視覺能力：通過移植 Mistral Small 3.1 的視覺編碼器，使模型具備處理圖像的能力。
• 推理能力泛化：儘管僅在文本數據上進行微調，但在多模態基準測試中仍有適度改進，表明推理能力可泛化到多模態數據。

📦 安裝指南

文檔未提及具體安裝步驟，暫不展示。

💻 使用示例

文檔未提供代碼示例，暫不展示。

📚 詳細文檔

模型基礎信息

使用提示

⚠️ 重要提示

確保使用 SYSTEM_PROMPT.txt 文件（來自 Mistral 的文檔）中提供的系統提示以及採樣參數 temp=0.7, top_p=0.95。

💡 使用建議

若遇到任何異常行為，請及時反饋。

🔧 技術細節

Mistral 在其技術報告中表明，Magistral 僅在文本數據上進行微調。儘管如此，作者在 MMMU、MMMU - Pro 和 MathVista 基準測試中取得了一定成果，顯示出該模型在多模態數據上也具備一定推理能力。Mistral 在官方發佈時移除了 Magistral 的視覺編碼器，可能是考慮到純文本輸入和多模態輸入之間的性能差異。本模型將 Mistral Small 3.1 的視覺編碼器移植到 Magistral Small 上，且未進行額外訓練，理論上其純文本性能與 Mistral 官方版本一致。

📄 許可證

本模型採用 Apache - 2.0 許可證。