Mistral Coreml

🚀 Mistral-7B-Instruct-v0.3 + CoreML

本項目將 Mistral 7B Instruct v0.3 模型轉換為 CoreML 格式，提供了 FP16 和 Int4 兩種精度版本。Mistral-7B-Instruct-v0.3 是 Mistral AI 在 Mistral-7B-v0.3 基礎上進行指令微調的版本。

🚀 快速開始

本倉庫需要使用 macOS Sequoia (15) 開發者測試版，以充分利用 CoreML 的最新特性！你可以點擊此處註冊 Apple 測試軟件計劃獲取訪問權限。同時，你還可以點擊這裡查看配套博客文章，瞭解 iOS 18 和 macOS 15 的新特性。

✨ 主要特性

• 模型轉換：將 Mistral 7B Instruct v0.3 模型轉換為 CoreML 格式，支持 FP16 和 Int4 精度。
• 功能更新：與 v0.2 模型相比，Mistral-7B-v0.3 擴展了詞彙表至 32768，支持 v3 分詞器和函數調用。

📦 安裝指南

安裝 huggingface-cli

pip install -U "huggingface_hub[cli]"

下載 .mlpackage 文件夾到 models 目錄

huggingface-cli download \
  --local-dir models \
  --local-dir-use-symlinks False \
  apple/mistral-coreml \
  --include "StatefulMistral7BInstructInt4.mlpackage/*"

若要下載所有內容，移除 --include 參數即可。

💻 使用示例

在 Swift 應用中集成

huggingface/swift-chat 倉庫包含一個演示應用，可幫助你快速上手！你可以使用 huggingface/swift-transformers 的 preview 分支將模型集成到你的 Swift 應用中。

📚 詳細文檔

若要了解更多關於該模型的信息，建議查看其文檔和原始模型卡片。

🔧 技術細節

Mistral-7B-Instruct-v0.3 是 Mistral AI 對 Mistral-7B-v0.3 進行指令微調後的版本。與 v0.2 模型相比，Mistral-7B-v0.3 有以下改進：

• 詞彙表擴展：將詞彙表擴展到 32768，增強了模型的表達能力。
• 分詞器支持：支持 v3 分詞器，提升了分詞效果。
• 函數調用：支持函數調用，為模型的應用提供了更多可能性。

📄 許可證

本項目採用 Apache-2.0 許可證。

⚠️ 重要提示

本倉庫需要使用 macOS Sequoia (15) 開發者測試版，以充分利用 CoreML 的最新特性！請點擊此處註冊 Apple 測試軟件計劃獲取訪問權限。

💡 使用建議

• 若要了解 iOS 18 和 macOS 15 的新特性，可點擊這裡查看配套博客文章。
• 在 Swift 應用中集成模型時，可參考 huggingface/swift-chat 倉庫中的演示應用。