Mistral Coreml

🚀 Mistral-7B-Instruct-v0.3 + CoreML

このリポジトリは、Mistral 7B Instruct v0.3をCoreML形式に変換したものを含んでおり、FP16とInt4の両方の精度で利用できます。Mistral-7B-Instruct-v0.3は、Mistral AIによるMistral-7B-v0.3をインストラクションファインチューニングしたバージョンです。

🚀 クイックスタート

このリポジトリは、Mistral 7B Instruct v0.3 をCoreML形式に変換したものを含んでおり、FP16とInt4の両方の精度で利用できます。

Mistral-7B-Instruct-v0.3は、Mistral AIによるMistral-7B-v0.3をインストラクションファインチューニングしたバージョンです。

Mistral-7B-v0.3は、v0.2モデルと比較して以下の変更があります。

• 語彙数を32768に拡張
• v3トークナイザーをサポート
• 関数呼び出しをサポート

モデルについて詳しく知るには、ドキュメントと元のモデルカードを参照することをおすすめします。

⚠️ 重要提示

❗ このリポジトリでは、最新のCoreML機能を利用するには、macOS Sequoia (15) Developer Betaの使用が必要です！ アクセスするには、こちら からApple Beta Software Programに登録してください。 iOS 18とmacOS 15の新機能について詳しく知るには、こちら のブログ記事を参照してください。

📦 インストール

ダウンロード

huggingface-cliをインストールします。

pip install -U "huggingface_hub[cli]"

.mlpackageフォルダの1つをmodelsディレクトリにダウンロードするには、以下のコマンドを実行します。

huggingface-cli download \
  --local-dir models \
  --local-dir-use-symlinks False \
  apple/mistral-coreml \
  --include "StatefulMistral7BInstructInt4.mlpackage/*"

すべてをダウンロードするには、--include引数を削除してください。

💻 使用例

Swiftアプリへの統合

huggingface/swift-chat リポジトリには、すぐに使い始めることができるデモアプリが含まれています！ huggingface/swift-transformers のpreviewブランチを使用して、モデルをSwiftアプリに直接統合することができます。

🔧 技術詳細

Mistral 7B Instructモデルは、ベースモデルを簡単にファインチューニングして魅力的なパフォーマンスを達成できることをすばやく実証するものです。 このモデルにはモデレーション機構がありません。モデルがガードレールをきめ細かく尊重し、モデレーションされた出力が必要な環境でのデプロイを可能にする方法について、コミュニティと協力することを楽しみにしています。

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下でライセンスされています。