Phi 3 Mini 4k Instruct GGUF

🚀 Phi 3 Mini 4K Instruct GGUF

このリポジトリには、MicrosoftのPhi 3 Mini 4K InstructのGGUF形式のモデルファイルが含まれています。Phi-3-Mini-4K-Instructは、38億パラメータの軽量で最先端のオープンモデルで、Phi-3データセットを使用してトレーニングされています。このデータセットには合成データと公開されているウェブサイトのフィルタリングされたデータが含まれ、高品質で推論に重点が置かれています。

更新情報: 2024年7月21日現在、Microsoftの最新のモデル変更を反映しています。

オリジナルモデル: Phi-3-mini-4k-instruct

モデル作成者: Microsoft

詳細については、Microsoftのモデルページを参照してください。

📦 モデル情報

📚 詳細説明

なぜGGUF？

GGUFはAIモデルを表すためのファイル形式です。2023年8月21日にllama.cppチームによって導入された第3版の形式です。GGMLの代替となるもので、現在はllama.cppではGGMLがサポートされていません。このモデルはllama.cppビルド3432（リビジョン 45f2c19）を使用し、autoggufで変換されています。

プロンプトテンプレート

<|system|>
{{system_prompt}}<|end|>
<|user|>
{{prompt}}<|end|>
<|assistant|>

📥 ダウンロードと実行

iPhone、iPad、Macでcnvrsを使ってダウンロードし、実行できます！

cnvrsは、デバイス上でプライベートなローカルAIを使用するための最適なアプリです。

• カスタムシステムプロンプトと温度設定でキャラクターを作成し、保存できます。
• HuggingFaceで見つけた任意のGGUFモデルをダウンロードし、実験できます。
• カスタムのテーマカラーで独自のスタイルにカスタマイズできます。
• Metal ⚡️ と Llama.cpp をベースに構築されており、応答ストリーミング中にハプティックを体感できます。
• 今日すぐにTestflightで試してみてください！
• Twitterでcnvrsをフォローして、最新情報をキャッチしましょう。

📊 オリジナルモデルの評価

7月のアップデートと4月のリリース版の比較：

4月のリリース版

標準的な方法として、温度0でのfew-shotプロンプトを使用してモデルを評価しています。プロンプトとショット数は、Microsoftの内部ツールの一部であり、特にPhi-3のパイプラインに対する最適化は行っていません。具体的には、プロンプトの変更、異なるfew-shot例の選択、プロンプト形式の変更、またはモデルに対する他の形式の最適化は行っていません。各ベンチマークごとのk-shot例の数が記載されています。