Phi 3 Mini 4k Instruct GGUF

🚀 Phi 3 Mini 4K Instruct GGUF

本項目提供了微軟 Phi 3 Mini 4K Instruct 模型的 GGUF 格式文件。Phi-3-Mini-4K-Instruct 是一個參數為 38 億的輕量級、最先進的開源模型，它基於 Phi-3 數據集進行訓練，該數據集包含合成數據和經過篩選的公開網站數據，注重高質量和強推理能力。

你可以在微軟的模型頁面瞭解更多信息。

🚀 快速開始

本倉庫包含了微軟 Phi 3 Mini 4K Instruct 的 GGUF 格式模型文件。

模型信息

什麼是 GGUF？

GGUF 是一種用於表示 AI 模型的文件格式。它是該格式的第三個版本，由 llama.cpp 團隊於 2023 年 8 月 21 日推出。它取代了 GGML，而 llama.cpp 不再支持 GGML。本模型使用 llama.cpp 構建 3432（修訂版本 45f2c19），通過 autogguf 進行轉換。

提示模板

<|system|>
{{system_prompt}}<|end|>
<|user|>
{{prompt}}<|end|>
<|assistant|>

📦 安裝指南

可在 iPhone、iPad 和 Mac 上使用 cnvrs 下載並運行該模型！

cnvrs 是在你的設備上運行私有、本地 AI 的最佳應用程序：

• 可創建並保存帶有自定義系統提示和溫度設置的角色。
• 可下載並試驗你能在 HuggingFace 上找到的任何 GGUF 模型！
• 可使用自定義主題顏色進行個性化設置。
• 由 Metal ⚡️ 和 Llama.cpp 提供支持，在響應流式傳輸期間有觸覺反饋！
• 立即在 Testflight 上親自試用！
• 關注 cnvrs 的 Twitter 以獲取最新信息。

📚 詳細文檔

原始模型評估

7 月更新與 4 月原始版本對比

4 月原始版本

按照慣例，我們在溫度為 0 的情況下使用少樣本提示來評估模型。提示和樣本數量是微軟內部評估語言模型工具的一部分，特別是我們沒有針對 Phi-3 對評估流程進行優化。更具體地說，我們沒有更改提示、選擇不同的少樣本示例、更改提示格式或對模型進行任何其他形式的優化。每個基準測試的 k 樣本示例數量會列出。

注意事項

本項目已根據 2024 年 7 月 21 日微軟的最新模型更改進行了更新。

原始模型：Phi-3-mini-4k-instruct

模型創建者：Microsoft