Phi 3 Mini 4k Instruct GGUF

🚀 Phi 3 Mini 4K Instruct GGUF

本项目提供了微软 Phi 3 Mini 4K Instruct 模型的 GGUF 格式文件。Phi-3-Mini-4K-Instruct 是一个参数为 38 亿的轻量级、最先进的开源模型，它基于 Phi-3 数据集进行训练，该数据集包含合成数据和经过筛选的公开网站数据，注重高质量和强推理能力。

你可以在微软的模型页面了解更多信息。

🚀 快速开始

本仓库包含了微软 Phi 3 Mini 4K Instruct 的 GGUF 格式模型文件。

模型信息

什么是 GGUF？

GGUF 是一种用于表示 AI 模型的文件格式。它是该格式的第三个版本，由 llama.cpp 团队于 2023 年 8 月 21 日推出。它取代了 GGML，而 llama.cpp 不再支持 GGML。本模型使用 llama.cpp 构建 3432（修订版本 45f2c19），通过 autogguf 进行转换。

提示模板

<|system|>
{{system_prompt}}<|end|>
<|user|>
{{prompt}}<|end|>
<|assistant|>

📦 安装指南

可在 iPhone、iPad 和 Mac 上使用 cnvrs 下载并运行该模型！

cnvrs 是在你的设备上运行私有、本地 AI 的最佳应用程序：

• 可创建并保存带有自定义系统提示和温度设置的角色。
• 可下载并试验你能在 HuggingFace 上找到的任何 GGUF 模型！
• 可使用自定义主题颜色进行个性化设置。
• 由 Metal ⚡️ 和 Llama.cpp 提供支持，在响应流式传输期间有触觉反馈！
• 立即在 Testflight 上亲自试用！
• 关注 cnvrs 的 Twitter 以获取最新信息。

📚 详细文档

原始模型评估

7 月更新与 4 月原始版本对比

4 月原始版本

按照惯例，我们在温度为 0 的情况下使用少样本提示来评估模型。提示和样本数量是微软内部评估语言模型工具的一部分，特别是我们没有针对 Phi-3 对评估流程进行优化。更具体地说，我们没有更改提示、选择不同的少样本示例、更改提示格式或对模型进行任何其他形式的优化。每个基准测试的 k 样本示例数量会列出。

注意事项

本项目已根据 2024 年 7 月 21 日微软的最新模型更改进行了更新。

原始模型：Phi-3-mini-4k-instruct

模型创建者：Microsoft