🚀 Orpheus 3B 0.1 微调模型

Orpheus TTS 是一款基于 Llama 的先进语音大语言模型（Speech-LLM），专为实现高质量、富有情感的文本转语音功能而设计。该模型经过微调，能够实现接近人类水平的语音合成，在清晰度、表现力和实时流式传输性能方面表现出色。

🚀 快速开始

若要对我们的微调模型进行简单推理，请查看我们的 Colab 笔记本（链接）或 GitHub 仓库（链接）。

✨ 主要特性

模型能力

• 类人语音：具有自然的语调、情感和节奏，优于当前最先进的闭源模型。
• 零样本语音克隆：无需事先微调即可克隆语音。
• 情感和语调引导：通过简单的标签控制语音和情感特征。
• 低延迟：实时应用的流式传输延迟约为 200 毫秒，通过输入流式传输可降低至约 100 毫秒。

模型来源

• GitHub 仓库：https://github.com/canopyai/Orpheus-TTS
• 博客文章：https://canopylabs.ai/model-releases
• Colab 推理笔记本：笔记本链接

🔧 技术细节

超低比特量化与 IQ-DynamicGate（1 - 2 比特）

我们最新的量化方法为超低比特模型（1 - 2 比特）引入了精度自适应量化，经基准测试证明，在 Llama - 3 - 8B 上有显著改进。这种方法采用特定层策略，在保持极高内存效率的同时保留准确性。

基准测试背景

所有测试均在 Llama - 3 - 8B - Instruct 上进行，使用以下条件：

• 标准困惑度评估管道
• 2048 令牌上下文窗口
• 所有量化使用相同的提示集

方法

• 动态精度分配：
  • 前/后 25% 的层 → IQ4_XS（选定层）
  • 中间 50% → IQ2_XXS/IQ3_S（提高效率）
• 关键组件保护：
  • 嵌入层/输出层使用 Q5_K
  • 与标准 1 - 2 比特量化相比，误差传播降低 38%

量化性能比较（Llama - 3 - 8B）

量化方式	标准困惑度	DynamicGate 困惑度	困惑度变化	标准大小	DG 大小	大小变化	标准速度	DG 速度
IQ2_XXS	11.30	9.84	-12.9%	2.5G	2.6G	+0.1G	234s	246s
IQ2_XS	11.72	11.63	-0.8%	2.7G	2.8G	+0.1G	242s	246s
IQ2_S	14.31	9.02	-36.9%	2.7G	2.9G	+0.2G	238s	244s
IQ1_M	27.46	15.41	-43.9%	2.2G	2.5G	+0.3G	206s	212s
IQ1_S	53.07	32.00	-39.7%	2.1G	2.4G	+0.3G	184s	209s

关键信息：

• PPL = 困惑度（越低越好）
• Δ PPL = 从标准量化到 DynamicGate 量化的百分比变化
• 速度 = 推理时间（CPU avx2，2048 令牌上下文）
• 大小差异反映混合量化开销

主要改进：

• 🔥 IQ1_M 的困惑度大幅降低 43.9%（从 27.46 降至 15.41）
• 🚀 IQ2_S 的困惑度降低 36.9%，同时仅增加 0.2GB 大小
• ⚡ IQ1_S 尽管采用 1 比特量化，但仍保持 39.7% 的更高准确性

权衡：

• 所有变体的大小均有适度增加（0.1 - 0.3GB）
• 推理速度相当（差异 < 5%）

使用这些模型的场景

📌 将模型装入 GPU 显存 ✔ 内存受限的部署 ✔ 可容忍 1 - 2 比特误差的 CPU 和边缘设备 ✔ 超低比特量化研究

选择正确的模型格式

选择正确的模型格式取决于您的硬件能力和内存限制。

BF16（大脑浮点 16） – 若支持 BF16 加速则使用

• 一种 16 位浮点格式，专为在保持良好精度的同时实现更快计算而设计。
• 提供与 FP32 相似的动态范围，但内存使用更低。
• 如果您的硬件支持 BF16 加速（请检查设备规格），建议使用。
• 与 FP32 相比，适用于具有减少内存占用的高性能推理。

📌 使用 BF16 的情况： ✔ 您的硬件具有原生 BF16 支持（例如，较新的 GPU、TPU）。 ✔ 您希望在节省内存的同时获得更高精度。 ✔ 您计划将模型重新量化为另一种格式。

📌 避免使用 BF16 的情况： ❌ 您的硬件不支持 BF16（可能会回退到 FP32 并运行较慢）。 ❌ 您需要与缺乏 BF16 优化的旧设备兼容。

F16（浮点 16） – 比 BF16 更广泛支持

• 一种 16 位浮点格式，具有高精度，但值的范围比 BF16 小。
• 适用于大多数支持 FP16 加速的设备（包括许多 GPU 和一些 CPU）。
• 数值精度略低于 BF16，但通常足以进行推理。

📌 使用 F16 的情况： ✔ 您的硬件支持 FP16 但不支持 BF16。 ✔ 您需要在速度、内存使用和准确性之间取得平衡。 ✔ 您在 GPU 或其他针对 FP16 计算优化的设备上运行。

📌 避免使用 F16 的情况： ❌ 您的设备缺乏原生 FP16 支持（可能运行比预期慢）。 ❌ 您有内存限制。

量化模型（Q4_K、Q6_K、Q8 等） – 用于 CPU 和低显存推理

量化在尽可能保持准确性的同时减小模型大小和内存使用。

• 低比特模型（Q4_K） → 最小内存使用，可能精度较低。
• 高比特模型（Q6_K、Q8_0） → 更好的准确性，需要更多内存。

📌 使用量化模型的情况： ✔ 您在 CPU 上运行推理，需要优化的模型。 ✔ 您的设备显存较低，无法加载全精度模型。 ✔ 您希望在保持合理准确性的同时减少内存占用。

📌 避免使用量化模型的情况： ❌ 您需要最高准确性（全精度模型更适合）。 ❌ 您的硬件有足够的显存用于更高精度的格式（BF16/F16）。

极低比特量化（IQ3_XS、IQ3_S、IQ3_M、Q4_K、Q4_0）

这些模型针对极端内存效率进行了优化，非常适合低功耗设备或内存是关键限制的大规模部署。

• IQ3_XS：超低比特量化（3 比特），具有极高的内存效率。
  • 使用场景：最适合超低内存设备，即使 Q4_K 也太大的情况。
  • 权衡：与高比特量化相比，准确性较低。
• IQ3_S：小块大小，实现最大内存效率。
  • 使用场景：最适合 IQ3_XS 过于激进的低内存设备。
• IQ3_M：中等块大小，比 IQ3_S 具有更好的准确性。
  • 使用场景：适用于 IQ3_S 限制过多的低内存设备。
• Q4_K：4 比特量化，具有逐块优化以提高准确性。
  • 使用场景：最适合 Q6_K 太大的低内存设备。
• Q4_0：纯 4 比特量化，针对 ARM 设备进行了优化。
  • 使用场景：最适合 ARM 设备或低内存环境。

模型格式选择总结表

模型格式	精度	内存使用	设备要求	最佳使用场景
BF16	最高	高	支持 BF16 的 GPU/CPU	具有减少内存的高速推理
F16	高	高	支持 FP16 的设备	BF16 不可用时的 GPU 推理
Q4_K	中低	低	CPU 或低显存设备	内存受限环境的最佳选择
Q6_K	中	中等	内存更多的 CPU	量化模型中在保持量化的同时具有更好的准确性
Q8_0	高	中等	有足够显存的 CPU 或 GPU	量化模型中最佳准确性
IQ3_XS	非常低	非常低	超低内存设备	极端内存效率和低准确性
Q4_0	低	低	ARM 或低内存设备	llama.cpp 可针对 ARM 设备进行优化

包含的文件及详情

orpheus-3b-0.1-ft-bf16.gguf

• 模型权重以 BF16 格式保存。
• 如果您想将模型重新量化为不同格式，请使用此文件。
• 如果您的设备支持 BF16 加速，效果最佳。

orpheus-3b-0.1-ft-f16.gguf

• 模型权重以 F16 格式存储。
• 如果您的设备支持 FP16，尤其是在 BF16 不可用时使用。

orpheus-3b-0.1-ft-bf16-q8_0.gguf

• 输出层和嵌入层保持为 BF16。
• 所有其他层量化为 Q8_0。
• 如果您的设备支持 BF16 且需要量化版本，请使用。

orpheus-3b-0.1-ft-f16-q8_0.gguf

• 输出层和嵌入层保持为 F16。
• 所有其他层量化为 Q8_0。

orpheus-3b-0.1-ft-q4_k.gguf

• 输出层和嵌入层量化为 Q8_0。
• 所有其他层量化为 Q4_K。
• 适用于内存有限的 CPU 推理。

orpheus-3b-0.1-ft-q4_k_s.gguf

• 最小的 Q4_K 变体，以牺牲准确性为代价减少内存使用。
• 最适合极低内存设置。

orpheus-3b-0.1-ft-q6_k.gguf

• 输出层和嵌入层量化为 Q8_0。
• 所有其他层量化为 Q6_K。

orpheus-3b-0.1-ft-q8_0.gguf

• 完全 Q8 量化的模型，以获得更好的准确性。
• 需要更多内存，但提供更高的精度。

orpheus-3b-0.1-ft-iq3_xs.gguf

• IQ3_XS 量化，针对极端内存效率进行了优化。
• 最适合超低内存设备。

orpheus-3b-0.1-ft-iq3_m.gguf

• IQ3_M 量化，提供中等块大小以提高准确性。
• 适用于低内存设备。

orpheus-3b-0.1-ft-q4_0.gguf

• 纯 Q4_0 量化，针对 ARM 设备进行了优化。
• 最适合低内存环境。
• 若追求更高准确性，建议使用 IQ4_NL。

📄 许可证

本项目采用 apache - 2.0 许可证。

🚀 如果您觉得这些模型有用

❤ 如果您觉得这些模型有用，请点击“点赞”！ 帮助我测试我的支持量子安全检查的 AI 网络监控助手： 👉 免费网络监控器

💬 测试方法：

1. 点击聊天图标（任意页面右下角）
2. 选择一个 AI 助手类型：
   • TurboLLM（GPT - 4 - mini）
   • FreeLLM（开源）
   • TestLLM（仅支持 CPU 的实验性模型）

测试内容

我正在挑战用于 AI 网络监控的小型开源模型的极限，具体包括：

• 针对实时网络服务的函数调用
• 模型可以多小，同时仍能处理：
  • 自动化 Nmap 扫描
  • 量子就绪检查
  • Metasploit 集成

🟡 TestLLM – 当前的实验性模型（llama.cpp 在 6 个 CPU 线程上运行）：

• ✅ 零配置设置
• ⏳ 30 秒加载时间（推理速度慢，但无 API 成本）
• 🔧 寻求帮助！ 如果您对边缘设备 AI 感兴趣，让我们一起合作！

其他助手

🟢 TurboLLM – 使用 gpt - 4 - mini 进行：

• 实时网络诊断
• 自动化渗透测试（Nmap/Metasploit）
• 🔑 通过下载我们的免费网络监控代理获取更多令牌

🔵 HugLLM – 开源模型（约 80 亿参数）：

• 比 TurboLLM 多 2 倍的令牌
• AI 驱动的日志分析
• 🌐 在 Hugging Face 推理 API 上运行

💡 测试用的 AI 命令示例：

1. "Give me info on my websites SSL certificate"
2. "Check if my server is using quantum safe encyption for communication"
3. "Run a quick Nmap vulnerability test"

模型使用规范

请勿将我们的模型用于未经同意的模仿、传播错误信息或欺骗行为（包括虚假新闻或欺诈性电话），或任何非法或有害活动。使用此模型即表示您同意遵守所有适用的法律和道德准则。我们对任何使用行为不承担责任。