Firefunction V2 GGUF

🚀 MaziyarPanahi/firefunction-v2-GGUF

本项目提供了 fireworks-ai/firefunction-v2 模型的 GGUF 格式文件，可用于文本生成、对话交互、函数调用等任务。

🚀 快速开始

本项目的 MaziyarPanahi/firefunction-v2-GGUF 包含了 fireworks-ai/firefunction-v2 模型的 GGUF 格式文件。

关于 GGUF

GGUF 是 llama.cpp 团队在 2023 年 8 月 21 日推出的一种新格式，它取代了不再被 llama.cpp 支持的 GGML 格式。

以下是已知支持 GGUF 的客户端和库的不完全列表：

• llama.cpp：GGUF 的源项目，提供了命令行界面和服务器选项。
• llama-cpp-python：一个支持 GPU 加速、LangChain 集成和兼容 OpenAI API 服务器的 Python 库。
• LM Studio：一个易于使用且功能强大的本地 GUI，适用于 Windows 和 macOS（Silicon），支持 GPU 加速，截至 2023 年 11 月 27 日，Linux 版本处于测试阶段。
• text-generation-webui：最广泛使用的 Web UI，具有许多功能和强大的扩展，支持 GPU 加速。
• KoboldCpp：一个功能齐全的 Web UI，支持所有平台和 GPU 架构的 GPU 加速，尤其适合故事创作。
• GPT4All：一个免费开源的本地运行 GUI，支持 Windows、Linux 和 macOS，具备完整的 GPU 加速功能。
• LoLLMS Web UI：一个很棒的 Web UI，具有许多有趣和独特的功能，包括一个完整的模型库，便于模型选择。
• Faraday.dev：一个有吸引力且易于使用的基于角色的聊天 GUI，适用于 Windows 和 macOS（Silicon 和 Intel），支持 GPU 加速。
• candle：一个专注于性能的 Rust 机器学习框架，包括 GPU 支持和易用性。
• ctransformers：一个支持 GPU 加速、LangChain 集成和兼容 OpenAI AI 服务器的 Python 库。截至 2023 年 11 月 27 日，ctransformers 已有很长时间未更新，不支持许多最新模型。

✨ 主要特性

模型信息

模型优势

• 功能调用能力强：在功能调用方面与 GPT - 4o 竞争，在一系列公开评估中得分 0.81，而 GPT - 4o 为 0.80。
• 继承 Llama 3 能力：基于 Llama 3 训练，保留了 Llama 3 的对话和指令跟随能力，在 MT bench 上得分 0.84，而 Llama 3 为 0.89。
• 质量显著提升：相较于 FireFunction v1，在广泛的指标上有显著的质量提升。
• 支持并行功能调用：与 FireFunction v1 不同，支持并行功能调用，且指令跟随能力良好。
• 成本低速度快：托管在 Fireworks 平台上，成本不到 GPT 4o 的 10%，速度是其 2 倍。

📚 详细文档

原模型介绍

点击试用 | API 文档 | 演示应用 | Discord 社区

FireFunction 是一款具有商业可行性许可证的先进功能调用模型。你可以在我们的 公告博客 中查看详细信息。

特别感谢

🙏 特别感谢 Georgi Gerganov 以及 llama.cpp 项目的整个团队，是他们让这一切成为可能。