🚀 [MaziyarPanahi/firefunction-v2-GGUF]

[MaziyarPanahi/firefunction-v2-GGUF]は、[fireworks-ai/firefunction-v2]のGGUF形式のモデルファイルを含んでいます。このモデルは、テキスト生成や会話、関数呼び出しなどのタスクに使用できます。

🚀 クイックスタート

このモデルを使用するには、まずGGUF形式のモデルファイルをダウンロードし、サポートされているクライアントまたはライブラリを使用して推論を実行します。

✨ 主な機能

• 多ビット量子化：2ビットから8ビットまでの量子化モデルをサポート。
• GGUF形式：llama.cppチームによって導入された新しい形式で、GGMLの代替となります。
• 関数呼び出し：高度な関数呼び出し機能を備えた最先端のモデル。
• 低コストと高速：Fireworksプラットフォームでホストされ、GPT 4oのコストの10%未満で2倍の速度で動作します。

📦 インストール

このモデルを使用するには、サポートされているクライアントまたはライブラリをインストールする必要があります。以下はいくつかの例です。

llama.cpp

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make

llama-cpp-python

pip install llama-cpp-python

💻 使用例

以下は、llama-cpp-pythonを使用してこのモデルを使用する基本的な例です。

基本的な使用法

from llama_cpp import Llama

# モデルのパスを指定
llm = Llama(model_path="path/to/MaziyarPanahi/firefunction-v2-GGUF")

# テキスト生成
output = llm("こんにちは", max_tokens=100, temperature=0.8)
print(output)

📚 ドキュメント

• API Docs：関数呼び出しのAPIドキュメント。
• announcement blog：FireFunction V2の詳細情報。

🔧 技術詳細

About GGUF

GGUFは、2023年8月21日にllama.cppチームによって導入された新しい形式です。GGMLの代替となり、現在はllama.cppではGGMLがサポートされなくなっています。

以下は、GGUFをサポートしている既知のクライアントとライブラリの不完全なリストです。

サポートされているクライアントとライブラリ

• llama.cpp：GGUFのソースプロジェクトで、CLIとサーバーオプションを提供します。
• llama-cpp-python：GPUアクセラレーション、LangChainサポート、OpenAI互換のAPIサーバーを備えたPythonライブラリ。
• LM Studio：WindowsとmacOS (Silicon)用の使いやすく強力なローカルGUIで、GPUアクセラレーションをサポートしています。2023年11月27日現在、Linux版はベータ版です。
• text-generation-webui：最も広く使用されているWeb UIで、多くの機能と強力な拡張機能を備えています。GPUアクセラレーションをサポートしています。
• KoboldCpp：すべてのプラットフォームとGPUアーキテクチャでGPUアクセラレーションをサポートする完全な機能を備えたWeb UIです。特にストーリーテリングに優れています。
• GPT4All：Windows、Linux、macOSをサポートする無料でオープンソースのローカル実行GUIで、完全なGPUアクセラレーションを備えています。
• LoLLMS Web UI：多くの興味深い独自の機能を備えた素晴らしいWeb UIで、簡単なモデル選択のための完全なモデルライブラリも含まれています。
• Faraday.dev：WindowsとmacOS (SiliconとIntelの両方)用の魅力的で使いやすいキャラクターベースのチャットGUIで、GPUアクセラレーションをサポートしています。
• candle：パフォーマンスに重点を置いたRustのMLフレームワークで、GPUサポートと使いやすさを備えています。
• ctransformers：GPUアクセラレーション、LangChainサポート、OpenAI互換のAIサーバーを備えたPythonライブラリ。ただし、2023年11月27日現在、ctransformersは長時間更新されておらず、多くの最近のモデルをサポートしていません。

📄 ライセンス

このモデルは、llama3ライセンスの下で提供されています。

特別な感謝

🙏 Georgi Gerganovとllama.cppに取り組んでいるチーム全体に、このすべてを可能にしてくれたことに特別な感謝を送ります。

元のREADME

FireFunction V2: Fireworks Function Calling Model

Fireworksで試す | APIドキュメント | デモアプリ | Discord

FireFunctionは、商業的に実行可能なライセンスを持つ最先端の関数呼び出しモデルです。詳細情報は、発表ブログで確認できます。主要な情報とハイライトは以下の通りです。

他のモデルとの比較:

• 関数呼び出しでGPT-4oと競争力があり、公開評価のメドレーで0.81対0.80のスコアを獲得しました。
• Llama 3をベースに学習されており、Llama 3の会話と命令追従能力を保持しており、MTベンチで0.84対Llama 3の0.89のスコアを獲得しました。
• FireFunction v1に比べて幅広い指標で大幅な品質向上が見られます。

一般情報:

🐾 FireFunctionモデルの後継者です。

🔆 並列関数呼び出しのサポート (FireFunction v1とは異なり) と良好な命令追従能力を備えています。

💡 Fireworksプラットフォームでホストされ、GPT 4oのコストの10%未満で2倍の速度で動作します。