Llama 4 Scout 17b 16e It Gguf

🚀 llama-4-scout-17b-16e-instruct-gguf

このプロジェクトはMeta Llamaの基礎モデルに基づいて構築されており、gguf-connectorとllama-cpp-pythonのナイトリーバージョンを使用してテストすることができ、画像テキストからテキストへの変換機能を実現します。

🚀 クイックスタート

ローカルでの実行例の流れ

1. モデルの各パーツをダウンロードする：例えばq2_kバージョンのモデルファイルをダウンロードします。
   • llama-4-scout-17b-16e-it-q2_k-00001-of-00004.gguf
   • llama-4-scout-17b-16e-it-q2_k-00002-of-00004.gguf
   • llama-4-scout-17b-16e-it-q2_k-00003-of-00004.gguf
   • llama-4-scout-17b-16e-it-q2_k-00004-of-00004.gguf
2. モデルファイルを統合する：ダウンロードしたすべてのファイルを空のフォルダに入れ、統合コマンドggc m2を実行します。q2_kバージョンの場合、統合後のggufファイルは約36.8GBになります（一度設定すればOK）。
3. コネクタコマンドを実行する：ggc gppまたはggc cppを実行します。
4. モデルと対話する：統合後のggufファイルを選択し、プロンプトを入力することで、Llama 4と対話することができます。

合計サイズが50GBを超えるモデル

• 統合不要：合計サイズが50GBを超えるモデルの場合、統合操作は不要です（リンクは完了しています）。直接ggc gpp（またはUIを使用する場合はggc cpp）を実行します。
• モデルファイルを選択する：モデルの最初の部分（例えば00001-of-xxxxx）を選択します。
• モデルと対話する：プロンプトを入力することで、Llama 4と対話することができます。

📄 ライセンス

このプロジェクトはllama4ライセンスを採用しています。