Llama 4 Scout 17b 16e It Gguf

🚀 llama-4-scout-17b-16e-instruct-gguf

本項目基於Meta Llama的基礎模型構建，可通過gguf-connector與llama-cpp-python的夜間版本進行測試，實現圖像文本到文本的轉換功能。

🚀 快速開始

本地運行示例流程

1. 下載模型的不同部分：例如q2_k版本的模型文件：
   • llama-4-scout-17b-16e-it-q2_k-00001-of-00004.gguf
   • llama-4-scout-17b-16e-it-q2_k-00002-of-00004.gguf
   • llama-4-scout-17b-16e-it-q2_k-00003-of-00004.gguf
   • llama-4-scout-17b-16e-it-q2_k-00004-of-00004.gguf
2. 合併模型文件：將下載的所有文件放入一個空文件夾，然後執行合併命令：ggc m2。對於q2_k版本，合併後的gguf文件約為36.8GB（僅需設置一次）。
3. 執行連接器命令：執行ggc gpp或ggc cpp。
4. 與模型交互：選擇合併後的gguf文件，然後輸入提示信息，即可與Llama 4進行交互。

總大小超過50GB的模型

• 無需合併：對於總大小超過50GB的模型，無需進行合併操作（已完成鏈接），直接執行ggc gpp（或ggc cpp以使用UI界面）。
• 選擇模型文件：選擇模型的第一部分（例如00001-of-xxxxx）。
• 與模型交互：輸入提示信息，即可與Llama 4進行交互。

📄 許可證

本項目採用llama4許可證。