Llama 4 Scout 17b 16e It Gguf

🚀 llama-4-scout-17b-16e-instruct-gguf

本项目基于Meta Llama的基础模型构建，可通过gguf-connector与llama-cpp-python的夜间版本进行测试，实现图像文本到文本的转换功能。

🚀 快速开始

本地运行示例流程

1. 下载模型的不同部分：例如q2_k版本的模型文件：
   • llama-4-scout-17b-16e-it-q2_k-00001-of-00004.gguf
   • llama-4-scout-17b-16e-it-q2_k-00002-of-00004.gguf
   • llama-4-scout-17b-16e-it-q2_k-00003-of-00004.gguf
   • llama-4-scout-17b-16e-it-q2_k-00004-of-00004.gguf
2. 合并模型文件：将下载的所有文件放入一个空文件夹，然后执行合并命令：ggc m2。对于q2_k版本，合并后的gguf文件约为36.8GB（仅需设置一次）。
3. 执行连接器命令：执行ggc gpp或ggc cpp。
4. 与模型交互：选择合并后的gguf文件，然后输入提示信息，即可与Llama 4进行交互。

总大小超过50GB的模型

• 无需合并：对于总大小超过50GB的模型，无需进行合并操作（已完成链接），直接执行ggc gpp（或ggc cpp以使用UI界面）。
• 选择模型文件：选择模型的第一部分（例如00001-of-xxxxx）。
• 与模型交互：输入提示信息，即可与Llama 4进行交互。

📄 许可证

本项目采用llama4许可证。