Madlad400 10b Mt Gguf

🚀 MADLAD-400-10B-MT - GGUF

本項目提供了MADLAD-400-10B-MT模型的GGUF格式文件，可用於llama.cpp及其兼容軟件，實現翻譯功能。

🚀 快速開始

本倉庫包含了適用於 MADLAD-400-10B-MT 的GGUF格式模型文件，可搭配 llama.cpp 及兼容軟件使用。

模型通過 llama.cpp 的 convert_hf_to_gguf.py 腳本轉換為 gguf 格式，並使用 llama.cpp 的 llama - quantize 進行量化。llama.cpp 版本為 b3325。

📦 提供的文件

⚠️ 重要提示

上述顯存使用數據是在Linux系統的NVIDIA GPU上，所有層都進行GPU卸載時觀測得到的。

📄 許可證

本項目採用 Apache - 2.0 許可證。