Madlad400 10b Mt Gguf

🚀 MADLAD-400-10B-MT - GGUF

本项目提供了MADLAD-400-10B-MT模型的GGUF格式文件，可用于llama.cpp及其兼容软件，实现翻译功能。

🚀 快速开始

本仓库包含了适用于 MADLAD-400-10B-MT 的GGUF格式模型文件，可搭配 llama.cpp 及兼容软件使用。

模型通过 llama.cpp 的 convert_hf_to_gguf.py 脚本转换为 gguf 格式，并使用 llama.cpp 的 llama - quantize 进行量化。llama.cpp 版本为 b3325。

📦 提供的文件

⚠️ 重要提示

上述显存使用数据是在Linux系统的NVIDIA GPU上，所有层都进行GPU卸载时观测得到的。

📄 许可证

本项目采用 Apache - 2.0 许可证。