Madlad400 10b Mt Gguf

🚀 MADLAD-400-10B-MT - GGUF

このプロジェクトは、MADLAD-400-10B-MTのGGUF形式のモデルファイルを提供します。これらのファイルは、翻訳タスクに特化したモデルで、llama.cppや互換性のあるソフトウェアで使用できます。

🚀 クイックスタート

このリポジトリには、MADLAD-400-10B-MT のGGUF形式のモデルファイルが含まれており、llama.cpp や互換性のあるソフトウェアで使用できます。

モデルはllama.cppの convert_hf_to_gguf.py を使用してgguf形式に変換され、llama.cppのllama - quantizeを使用して量子化されています。llama.cppのバージョンは b3325 です。

✨ 主な機能

• 翻訳タスクに特化したモデルです。
• GGUF形式で提供されており、llama.cppや互換性のあるソフトウェアで使用できます。

📚 ドキュメント

提供されているファイル

⚠️ 重要提示

上記のVRAM使用量の数値は、すべてのレイヤーをGPUにオフロードした場合のLinuxのNVIDIA GPUでの観測値です。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。