Molmo 7B D Bnb 4bit

🚀 Molmo-7B-D BnB 4bit quant

Molmo-7B-DのBnB 4bit量子化モデルです。このモデルは、元の30GBのモデルを7GBに圧縮し、約12GBのVRAMが必要です。

🚀 クイックスタート

Molmo-7B-D BnB 4bit量子化モデルは、メモリ使用量を大幅に削減しながらも、高い性能を維持します。以下のリンクから、ベースモデルの詳細情報やサンプルコードを参照できます。

• ベースモデルの詳細: https://huggingface.co/allenai/Molmo-7B-D-0924
• サンプルコード: https://github.com/cyan2k/molmo-7b-bnb-4bit

📄 ライセンス

このライブラリはApache-2.0ライセンスの下で提供されています。