Mamba Bagel 2.8b V0.2 GGUF

🚀 gguf

ggufはテキスト生成を行うためのライブラリです。jondurbin/bagel-2.8b-v0.2をベースモデルとしています。

🚀 クイックスタート

これらの重みを使用するには、最新ビルドのllama.cpp（コミットc2101a2）が必要です。詳細はこちらを参照してください。

使い方

./main -e -p "[INST] Write an essay about AI. [/INST]\n" -m ggml-bagel-2.8b-v0.2-q8_0.gguf

📚 ドキュメント

llama.cppのパッチ作成者からのコメントです。

私はこれを実験として、そしてllama.cppでMambaモデルを試したかったから作り始めました（すでにかなりの数のファインチューニングが行われています）。 結果として、新しいモデルアーキテクチャのサポートを実装するのはとても楽しいことです（少なくとも最終的に動作するようになったときは）。 私がLLMを試すために使っている最も強力なマシンは、8GBのRAMとIntel CPUを搭載した低電力のラップトップです（ディスクリートGPUはありません）。そのため、Mamba-3Bを完全なf32形式で試すことはできません（全重みで11GB必要です）が、少なくとも量子化した状態で使うことが可能になりました。

Mambaモデルの大きな利点は、一定のメモリ使用量です。しかし、これは以前の状態がすべてメモリに保持されないことも意味します（少なくとも現在の実装では、最後の状態のみが保持されます）。これは、サーバーの例では必要以上にプロンプトの再処理が行われる可能性があることを意味します。特に、クライアントが出力の末尾をトリミングする場合です（また、停止トークンがサーバーの応答に含まれないことも問題です）。メインの例ではこのような問題はありません。

現在、Mambaの初期テキスト生成速度は、Transformerベースのモデルよりも少し遅いです（コンテキストが空の場合）。しかし、Transformerベースのモデルとは異なり、Mambaの速度は処理されるトークンの量に応じて低下しません。 また、量子化によって状態が不安定になり（出力が意味不明になる）、これがどの程度起こるかはさらなるテストが必要です（私は非常に小さいモデル（130M）でのみこの問題を見たことがあり、大きなモデル（3B）ではまだ見ていません）。

テストする場合は、https://huggingface.co/state-spaces/mamba-130m-hf から変換することをおすすめします。これは小さいモデルであり、config.jsonを変更する必要がなく、トークナイザーがモデルファイルの隣にあり、トークン埋め込みの重みが出力の重みと共有されているため、ダウンロードサイズが小さくなります。

📄 ライセンス

このライブラリはApache-2.0ライセンスの下で提供されています。