Mambahermes 3B GGUF

🚀 gguf

ggufは、テキスト生成を行うためのライブラリです。Q-bert/MambaHermes-3Bをベースモデルとしています。

🚀 クイックスタート

このライブラリの重みを使用するには、llama.cppの最新ビルド（コミットc2101a2）が必要です。詳細はこちらを参照してください。

llama.cppパッチの作成者によるコメント:

私はこれを実験として始めました。また、llama.cppでMambaモデルを試したかったからです（すでにかなり多くの微調整が行われています）。 結果として、新しいモデルアーキテクチャのサポートを実装するのはとても楽しいことでした（少なくとも、最終的に動作するようになったときは）。 私がLLMを試すために使用する最も強力なマシンは、8GBのRAMとIntel CPUを搭載した低消費電力のラップトップです（ディスクリートGPUはありません）。そのため、Mamba-3Bを完全なf32形式で試すことはできません（全重みは11GBを占めます）が、少なくとも現在では量子化して使用することが可能です。

一定のメモリ使用量はMambaモデルの大きな利点ですが、これは以前の状態がすべてメモリに保持されないことも意味します（少なくとも現在の実装では、最後の状態のみが保持されます）。これは、サーバーの例では必要以上にプロンプトの再処理が行われる可能性があることを意味します。特に、クライアントが出力の末尾をトリミングする場合です（また、停止トークンがサーバーの応答に含まれないことも問題です）。メインの例ではこのような問題はありません。

現在、Mambaの初期テキスト生成速度は、Transformerベースのモデルよりも少し遅いです（空のコンテキストの場合）。しかし、Transformerベースのモデルとは異なり、Mambaの速度は処理されるトークンの量によって低下しません。 また、量子化によって状態が不安定になり（出力が意味不明になる）、これがどの程度発生するかはさらなるテストが必要です（私は非常に小さいモデル（130M）でのみこの問題を見たことがあり、大きなモデル（3B）ではまだ見ていません）。

テストには、https://huggingface.co/state-spaces/mamba-130m-hf から変換することをおすすめします。このモデルは小さく、config.jsonを変更する必要がなく、トークナイザーがモデルファイルの隣にあり、トークン埋め込みの重みが出力の重みと共有されているため、ダウンロードサイズが小さいです。

📄 ライセンス

このライブラリはWTFPLライセンスの下で提供されています。