Mambahermes 3B GGUF

🚀 GGUF

GGUF 是用於文本生成的庫，基於 Q-bert/MambaHermes-3B 模型，為文本生成任務提供支持。

🚀 快速開始

這些權重需要 llama.cpp 的最新版本（即提交版本為 c2101a2）。更多詳細信息請參考 此處。

📄 許可證

本項目採用 WTFPL 許可證。

📚 詳細文檔

來自 llama.cpp 補丁作者的說明：

我開始做這個是出於實驗目的，並且想在 llama.cpp 中嘗試 Mamba 模型（而且已經有不少微調版本了）。事實證明，為一種新的模型架構實現支持是非常有趣的（至少當它最終能正常工作時是這樣）。我用來測試大語言模型的最強大的設備是一臺配備 8GB 內存和英特爾 CPU（沒有獨立顯卡）的低功耗筆記本電腦，所以我無法以完整的 f32 精度運行 Mamba-3B（完整權重需要 11GB 內存），但至少現在可以使用量化版本了。

Mamba 模型的一個很大優勢是內存使用恆定，但這也意味著之前的狀態不會全部保存在內存中（至少在當前實現中，只保存最後一個狀態），這意味著在服務器示例中可能會有不必要的提示重新處理，特別是如果客戶端裁剪了輸出的末尾（服務器響應中不包含停止標記也是個問題）。而主示例則沒有這個問題。

目前，Mamba 在初始文本生成速度上（在空上下文情況下）比基於 Transformer 的模型稍慢，但與它們不同的是，Mamba 的速度不會隨著處理的令牌數量增加而下降。另外需要注意的是，量化可能會使狀態不穩定（導致輸出亂碼），但這需要更多測試來確定這種情況發生的頻率（因為我只在非常小的模型（130M）中看到過這種情況，在更大的模型（3B）中還未遇到）。

對於測試，我建議從 https://huggingface.co/state-spaces/mamba-130m-hf 進行轉換，因為它體積小，config.json 無需修改，分詞器就在模型文件旁邊，並且詞嵌入權重與輸出權重共享，所以下載量更小。

⚠️ 重要提示

這些權重需要 llama.cpp 的最新版本（即提交版本為 c2101a2）。更多詳細信息請參考 此處。

💡 使用建議

對於測試，建議從 https://huggingface.co/state-spaces/mamba-130m-hf 進行轉換，因為它體積小，config.json 無需修改，分詞器就在模型文件旁邊，並且詞嵌入權重與輸出權重共享，所以下載量更小。