Mamba Bagel 2.8b V0.2 GGUF

🚀 gguf庫

gguf庫是一個用於文本生成的庫，基於jondurbin/bagel-2.8b-v0.2基礎模型，能為用戶提供高效的文本生成能力。

🚀 快速開始

運行要求

請注意，這些權重需要使用最新版本的llama.cpp（即提交版本為c2101a2）。更多詳細信息請參考此處。

使用示例

./main -e -p "[INST] Write an essay about AI. [/INST]\n" -m ggml-bagel-2.8b-v0.2-q8_0.gguf

🔧 技術細節

開發者觀點

llama.cpp補丁的開發者分享了一些關於該模型的見解：

我開始這項工作是出於實驗目的，並且想嘗試在llama.cpp中使用Mamba模型（此外，已經有相當多的微調版本）。事實證明，為一種新的模型架構實現支持是非常有趣的（至少當它最終能夠正常工作時）。我用於測試大語言模型的最強大的設備是一臺配備8GB內存和英特爾CPU（無獨立顯卡）的低功耗筆記本電腦，因此我無法以完整的f32精度運行Mamba - 3B模型（完整權重需要11GB），但至少現在可以使用量化版本。

Mamba模型的一個顯著優點是內存使用恆定，但這也意味著並非所有的先前狀態都保存在內存中（至少在當前實現中，只保留最後一個狀態）。這可能導致在服務器示例中出現比必要情況更多的提示重新處理，特別是當客戶端裁剪輸出末尾時（服務器響應中不包含停止標記也是一個問題）。而主示例則沒有這個問題。

目前，Mamba模型在初始文本生成速度上（在空上下文情況下）比基於Transformer的模型稍慢，但與它們不同的是，Mamba的速度不會隨著處理的令牌數量增加而下降。此外，量化可能會使狀態不穩定（導致輸出亂碼），但這需要更多測試來確定這種情況發生的頻率（因為我只在非常小的模型（130M）中看到過這種情況，在較大的模型（3B）中尚未出現）。

測試建議

對於測試，建議從https://huggingface.co/state-spaces/mamba-130m-hf進行轉換，因為它規模較小，config.json無需修改，分詞器就在模型文件旁邊，並且令牌嵌入權重與輸出權重共享，因此下載量更小。

📄 許可證

本項目採用Apache - 2.0許可證。