H

Hymba 1.5B Base

由nvidia開發
Hymba-1.5B-Base 是 NVIDIA 開發的一款基礎文本生成模型,採用混合架構結合 Mamba 和注意力頭,適用於多種自然語言生成任務。
下載量 3,492
發布時間 : 10/9/2024

模型概述

該模型採用混合架構,結合了並行運行的 Mamba 和注意力頭,通過元標記提升模型效能,支持多種自然語言生成任務。

模型特點

混合架構
結合 Mamba 和注意力頭的並行處理,提升模型效能。
元標記
預置於輸入序列前的可學習標記,存儲重要信息並減輕注意力負擔。
高效內存使用
通過跨層 KV 共享和全局-局部注意力機制優化內存和計算效率。

模型能力

文本生成
自然語言處理
多任務處理

使用案例

自然語言生成
對話生成
用於生成自然語言對話回覆。
在 2B 參數以下的公開模型中表現最優。
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase