K

Kobigbird Bert Base

由monologg開發
基於稀疏注意力的韓語Transformer模型,能處理最長4096的序列
下載量 13.19k
發布時間 : 3/2/2022

模型概述

BigBird是一種基於稀疏注意力的Transformer模型,擴展了BERT等模型的長序列處理能力,特別適用於韓語文本處理。

模型特點

長序列處理能力
能處理最長4096的序列,遠超傳統BERT模型
高效注意力機制
採用塊稀疏注意力機制替代常規注意力,顯著降低計算成本
韓語優化
基於韓語BERT檢查點進行熱啟動訓練,針對韓語特性優化
靈活配置
支持全注意力模式和多種稀疏配置參數調整

模型能力

長文本處理
韓語文本理解
序列建模

使用案例

自然語言處理
長文檔分析
處理長篇幅韓語文檔,如法律文書、學術論文等
能有效捕捉長距離依賴關係
韓語文本分類
對韓語文本進行分類任務
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase