C

Chinese Bigbird Wwm Base 4096

由Lowin開發
基於BigBird架構的中文預訓練模型,採用全詞掩碼(WWM)策略,支持4096長度的上下文窗口
下載量 13
發布時間 : 3/2/2022

模型概述

該模型是基於Google BigBird架構的中文預訓練語言模型,採用全詞掩碼(Whole Word Masking)策略進行訓練,特別擅長處理長文本序列任務。

模型特點

長文本處理能力
支持4096 tokens的上下文窗口,特別適合處理長文檔任務
全詞掩碼預訓練
採用全詞掩碼(WWM)策略,更適合中文語言特性
稀疏注意力機制
基於BigBird的稀疏注意力機制,在長序列任務中保持高效

模型能力

文本分類
命名實體識別
問答系統
文本摘要
長文檔理解

使用案例

法律文檔處理
合同分析
處理和分析長篇幅法律合同文本
可準確識別合同關鍵條款和實體
醫療文本處理
病歷分析
處理長篇幅電子病歷文本
可提取關鍵醫療實體和診斷信息
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase