Chinese Bigbird Wwm Base 4096
基於BigBird架構的中文預訓練模型,採用全詞掩碼(WWM)策略,支持4096長度的上下文窗口
下載量 13
發布時間 : 3/2/2022
模型概述
該模型是基於Google BigBird架構的中文預訓練語言模型,採用全詞掩碼(Whole Word Masking)策略進行訓練,特別擅長處理長文本序列任務。
模型特點
長文本處理能力
支持4096 tokens的上下文窗口,特別適合處理長文檔任務
全詞掩碼預訓練
採用全詞掩碼(WWM)策略,更適合中文語言特性
稀疏注意力機制
基於BigBird的稀疏注意力機制,在長序列任務中保持高效
模型能力
文本分類
命名實體識別
問答系統
文本摘要
長文檔理解
使用案例
法律文檔處理
合同分析
處理和分析長篇幅法律合同文本
可準確識別合同關鍵條款和實體
醫療文本處理
病歷分析
處理長篇幅電子病歷文本
可提取關鍵醫療實體和診斷信息
精選推薦AI模型
Llama 3 Typhoon V1.5x 8b Instruct
專為泰語設計的80億參數指令模型,性能媲美GPT-3.5-turbo,優化了應用場景、檢索增強生成、受限生成和推理任務
大型語言模型
Transformers 支持多種語言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一個基於SODA數據集訓練的超小型對話模型,專為邊緣設備推理設計,體積僅為Cosmo-3B模型的2%左右。
對話系統
Transformers 英語

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基於RoBERTa架構的中文抽取式問答模型,適用於從給定文本中提取答案的任務。
問答系統 中文
R
uer
2,694
98