M

Medium Base

由funnel-transformer開發
基於英語語料預訓練的Transformer模型,採用類似ELECTRA的自監督學習方式,通過預測被替換標記進行訓練。
下載量 69
發布時間 : 3/2/2022

模型概述

該模型通過自監督學習在海量英語文本上預訓練,適用於提取文本特徵或進行下游任務微調,特別適合需要句子摘要的任務。

模型特點

高效序列處理
通過漏斗式結構壓縮序列長度,輸出僅為輸入長度的四分之一,提高處理效率。
自監督預訓練
採用類似ELECTRA的對抗訓練方式,通過預測被替換標記學習語言表徵。
不區分大小寫
將大小寫不同的相同單詞視為同一標記,簡化文本處理。

模型能力

文本特徵提取
序列分類
標記分類
問答系統

使用案例

文本分析
情感分析
對句子或段落進行情感傾向分類
文本分類
將文本分類到預定義的類別中
信息提取
命名實體識別
識別文本中的人名、地名、組織名等實體
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase