D

Distilbert Mlm 250k

由vocab-transformers開發
DistilBERT 是 BERT 的輕量級蒸餾版本,保留了 BERT 的大部分性能,但參數量更少,推理速度更快。
下載量 17
發布時間 : 4/2/2022

模型概述

DistilBERT 是一個基於 BERT 的輕量級語言模型,通過知識蒸餾技術訓練而成。它適用於各種自然語言處理任務,如文本分類、問答和命名實體識別。

模型特點

輕量高效
DistilBERT 通過知識蒸餾技術減少了參數量,同時保留了 BERT 的大部分性能,推理速度更快。
多任務支持
適用於多種自然語言處理任務,包括文本分類、問答和命名實體識別等。
預訓練模型
在多個大型數據集(C4、MSMARCO、維基百科、S2ORC 和新聞數據集)上進行了預訓練。

模型能力

文本分類
問答系統
命名實體識別
文本相似度計算

使用案例

文本分類
情感分析
對文本進行情感傾向性分析,判斷其是正面、負面還是中性。
在多個情感分析數據集上表現良好。
問答系統
開放域問答
回答用戶提出的各種問題,適用於客服機器人和智能助手。
在 MSMARCO 等問答數據集上表現良好。
命名實體識別
實體抽取
從文本中識別並分類命名實體,如人名、地名和組織名。
在 CoNLL-2003 等數據集上表現良好。
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase