🚀 deberta-v3-xsmall-zeroshot-v1.1-all-33
本模型是一個小而高效的零樣本分類模型,基於microsoft/deberta-v3-xsmall微調而來,專為邊緣設備或瀏覽器場景設計,在速度上有顯著優勢。
🚀 快速開始
此模型使用與 MoritzLaurer/deberta-v3-large-zeroshot-v1.1-all-33 模型卡片中描述的相同管道進行微調,具體細節可參考該模型卡片以及這篇 論文。
基礎模型為 microsoft/deberta-v3-xsmall。該模型僅包含2200萬個骨幹參數和1.28億個詞彙表參數。骨幹參數是推理過程中起主要作用的參數,相較於更大的模型,能顯著提升推理速度。模型大小僅為142MB。
本模型經過訓練,旨在為零樣本分類任務提供一個小巧且高效的選擇,尤其適用於邊緣設備或使用transformers.js的瀏覽器用例。
📚 詳細文檔
關於使用說明和其他詳細信息,請參考 MoritzLaurer/deberta-v3-large-zeroshot-v1.1-all-33 模型卡片以及這篇 論文。
🔧 技術細節
為節省時間和計算資源,未對該模型進行零樣本評估。下表展示了模型在所有訓練數據集上的標準準確率(請注意,自然語言推理(NLI)數據集為二分類)。
總體而言,該模型比其更大的姊妹模型效率更高,但性能稍遜一籌。
數據集 |
mnli_m |
mnli_mm |
fevernli |
anli_r1 |
anli_r2 |
anli_r3 |
wanli |
lingnli |
wellformedquery |
rottentomatoes |
amazonpolarity |
imdb |
yelpreviews |
hatexplain |
massive |
banking77 |
emotiondair |
emocontext |
empathetic |
agnews |
yahootopics |
biasframes_sex |
biasframes_offensive |
biasframes_intent |
financialphrasebank |
appreviews |
hateoffensive |
trueteacher |
spam |
wikitoxic_toxicaggregated |
wikitoxic_obscene |
wikitoxic_identityhate |
wikitoxic_threat |
wikitoxic_insult |
manifesto |
capsotu |
準確率 |
0.925 |
0.923 |
0.886 |
0.732 |
0.633 |
0.661 |
0.814 |
0.887 |
0.722 |
0.872 |
0.944 |
0.925 |
0.967 |
0.774 |
0.734 |
0.627 |
0.762 |
0.745 |
0.465 |
0.888 |
0.702 |
0.94 |
0.853 |
0.863 |
0.914 |
0.926 |
0.921 |
0.635 |
0.968 |
0.897 |
0.918 |
0.915 |
0.935 |
0.9 |
0.505 |
0.701 |
推理速度(文本/秒,A10G,批次大小=128) |
1573.0 |
1630.0 |
683.0 |
1282.0 |
1352.0 |
1072.0 |
2325.0 |
2008.0 |
4781.0 |
2743.0 |
677.0 |
228.0 |
238.0 |
2357.0 |
5027.0 |
4323.0 |
3247.0 |
3129.0 |
941.0 |
1643.0 |
335.0 |
1517.0 |
1452.0 |
1498.0 |
2367.0 |
974.0 |
2634.0 |
353.0 |
2284.0 |
260.0 |
252.0 |
256.0 |
254.0 |
259.0 |
1941.0 |
2080.0 |
📄 許可證
本模型採用MIT許可證。
屬性 |
詳情 |
基礎模型 |
microsoft/deberta-v3-xsmall |
語言 |
en |
標籤 |
text-classification、zero-shot-classification |
任務類型 |
zero-shot-classification |
庫名稱 |
transformers |
許可證 |
mit |