🚀 deberta-v3-xsmall-zeroshot-v1.1-all-33
本模型是一个小而高效的零样本分类模型,基于microsoft/deberta-v3-xsmall微调而来,专为边缘设备或浏览器场景设计,在速度上有显著优势。
🚀 快速开始
此模型使用与 MoritzLaurer/deberta-v3-large-zeroshot-v1.1-all-33 模型卡片中描述的相同管道进行微调,具体细节可参考该模型卡片以及这篇 论文。
基础模型为 microsoft/deberta-v3-xsmall。该模型仅包含2200万个骨干参数和1.28亿个词汇表参数。骨干参数是推理过程中起主要作用的参数,相较于更大的模型,能显著提升推理速度。模型大小仅为142MB。
本模型经过训练,旨在为零样本分类任务提供一个小巧且高效的选择,尤其适用于边缘设备或使用transformers.js的浏览器用例。
📚 详细文档
关于使用说明和其他详细信息,请参考 MoritzLaurer/deberta-v3-large-zeroshot-v1.1-all-33 模型卡片以及这篇 论文。
🔧 技术细节
为节省时间和计算资源,未对该模型进行零样本评估。下表展示了模型在所有训练数据集上的标准准确率(请注意,自然语言推理(NLI)数据集为二分类)。
总体而言,该模型比其更大的姊妹模型效率更高,但性能稍逊一筹。
数据集 |
mnli_m |
mnli_mm |
fevernli |
anli_r1 |
anli_r2 |
anli_r3 |
wanli |
lingnli |
wellformedquery |
rottentomatoes |
amazonpolarity |
imdb |
yelpreviews |
hatexplain |
massive |
banking77 |
emotiondair |
emocontext |
empathetic |
agnews |
yahootopics |
biasframes_sex |
biasframes_offensive |
biasframes_intent |
financialphrasebank |
appreviews |
hateoffensive |
trueteacher |
spam |
wikitoxic_toxicaggregated |
wikitoxic_obscene |
wikitoxic_identityhate |
wikitoxic_threat |
wikitoxic_insult |
manifesto |
capsotu |
准确率 |
0.925 |
0.923 |
0.886 |
0.732 |
0.633 |
0.661 |
0.814 |
0.887 |
0.722 |
0.872 |
0.944 |
0.925 |
0.967 |
0.774 |
0.734 |
0.627 |
0.762 |
0.745 |
0.465 |
0.888 |
0.702 |
0.94 |
0.853 |
0.863 |
0.914 |
0.926 |
0.921 |
0.635 |
0.968 |
0.897 |
0.918 |
0.915 |
0.935 |
0.9 |
0.505 |
0.701 |
推理速度(文本/秒,A10G,批次大小=128) |
1573.0 |
1630.0 |
683.0 |
1282.0 |
1352.0 |
1072.0 |
2325.0 |
2008.0 |
4781.0 |
2743.0 |
677.0 |
228.0 |
238.0 |
2357.0 |
5027.0 |
4323.0 |
3247.0 |
3129.0 |
941.0 |
1643.0 |
335.0 |
1517.0 |
1452.0 |
1498.0 |
2367.0 |
974.0 |
2634.0 |
353.0 |
2284.0 |
260.0 |
252.0 |
256.0 |
254.0 |
259.0 |
1941.0 |
2080.0 |
📄 许可证
本模型采用MIT许可证。
属性 |
详情 |
基础模型 |
microsoft/deberta-v3-xsmall |
语言 |
en |
标签 |
text-classification、zero-shot-classification |
任务类型 |
zero-shot-classification |
库名称 |
transformers |
许可证 |
mit |