Deberta V3 Xsmall Zeroshot V1.1 All 33

🚀 deberta-v3-xsmall-zeroshot-v1.1-all-33

このモデルは、MoritzLaurer/deberta-v3-large-zeroshot-v1.1-all-33 のモデルカードと、この論文で説明されているのと同じパイプラインを使用してファインチューニングされました。

基礎モデルは microsoft/deberta-v3-xsmall です。このモデルはバックボーンパラメータが2200万、語彙パラメータが1億2800万しかありません。推論時にアクティブな主なパラメータはバックボーンパラメータであり、大規模なモデルに比べて大幅な高速化が実現されます。モデルのサイズは142MBと小さいです。

このモデルは、特にエッジデバイスや transformers.js を使用したブラウザ内のユースケースに適した、小型で高効率なゼロショットオプションを提供するためにトレーニングされました。

🚀 クイックスタート

このモデルの使用方法やその他の詳細については、MoritzLaurer/deberta-v3-large-zeroshot-v1.1-all-33 のモデルカードとこの論文を参照してください。

🔧 技術詳細

時間とコンピューティングリソースを節約するため、このモデルのゼロショット評価は行っていません。以下の表は、モデルがトレーニングされたすべてのデータセットに対する標準的な精度を示しています（NLIデータセットは2値分類です）。

一般的な結論として、このモデルは大規模なモデルよりもはるかに効率的ですが、性能はやや劣ります。

📄 ライセンス

このモデルは MIT ライセンスの下で提供されています。