Xtremedistil L6 H256 Zeroshot V1.1 All 33

🚀 xtremedistil-l6-h256-zeroshot-v1.1-all-33

このモデルは、非常に小さく、高効率なゼロショット分類を提供するために訓練されています。特にエッジデバイスやtransformers.jsを使用したブラウザ内のユースケースに適しています。

🚀 クイックスタート

このモデルは、MoritzLaurer/deberta-v3-large-zeroshot-v1.1-all-33のモデルカードとこの論文で説明されているのと同じパイプラインを使用して微調整されました。

基礎モデルは、microsoft/xtremedistil-l6-h256-uncasedです。このモデルは、バックボーンパラメータが2200万、語彙パラメータが3000万しかありません。バックボーンパラメータは推論中にアクティブな主要なパラメータであり、大規模なモデルに比べて大幅な高速化を実現します。モデルのサイズは25MBと小さいです。

✨ 主な機能

• 非常に小さく、高効率なゼロショット分類を提供します。
• エッジデバイスやブラウザ内のユースケースに適しています。
• 推論時のバックボーンパラメータが少なく、大規模なモデルに比べて高速です。

📚 ドキュメント

使用方法やその他の詳細については、MoritzLaurer/deberta-v3-large-zeroshot-v1.1-all-33のモデルカードとこの論文を参照してください。

🔧 技術詳細

このモデルは、時間とコンピューティング資源を節約するために、ゼロショット評価は行っていません。以下の表は、モデルが訓練されたすべてのデータセットの標準的な正解率を示しています（NLIデータセットは二値分類です）。

一般的に、このモデルは大規模なモデルよりもはるかに効率的ですが、性能は劣ります。

📄 ライセンス

このモデルはMITライセンスの下で公開されています。