Deberta V3 Base Tasksource Nli

🚀 DeBERTa-v3-base-tasksource-nli

このモデルは、DeBERTa-v3-base を tasksource collection の600以上のタスクでマルチタスク学習によりファインチューニングしたものです。多くのタスクで強力なゼロショット検証性能を持ち、様々な自然言語処理タスクに利用できます。

🚀 クイックスタート

このモデルは、以下のような様々な用途に使用できます。

• 任意のラベルに対するゼロショット含意ベースの分類 [ZS]
• 自然言語推論 [NLI]
• タスクソースアダプターを使用した数百の以前のタスク [TA]
• 新しいタスクまたはタスクソースタスクでのさらなるファインチューニング [FT]

✨ 主な機能

• ゼロショット分類：特別に構築されたNLIデータセットを用いて、任意のラベルに対するゼロショット分類が可能です。
• 自然言語推論：前提文と仮説文の関係を判断する自然言語推論タスクに適しています。
• タスクソースアダプター：1行のコードで数百のタスクにアクセスできます。
• ファインチューニング：新しいタスクやタスクソースタスクでのファインチューニングが容易です。

📦 インストール

必要なライブラリをインストールすることで、このモデルを使用できます。

!pip install transformers tasknet

💻 使用例

基本的な使用法

[ZS] ゼロショット分類パイプライン

from transformers import pipeline
classifier = pipeline("zero-shot-classification",model="sileod/deberta-v3-base-tasksource-nli")

text = "one day I will see the world"
candidate_labels = ['travel', 'cooking', 'dancing']
classifier(text, candidate_labels)

[NLI] 自然言語推論パイプライン

from transformers import pipeline
pipe = pipeline("text-classification",model="sileod/deberta-v3-base-tasksource-nli")
pipe([dict(text='there is a cat',
  text_pair='there is a black cat')]) #list of (premise,hypothesis)
# [{'label': 'neutral', 'score': 0.9952911138534546}]

[TA] タスクソースアダプター: 1行で数百のタスクにアクセス

# !pip install tasknet
import tasknet as tn
pipe = tn.load_pipeline('sileod/deberta-v3-base-tasksource-nli','glue/sst2') # works for 500+ tasksource tasks
pipe(['That movie was great !', 'Awful movie.'])
# [{'label': 'positive', 'score': 0.9956}, {'label': 'negative', 'score': 0.9967}]

[FT] タスクネット: 3行でファインチューニング

# !pip install tasknet
import tasknet as tn
hparams=dict(model_name='sileod/deberta-v3-base-tasksource-nli', learning_rate=2e-5)
model, trainer = tn.Model_Trainer([tn.AutoTask("glue/rte")], hparams)
trainer.train()

📚 ドキュメント

評価

このモデルは、IBMのモデルリサイクル評価によると、microsoft/deberta-v3-baseアーキテクチャのすべてのモデルの中で1位にランクされました。 https://ibm.github.io/model-recycling/

ソフトウェアと学習の詳細

このモデルは、600のタスクに対して200kステップ、バッチサイズ384、ピーク学習率2e-5で学習されました。学習にはNvidia A30 24GB GPUを使用し、15日間かかりました。これはMNLI分類器を搭載した共有モデルです。各タスクには特定のCLS埋め込みがあり、10%の確率でドロップアウトされることで、それを使用せずにモデルを利用しやすくしています。すべての多肢選択モデルは同じ分類レイヤーを使用しています。分類タスクの場合、ラベルが一致する場合はモデルが重みを共有します。

学習コード: https://colab.research.google.com/drive/1iB4Oxl9_B5W3ZDzXoWJN-olUbqLBxgQS?usp=sharing

🔧 技術詳細

• モデルタイプ：DeBERTa-v3-baseをファインチューニングしたモデル
• 学習データ：tasksource collection の600以上のタスク

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

📖 引用

詳細については、以下の論文を参照してください。

@article{sileo2023tasksource,
  title={tasksource: Structured Dataset Preprocessing Annotations for Frictionless Extreme Multi-Task Learning and Evaluation},
  author={Sileo, Damien},
  url= {https://arxiv.org/abs/2301.05948},
  journal={arXiv preprint arXiv:2301.05948},
  year={2023}
}

📞 モデルカードの問い合わせ

damien.sileo@inria.fr

⚠️ 重要提示

このモデルは非推奨となっています。より長いコンテキストとより高い精度が必要な場合は、https://huggingface.co/tasksource/deberta-small-long-nli を使用してください。