Deberta V3 Large Zeroshot V1.1 All 33

🚀 deberta-v3-large-zeroshot-v1.1-all-33

このモデルは、Hugging Faceのパイプラインを使用したゼロショット分類に特化して設計されています。与えられたテキストに基づいて、仮説が「真」か「非真」（すなわちentailmentとnot_entailment）かを判断するという汎用的な分類タスクを実行できます。このタスク形式は自然言語推論タスク（NLI）に基づいており、非常に汎用性が高く、あらゆる分類タスクをこのタスクに変換することができます。

🚀 クイックスタート

シンプルなゼロショット分類パイプライン

#!pip install transformers[sentencepiece]
from transformers import pipeline
text = "Angela Merkel is a politician in Germany and leader of the CDU"
hypothesis_template = "This example is about {}"
classes_verbalized = ["politics", "economy", "entertainment", "environment"]
zeroshot_classifier = pipeline("zero-shot-classification", model="MoritzLaurer/deberta-v3-large-zeroshot-v1.1-all-33")
output = zeroshot_classifier(text, classes_verbalised, hypothesis_template=hypothesis_template, multi_label=False)
print(output)

カスタム仮説テンプレートの例

from transformers import pipeline
text = "Angela Merkel is a politician in Germany and leader of the CDU"
hypothesis_template = "Merkel is the leader of the party: {}"
classes_verbalized = ["CDU", "SPD", "Greens"]
zeroshot_classifier = pipeline("zero-shot-classification", model="MoritzLaurer/deberta-v3-large-zeroshot-v1.1-all-33")
output = zeroshot_classifier(text, classes_verbalized, hypothesis_template=hypothesis_template, multi_label=False)
print(output)

✨ 主な機能

• 汎用分類能力：あらゆる分類タスクを仮説が「真」か「非真」かを判断するタスクに変換できます。
• NLIタスクに基づく：タスク形式は自然言語推論タスク（NLI）に基づいており、良好な理論的基礎を持っています。
• 複数データセットでの学習：33のデータセットと387のクラスの混合データで学習されており、より広範な適用性を持っています。

📦 インストール

使用する前にtransformersライブラリをインストールする必要があります。

!pip install transformers[sentencepiece]

📚 ドキュメント

このモデルの学習方法や使用方法の詳細な説明については、この論文を参照してください。

🔧 技術詳細

学習データ

このモデルは、33のデータセットと387のクラスを混合したデータで学習されており、これらのデータはすべて汎用形式に再フォーマットされています。

1. 5つのNLIデータセット：約88.5万件のテキストを含み、それぞれ "mnli"、"anli"、"fever"、"wanli"、"ling" です。
2. 28の分類タスク：汎用NLI形式に再フォーマットされ、過学習を避けるために約5.1万件のクリーニングされたテキストが使用されています。これには 'amazonpolarity'、'imdb'、'appreviews' などが含まれます。

各データセットの詳細情報については、https://github.com/MoritzLaurer/zeroshot-classifier/blob/main/datasets_overview.csv を参照してください。

他のNLIモデルと比較して、このモデルは2つのクラス（entailmentとnot_entailment）を予測し、3つのクラス（entailment/neutral/contradiction）ではありません。

このモデルは英語のデータのみで学習されています。多言語のケースでは、EasyNMT などのライブラリを使用してテキストを英語に機械翻訳することをおすすめします。英語のモデルは通常、多言語モデルよりも性能が良く、コーパス内のすべての言語に精通していない場合、英語のデータで検証する方が容易です。

データと学習の詳細

データの準備、モデルの学習と評価に関するコードは完全にオープンソースであり、https://github.com/MoritzLaurer/zeroshot-classifier/tree/main で確認できます。

ハイパーパラメータやその他の詳細情報は、Weights & Biasesのリポジトリで確認できます：https://wandb.ai/moritzlaurer/deberta-v3-large-zeroshot-v1-1-all-33/table?workspace=user-

評価指標

すべてのデータセットでバランスの取れた正解率が報告されています。deberta-v3-large-zeroshot-v1.1-all-33 はすべてのデータセットで学習されており、過学習を避けるために各クラスで最大500件のテキストが使用されています。したがって、これらのデータセットでの指標は厳密なゼロショット指標ではなく、モデルは学習中に各タスクの一部のデータを見ています。deberta-v3-large-zeroshot-v1.1-heldout は、対応するデータセットでのゼロショット性能を示しています。これらのゼロショット指標を計算するために、パイプラインは28回実行され、毎回1つのデータセットが学習から除外され、ゼロショット設定をシミュレートしています。

制限事項とバイアス

このモデルはテキスト分類タスクのみを処理できます。潜在的なバイアスについては、元のDeBERTa論文と各データセットの関連論文を参照してください。

📄 ライセンス

ベースモデル（DeBERTa-v3）はMITライセンスで公開されています。モデルの微調整に使用されるデータセットは、様々な異なるライセンスで公開されています。以下の表は、微調整に使用される非NLIデータセットの概要、ライセンス情報、基礎論文などの詳細情報を提供しています：https://github.com/MoritzLaurer/zeroshot-classifier/blob/main/datasets_overview.csv

引用

学術研究でこのモデルを使用する場合は、以下の文献を引用してください。

@misc{laurer_building_2023,
	title = {Building {Efficient} {Universal} {Classifiers} with {Natural} {Language} {Inference}},
	url = {http://arxiv.org/abs/2312.17543},
	doi = {10.48550/arXiv.2312.17543},
	abstract = {Generative Large Language Models (LLMs) have become the mainstream choice for fewshot and zeroshot learning thanks to the universality of text generation. Many users, however, do not need the broad capabilities of generative LLMs when they only want to automate a classification task. Smaller BERT-like models can also learn universal tasks, which allow them to do any text classification task without requiring fine-tuning (zeroshot classification) or to learn new tasks with only a few examples (fewshot), while being significantly more efficient than generative LLMs. This paper (1) explains how Natural Language Inference (NLI) can be used as a universal classification task that follows similar principles as instruction fine-tuning of generative LLMs, (2) provides a step-by-step guide with reusable Jupyter notebooks for building a universal classifier, and (3) shares the resulting universal classifier that is trained on 33 datasets with 389 diverse classes. Parts of the code we share has been used to train our older zeroshot classifiers that have been downloaded more than 55 million times via the Hugging Face Hub as of December 2023. Our new classifier improves zeroshot performance by 9.4\%.},
	urldate = {2024-01-05},
	publisher = {arXiv},
	author = {Laurer, Moritz and van Atteveldt, Wouter and Casas, Andreu and Welbers, Kasper},
	month = dec,
	year = {2023},
	note = {arXiv:2312.17543 [cs]},
	keywords = {Computer Science - Artificial Intelligence, Computer Science - Computation and Language},
}

協力提案や質問

協力の提案や質問がある場合は、m{dot}laurer{at}vu{dot}nl まで連絡するか、LinkedIn で交流してください。

デバッグと問題解決

DeBERTa-v3は2021年12月6日にリリースされたため、古いバージョンのHF Transformersでこのモデルを実行すると問題が発生する可能性があります（例えば、トークナイザーが問題を引き起こすことがあります）。Transformers >= 4.13を使用すると、いくつかの問題を解決できる可能性があります。

分類に使用する仮説

以下の表の仮説は、モデルの微調整に使用されています。これらの仮説を確認することで、モデルが学習された仮説の種類とタスクを理解するのに役立ちます。ゼロショットパイプラインのhypothesis_templateを変更することで、独自の仮説を作成することができます。

wellformedquery

biasframes_sex

biasframes_intent

financialphrasebank

rottentomatoes

amazonpolarity

imdb

appreviews

yelpreviews

wikitoxic_toxicaggregated

wikitoxic_obscene

wikitoxic_threat

wikitoxic_insult

wikitoxic_identityhate

hateoffensive

hatexplain

spam

emotiondair

emocontext

empathetic

agnews

yahootopics

massive

banking77

trueteacher

capsotu

manifesto

なお、massiveとbanking77のデータセットの一部の行にはnanが含まれています。これは、一部のクラスがあまりにも曖昧または不明確であるため、データから除外されています。