Bge M3 Zeroshot V2.0 C

🚀 bge-m3-zeroshot-v2.0-c

このモデルは、Hugging Faceパイプラインを用いた効率的なゼロショット分類に特化しています。訓練データがなくても分類が可能で、GPUとCPUの両方で動作します。

🚀 クイックスタート

このモデルは、Hugging Faceパイプラインを用いてゼロショット分類を行うことができます。以下のコード例を参考に、モデルを使用してみましょう。

✨ 主な機能

• ゼロショット分類：訓練データがなくても分類が可能です。
• 汎用性：任意の分類タスクを自然言語推論タスク（NLI）形式に変換して実行できます。
• 商用利用可能：一部のモデルは完全に商用利用可能なデータで訓練されています。

📦 インストール

モデルを使用するには、transformersライブラリをインストールする必要があります。

!pip install transformers[sentencepiece]

💻 使用例

基本的な使用法

#!pip install transformers[sentencepiece]
from transformers import pipeline
text = "Angela Merkel is a politician in Germany and leader of the CDU"
hypothesis_template = "This text is about {}"
classes_verbalized = ["politics", "economy", "entertainment", "environment"]
zeroshot_classifier = pipeline("zero-shot-classification", model="MoritzLaurer/deberta-v3-large-zeroshot-v2.0")  # ここでモデル識別子を変更
output = zeroshot_classifier(text, classes_verbalized, hypothesis_template=hypothesis_template, multi_label=False)
print(output)

multi_label=False は、モデルに1つのクラスのみを選択させます。multi_label=True は、複数のクラスを選択できるようにします。

📚 ドキュメント

zeroshot-v2.0シリーズのモデル

このシリーズのモデルは、Hugging Faceパイプラインを用いた効率的なゼロショット分類を目的として設計されています。これらのモデルは、訓練データがなくても分類を行うことができ、GPUとCPUの両方で動作します。最新のゼロショット分類器の概要は、Zeroshot Classifier Collection で確認できます。

zeroshot-v2.0 シリーズのモデルの主な更新点は、いくつかのモデルが、ライセンス要件が厳しいユーザー向けに、完全に商用利用可能なデータで訓練されたことです。

これらのモデルは、1つの汎用的な分類タスクを実行できます。つまり、テキストが与えられたときに、仮説が「真」か「真でない」かを判断することができます（entailment 対 not_entailment）。このタスク形式は、自然言語推論タスク（NLI）に基づいています。このタスクは非常に汎用的で、任意の分類タスクをHugging Faceパイプラインによってこのタスクに変換することができます。

訓練データ

名前に "-c" が含まれるモデルは、2種類の完全に商用利用可能なデータで訓練されています。

1. Mixtral-8x7B-Instruct-v0.1 を用いて生成された合成データ。まず、Mistral-largeとの会話で25の職種に対する500以上の多様なテキスト分類タスクのリストを作成しました。このデータは手動で選別されました。次に、これをシードデータとして、Mixtral-8x7B-Instruct-v0.1を用いてこれらのタスクに対する数十万のテキストを生成しました。最終的に使用されたデータセットは、synthetic_zeroshot_mixtral_v0.1 データセットのサブセット mixtral_written_text_for_tasks_v4 で利用可能です。データの選別は複数の反復で行われ、将来的な反復で改善されます。
2. 2つの商用利用可能なNLIデータセット：(MNLI, FEVER-NLI)。これらのデータセットは汎化能力を向上させるために追加されました。
3. 名前に "-c" が含まれないモデルは、より広範なライセンスの訓練データを含んでいます：ANLI、WANLI、LingNLI、および このリスト のすべてのデータセット（used_in_v1.1==True）。

メトリクス

これらのモデルは、28の異なるテキスト分類タスクで f1_macro メトリクスを用いて評価されました。主な参照ポイントは facebook/bart-large-mnli であり、これは執筆時点（24年4月3日）で最もよく使用される商用利用可能なゼロショット分類器です。

これらの数値はゼロショット性能を示しており、訓練データにはこれらのデータセットのデータは含まれていません。なお、タイトルに "-c" が含まれないモデルは2回評価されています。1回目はこれらの28のデータセットのデータを一切使用せずに純粋なゼロショット性能をテストし（最初の数値）、2回目は一部のデータを使用しています。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。