Deberta Zero Shot Classification

🚀 DeBERTa-v3-base ゼロショット分類モデル

このリポジトリには、ゼロショットテキスト分類用に微調整された DeBERTa-v3-base モデルが格納されています。このモデルを使用すると、特定のタスク用にモデルを再トレーニングする必要なく、テキストを事前定義されたカテゴリに分類できます。ラベル付きデータが不足しているタスクや、テキスト分類ソリューションの迅速なプロトタイピングに最適です。

🚀 クイックスタート

このゼロショット分類モデルを使えば、特定のタスク用にモデルを再トレーニングすることなく、テキストを事前定義されたカテゴリに分類できます。

✨ 主な機能

• ゼロショット分類：追加のトレーニングなしで、ユーザー定義の任意のラベルセットにテキストを直接分類します。
• マルチラベル対応：重複するカテゴリまたは複数の適用可能なラベルを持つタスクを処理します（multi_label=True を設定）。
• 事前学習の効率性：SafeTensorsを使用した混合精度（float16）による推論が最適化されています。

📦 インストール

このモデルはHugging Faceの transformers ライブラリとシームレスに統合するように設計されています。以下のコマンドで transformers ライブラリをインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import pipeline

# ゼロショット分類パイプラインをロード
classifier = pipeline("zero-shot-classification", model="syedkhalid076/DeBERTa-Zero-Shot-Classification")

# 入力シーケンスと候補ラベル
sequence_to_classify = "Last week I upgraded my iOS version and ever since then your app is crashing."
candidate_labels = ["mobile", "website", "billing", "account access", "app crash"]

# 分類を実行
output = classifier(sequence_to_classify, candidate_labels, multi_label=False)
print(output)

📚 ドキュメント

モデル概要

このモデルは DeBERTa-v3-base の機能を活用し、multi_nli、facebook/anli、fever などのデータセットで微調整されて、ゼロショット分類の性能を向上させています。

アプリケーション

このモデルはUX研究目的でトレーニングされましたが、以下のタスクに使用できます。

• 顧客フィードバック分析：ユーザーレビューやフィードバックを分類します。
• 意図検出：会話型AIシステムでユーザーの意図を識別します。
• コンテンツ分類：記事、ソーシャルメディア投稿、またはドキュメントを分類します。
• エラー検出：ログまたはフィードバック内のエラーレポートを検出します。

トレーニングデータ

このモデルは以下のデータセットで微調整されました。

• MultiNLI：マルチジャンル自然言語推論コーパス。
• ANLI：堅牢な含意モデリング用の敵対的NLIデータセット。
• FEVER：事実抽出と検証データセット。

これらのデータセットは、モデルが幅広いゼロショット分類タスクにわたって汎化するのに役立ちます。

パフォーマンス

このモデルは、さまざまなゼロショット分類ベンチマークで強力なパフォーマンスを示し、多様なテキスト入力においてユーザー定義のカテゴリを効果的に区別します。

制限事項

• 言語サポート：現在は英語 (en) のみをサポートしています。
• コンテキスト長：非常に長いテキスト入力ではパフォーマンスが低下する可能性があります。入力をモデルの最大トークン長に切り捨てることを検討してください。

🔧 技術詳細

このモデルは DeBERTa-v3-base をベースに構築され、DebertaV2ForSequenceClassification アーキテクチャを使用しています。multi_nli、facebook/anli、fever などのデータセットで微調整され、ゼロショット分類の性能を向上させています。

📄 ライセンス

このモデルは MITライセンス の下で提供されています。適切な帰属を行えば、自由に使用、変更、配布することができます。

引用

このモデルをあなたの研究で使用する場合は、次のように引用してください。

@misc{syedkhalid076_deberta_zeroshoot,
  author = {Syed Khalid Hussain},
  title = {DeBERTa Zero-Shot Classification},
  year = {2024},
  url = {https://huggingface.co/syedkhalid076/DeBERTa-Zero-Shot-Classification}
}

謝辞

このモデルは Hugging Face Transformers を使用して微調整され、Hugging Faceモデルハブにホストされています。DeBERTa-v3 の作成者と貢献データセットの作成者に特別な感謝を申し上げます。