Distilbert Base Uncased Go Emotions Student

🚀 distilbert-base-uncased-go-emotions-student

このモデルは、GoEmotionsデータセットを用いたテキスト分類に特化したモデルです。Zero-shot学習の知見を活かして作成され、未ラベルデータでの学習が可能です。

🚀 クイックスタート

このセクションでは、このモデルの概要と基本的な使い方を説明します。

✨ 主な機能

• テキスト分類タスクに特化したモデルです。
• Zero-shot学習を用いて未ラベルデータから学習可能です。
• PyTorchとTensorFlowでの実装が可能です。

📦 インストール

このモデルを使用するには、Hugging Faceのtransformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

📚 ドキュメント

モデルの説明

このモデルは、未ラベルのGoEmotionsデータセット上のゼロショット分類パイプラインから、このスクリプトを使用して蒸留されました。混合精度で10エポック間トレーニングされ、それ以外はデフォルトのスクリプト引数が使用されました。

想定される使用方法

このモデルは、GoEmotionsでトレーニングされた他のモデルと同じように使用できますが、完全な監督付き学習でトレーニングされたモデルほどの性能を発揮しない可能性があります。主に、高コストなNLIベースのゼロショットモデルをより効率的な学生モデルに蒸留する方法のデモとして意図されており、未ラベルデータのみで分類器をトレーニングできるようにします。なお、GoEmotionsデータセットはインスタンスごとに複数のラベルを許可していますが、教師モデルは擬似ラベルを作成するために単一ラベル分類を使用しています。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。