Distilbert Base Uncased Go Emotions Onnx

🚀 distilbert-base-uncased-go-emotions-student

joeddav/distilbert-base-uncased-go-emotions-student をONNX形式に変換し、optimumを使用して量子化したモデルです。

🚀 クイックスタート

このモデルは、GoEmotionsデータセットを用いて、ゼロショット分類パイプラインからこのスクリプトを使って蒸留されました。混合精度で10エポック学習させ、それ以外はスクリプトのデフォルト引数を使用しました。

✨ 主な機能

このモデルは、GoEmotionsで学習された他のモデルと同様に使用できますが、完全な教師付き学習で学習されたモデルほどの性能を発揮しない可能性があります。主に、高コストなNLIベースのゼロショットモデルをより効率的な生徒モデルに蒸留する方法のデモとして意図されており、ラベルのないデータのみで分類器を学習させることができます。なお、GoEmotionsデータセットはインスタンスごとに複数のラベルを許可していますが、教師モデルは擬似ラベルを作成するために単一ラベル分類を使用しています。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。