Zero Shot Explicit Binary Bert

🚀 Zero-shot Explicit Binary BERT

このモデルは、ACL'23の論文「Label Agnostic Pre-training for Zero-shot Text Classification」で紹介されたBERTモデルです。論文の著者は、Christopher Clarke, Yuzhao Heng, Yiping Kang, Krisztian Flautner, Lingjia Tang and Jason Mars です。このモデルの学習と評価のコードは、こちらで確認できます。

🚀 クイックスタート

インストール

まず、Pythonパッケージをインストールします。

pip install zeroshot-classifier

使用例

次に、以下のようにモデルを使用できます。

基本的な使用法

>>> from zeroshot_classifier.models import BinaryBertCrossEncoder
>>> model = BinaryBertCrossEncoder(model_name='claritylab/zero-shot-explicit-binary-bert')

>>> text = "I'd like to have this track onto my Classical Relaxations playlist."
>>> labels = [
>>>     'Add To Playlist', 'Book Restaurant', 'Get Weather', 'Play Music', 'Rate Book', 'Search Creative Work',
>>>     'Search Screening Event'
>>> ]

>>> query = [[text, lb] for lb in labels]
>>> logits = model.predict(query, apply_softmax=True)
>>> print(logits)

[[1.0987393e-03 9.9890125e-01]
 [9.9988937e-01 1.1059999e-04]
 [9.9986207e-01 1.3791372e-04]
 [1.6576477e-03 9.9834239e-01]
 [9.9990320e-01 9.6742726e-05]
 [9.9894422e-01 1.0557596e-03]
 [9.9959773e-01 4.0229000e-04]]

✨ 主な機能

このモデルは、ゼロショットテキスト分類を目的としています。アスペクト正規化されたUTCDデータセットを用いた明示的な学習により、二値分類フレームワークで学習されました。

📦 インストール

Pythonパッケージをインストールすることで、このモデルを使用できます。

pip install zeroshot-classifier

💻 使用例

上記のクイックスタートでも紹介した通り、以下のようにモデルを使用できます。

基本的な使用法

>>> from zeroshot_classifier.models import BinaryBertCrossEncoder
>>> model = BinaryBertCrossEncoder(model_name='claritylab/zero-shot-explicit-binary-bert')

>>> text = "I'd like to have this track onto my Classical Relaxations playlist."
>>> labels = [
>>>     'Add To Playlist', 'Book Restaurant', 'Get Weather', 'Play Music', 'Rate Book', 'Search Creative Work',
>>>     'Search Screening Event'
>>> ]

>>> query = [[text, lb] for lb in labels]
>>> logits = model.predict(query, apply_softmax=True)
>>> print(logits)

[[1.0987393e-03 9.9890125e-01]
 [9.9988937e-01 1.1059999e-04]
 [9.9986207e-01 1.3791372e-04]
 [1.6576477e-03 9.9834239e-01]
 [9.9990320e-01 9.6742726e-05]
 [9.9894422e-01 1.0557596e-03]
 [9.9959773e-01 4.0229000e-04]]

📚 ドキュメント

モデルの説明

このモデルは、ゼロショットテキスト分類を目的としています。アスペクト正規化されたUTCDデータセットを用いた明示的な学習により、二値分類フレームワークで学習されました。

• ファインチューニング元のモデル: bert-base-uncased

📄 ライセンス

このモデルはMITライセンスの下で提供されています。