Zero Shot Implicit Bi Encoder

🚀 Zero-shot Implicit Bi-Encoder

このモデルは、ゼロショットテキスト分類に特化したsentence-transformersモデルです。ACL'23の論文 Label Agnostic Pre-training for Zero-shot Text Classification（著者: Christopher Clarke, Yuzhao Heng, Yiping Kang, Krisztian Flautner, Lingjia Tang and Jason Mars）で紹介されました。このモデルのトレーニングと評価のコードはこちらで確認できます。

✨ 主な機能

このモデルは、ゼロショットテキスト分類を目的としています。アスペクト正規化されたUTCDデータセットを用いた暗黙的トレーニングにより、デュアルエンコーディング分類フレームワークの下でトレーニングされました。

• ファインチューニング元のモデル: bert-base-uncased

📦 インストール

このモデルを使用するには、sentence-transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install sentence-transformers

💻 使用例

基本的な使用法

>>> from sentence_transformers import SentenceTransformer, util as sbert_util
>>> model = SentenceTransformer(model_name_or_path='claritylab/zero-shot-implicit-bi-encoder')

>>> text = "I'd like to have this track onto my Classical Relaxations playlist."
>>> labels = [
>>>     'Add To Playlist', 'Book Restaurant', 'Get Weather', 'Play Music', 'Rate Book', 'Search Creative Work',
>>>     'Search Screening Event'
>>> ]
>>> aspect = 'intent'
>>> aspect_sep_token = model.tokenizer.additional_special_tokens[0]
>>> text = f'{aspect} {aspect_sep_token} {text}'

>>> text_embed = model.encode(text)
>>> label_embeds = model.encode(labels)
>>> scores = [sbert_util.cos_sim(text_embed, lb_embed).item() for lb_embed in label_embeds]
>>> print(scores)

[
  0.7989747524261475,
  0.003968147560954094,
  0.027803801000118256,
  0.9257574081420898,
  0.1492517590522766,
  0.010640474036335945,
  0.012045462615787983
]

📄 ライセンス

このモデルはMITライセンスの下で公開されています。