Zero Shot Classify SSTuning ALBERT

🚀 ゼロショットテキスト分類 (albert-xxlarge-v2ベースのモデル、自己教師付きチューニングで学習)

自己教師付きチューニング（SSTuning）で学習されたゼロショットテキスト分類モデルです。このモデルは、Chaoqun Liu、Wenxuan Zhang、Guizhen Chen、Xiaobao Wu、Anh Tuan Luu、Chip Hong Chang、Lidong Bingによる論文 Zero-Shot Text Classification via Self-Supervised Tuning で紹介され、このリポジトリ で最初に公開されました。

モデルのバックボーンはalbert-xxlarge-v2です。

🚀 クイックスタート

このゼロショットテキスト分類モデルは、自己教師付きチューニングにより訓練されており、追加の微調整なしでテキスト分類タスクに使用できます。

✨ 主な機能

• 自己教師付きチューニング（SSTuning）を使用して訓練されたゼロショットテキスト分類モデル。
• 教師なしデータを用いた学習目的である最初の文予測（FSP）を使用してチューニングされています。
• 3種類のモデルバージョンが公開されており、それぞれ異なるバックボーンとパラメータ数を持っています。

📚 ドキュメント

モデルの説明

このモデルは、最初の文予測（FSP）と呼ばれる学習目的を使用して、ラベルなしデータでチューニングされています。FSPタスクは、ラベルなしコーパスの性質と分類タスクの入力/出力形式の両方を考慮して設計されています。学習セットと検証セットは、FSPを使用してラベルなしコーパスから構築されます。

チューニング中は、RoBERTaやALBERTなどのBERTライクの事前学習済みマスク言語モデルがバックボーンとして使用され、分類用の出力層が追加されます。FSPの学習目的は、正しいラベルのインデックスを予測することです。モデルのチューニングには交差エントロピー損失が使用されます。

モデルのバリエーション

3種類のモデルバージョンが公開されています。詳細は以下の通りです。

なお、zero-shot-classify-SSTuning-baseは論文よりも多くのデータ（20.48M）で学習されており、これにより精度が向上しています。

想定される用途と制限

このモデルは、センチメント分析やトピック分類などのゼロショットテキスト分類に使用できます。追加の微調整は必要ありません。

ラベルの数は2～20である必要があります。

💻 使用例

基本的な使用法

あなたはColabの ノートブック でこのモデルを試すことができます。

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch, string, random

tokenizer = AutoTokenizer.from_pretrained("albert-xxlarge-v2")
model = AutoModelForSequenceClassification.from_pretrained("DAMO-NLP-SG/zero-shot-classify-SSTuning-ALBERT")

text = "I love this place! The food is always so fresh and delicious."
list_label = ["negative", "positive"]

device = torch.device('cuda') if torch.cuda.is_available() else torch.device('cpu')
list_ABC = [x for x in string.ascii_uppercase]

def check_text(model, text, list_label, shuffle=False): 
    list_label = [x+'.' if x[-1] != '.' else x for x in list_label]
    list_label_new = list_label + [tokenizer.pad_token]* (20 - len(list_label))
    if shuffle: 
        random.shuffle(list_label_new)
    s_option = ' '.join(['('+list_ABC[i]+') '+list_label_new[i] for i in range(len(list_label_new))])
    text = f'{s_option} {tokenizer.sep_token} {text}'

    model.to(device).eval()
    encoding = tokenizer([text],truncation=True, max_length=512,return_tensors='pt')
    item = {key: val.to(device) for key, val in encoding.items()}
    logits = model(**item).logits
    
    logits = logits if shuffle else logits[:,0:len(list_label)]
    probs = torch.nn.functional.softmax(logits, dim = -1).tolist()
    predictions = torch.argmax(logits, dim=-1).item() 
    probabilities = [round(x,5) for x in probs[0]]

    print(f'prediction:    {predictions} => ({list_ABC[predictions]}) {list_label_new[predictions]}')
    print(f'probability:   {round(probabilities[predictions]*100,2)}%')

check_text(model, text, list_label)
# prediction:    1 => (B) positive.
# probability:   98.64%

BibTeXエントリと引用情報

@inproceedings{acl23/SSTuning,
  author    = {Chaoqun Liu and
               Wenxuan Zhang and
               Guizhen Chen and
               Xiaobao Wu and
               Anh Tuan Luu and
               Chip Hong Chang and 
               Lidong Bing},
  title     = {Zero-Shot Text Classification via Self-Supervised Tuning},
  booktitle = {Findings of the Association for Computational Linguistics: ACL 2023},
  year      = {2023},
  url       = {https://arxiv.org/abs/2305.11442},
}

📄 ライセンス

このモデルはMITライセンスの下で公開されています。