Zero Shot Classify SSTuning Base

🚀 零样本文本分类（基础规模模型），采用自监督调优训练

本模型是通过自监督调优（SSTuning）训练的零样本文本分类模型。该模型由Chaoqun Liu、Wenxuan Zhang、Guizhen Chen、Xiaobao Wu、Anh Tuan Luu、Chip Hong Chang、Lidong Bing等人在论文Zero-Shot Text Classification via Self-Supervised Tuning中提出，并首次在此仓库发布。

模型的骨干网络为RoBERTa-base。

🚀 快速开始

你可以通过以下步骤快速使用该模型：

1. 参考下面的“使用示例”部分获取代码示例。
2. 你也可以通过Colab Notebook来试用该模型。

✨ 主要特性

• 基于自监督调优（SSTuning）训练，无需大量标注数据。
• 可直接用于零样本文本分类任务，如情感分析和主题分类，无需进一步微调。

📚 详细文档

模型描述

该模型使用一种名为首句预测（FSP）的学习目标，对无标签数据进行调优。FSP任务的设计综合考虑了无标签语料的性质以及分类任务的输入/输出格式。

训练集和验证集是使用FSP从无标签语料中构建的。在调优过程中，采用了类似BERT的预训练掩码语言模型（如RoBERTa和ALBERT）作为骨干网络，并添加了一个用于分类的输出层。FSP的学习目标是预测正确标签的索引，使用交叉熵损失来调优模型。

模型变体

目前发布了四个版本的模型，详细信息如下：

请注意，zero-shot-classify-SSTuning-XLM-R仅使用2048万条英语样本进行训练，但只要xlm-roberta支持，它也可以用于其他语言。每个模型的性能请参考此仓库。

预期用途与限制

该模型可用于零样本文本分类任务，如情感分析和主题分类，无需进一步微调。标签数量应在2到20之间。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch, string, random

tokenizer = AutoTokenizer.from_pretrained("DAMO-NLP-SG/zero-shot-classify-SSTuning-base")
model = AutoModelForSequenceClassification.from_pretrained("DAMO-NLP-SG/zero-shot-classify-SSTuning-base")

text = "I love this place! The food is always so fresh and delicious."
list_label = ["negative", "positive"]

device = torch.device('cuda') if torch.cuda.is_available() else torch.device('cpu')
list_ABC = [x for x in string.ascii_uppercase]

def check_text(model, text, list_label, shuffle=False): 
    list_label = [x+'.' if x[-1] != '.' else x for x in list_label]
    list_label_new = list_label + [tokenizer.pad_token]* (20 - len(list_label))
    if shuffle: 
        random.shuffle(list_label_new)
    s_option = ' '.join(['('+list_ABC[i]+') '+list_label_new[i] for i in range(len(list_label_new))])
    text = f'{s_option} {tokenizer.sep_token} {text}'

    model.to(device).eval()
    encoding = tokenizer([text],truncation=True, max_length=512,return_tensors='pt')
    item = {key: val.to(device) for key, val in encoding.items()}
    logits = model(**item).logits
    
    logits = logits if shuffle else logits[:,0:len(list_label)]
    probs = torch.nn.functional.softmax(logits, dim = -1).tolist()
    predictions = torch.argmax(logits, dim=-1).item() 
    probabilities = [round(x,5) for x in probs[0]]

    print(f'prediction:    {predictions} => ({list_ABC[predictions]}) {list_label_new[predictions]}')
    print(f'probability:   {round(probabilities[predictions]*100,2)}%')

check_text(model, text, list_label)
# prediction:    1 => (B) positive.
# probability:   99.92%

BibTeX引用和引用信息

@inproceedings{acl23/SSTuning,
  author    = {Chaoqun Liu and
               Wenxuan Zhang and
               Guizhen Chen and
               Xiaobao Wu and
               Anh Tuan Luu and
               Chip Hong Chang and 
               Lidong Bing},
  title     = {Zero-Shot Text Classification via Self-Supervised Tuning},
  booktitle = {Findings of the Association for Computational Linguistics: ACL 2023},
  year      = {2023},
  url       = {https://arxiv.org/abs/2305.11442},
}

📄 许可证

本项目采用MIT许可证。