Zero Shot Implicit Binary Bert

🚀 零樣本隱式二元BERT

這是一個用於零樣本文本分類的BERT模型。它由Christopher Clarke、Yuzhao Heng、Yiping Kang、Krisztian Flautner、Lingjia Tang和Jason Mars在ACL'23會議論文《Label Agnostic Pre-training for Zero-shot Text Classification》中提出。該模型的訓練和評估代碼可在此處找到。

🚀 快速開始

本模型主要用於零樣本文本分類。下面將介紹如何安裝和使用該模型。

📦 安裝指南

安裝我們的 Python 包：

pip install zeroshot-classifier

💻 使用示例

基礎用法

安裝完成後，你可以按照以下方式使用該模型：

>>> from zeroshot_classifier.models import BinaryBertCrossEncoder
>>> model = BinaryBertCrossEncoder(model_name='claritylab/zero-shot-implicit-binary-bert')

>>> text = "I'd like to have this track onto my Classical Relaxations playlist."
>>> labels = [
>>>     'Add To Playlist', 'Book Restaurant', 'Get Weather', 'Play Music', 'Rate Book', 'Search Creative Work',
>>>     'Search Screening Event'
>>> ]
>>> aspect = 'intent'
>>> aspect_sep_token = model.tokenizer.additional_special_tokens[0]
>>> text = f'{aspect} {aspect_sep_token} {text}'

>>> query = [[text, lb] for lb in labels]
>>> logits = model.predict(query, apply_softmax=True)
>>> print(logits)

[[7.3497969e-04 9.9926502e-01]
 [9.9988127e-01 1.1870124e-04]
 [9.9988961e-01 1.1033980e-04]
 [1.9227572e-03 9.9807727e-01]
 [9.9985313e-01 1.4685343e-04]
 [9.9938977e-01 6.1021477e-04]
 [9.9838030e-01 1.6197052e-03]]

📚 詳細文檔

模型描述

該模型專為零樣本文本分類而設計。它在二元分類框架下，通過使用經過方面歸一化處理的 UTCD 數據集進行隱式訓練。

• 微調基礎模型：bert-base-uncased

信息表格

📄 許可證

本項目採用 MIT 許可證。