Gliclass Modern Base V3.0

🚀 GLiClass：用於序列分類的通用輕量級模型

GLiClass 是一款高效的零樣本分類器，它受到了 GLiNER 工作的啟發。該模型在單次前向傳播中即可完成分類任務，在具備與交叉編碼器相當性能的同時，還擁有更高的計算效率。它可用於 主題分類、情感分析，並能在 RAG 管道中作為重排器使用。

🚀 快速開始

安裝

首先，你需要安裝 GLiClass 庫：

pip install gliclass
pip install -U transformers>=4.48.0

初始化模型和管道

from gliclass import GLiClassModel, ZeroShotClassificationPipeline
from transformers import AutoTokenizer

model = GLiClassModel.from_pretrained("knowledgator/gliclass-modern-base-v3.0")
tokenizer = AutoTokenizer.from_pretrained("knowledgator/gliclass-modern-base-v3.0", add_prefix_space=True)
pipeline = ZeroShotClassificationPipeline(model, tokenizer, classification_type='multi-label', device='cuda:0')

text = "One day I will see the world!"
labels = ["travel", "dreams", "sport", "science", "politics"]
results = pipeline(text, labels, threshold=0.5)[0] #because we have one text
for result in results:
 print(result["label"], "=>", result["score"])

NLI 任務使用方法

如果你想將其用於 NLI 類型的任務，建議將前提表示為文本，假設表示為標籤。你可以輸入多個假設，但模型在單個輸入假設的情況下效果最佳。

# Initialize model and multi-label pipeline
text = "The cat slept on the windowsill all afternoon"
labels = ["The cat was awake and playing outside."]
results = pipeline(text, labels, threshold=0.0)[0]
print(results)

✨ 主要特性

• 高效零樣本分類：受 GLiNER 工作啟發，在單次前向傳播中完成分類，計算效率高。
• 多任務應用：可用於主題分類、情感分析，還能在 RAG 管道中作為重排器。
• 邏輯推理能力：模型在邏輯任務上進行訓練，誘導推理能力。
• LoRA 微調：使用 LoRA 適配器微調模型，保留先前知識。

📦 安裝指南

pip install gliclass
pip install -U transformers>=4.48.0

💻 使用示例

基礎用法

from gliclass import GLiClassModel, ZeroShotClassificationPipeline
from transformers import AutoTokenizer

model = GLiClassModel.from_pretrained("knowledgator/gliclass-modern-base-v3.0")
tokenizer = AutoTokenizer.from_pretrained("knowledgator/gliclass-modern-base-v3.0", add_prefix_space=True)
pipeline = ZeroShotClassificationPipeline(model, tokenizer, classification_type='multi-label', device='cuda:0')

text = "One day I will see the world!"
labels = ["travel", "dreams", "sport", "science", "politics"]
results = pipeline(text, labels, threshold=0.5)[0] #because we have one text
for result in results:
 print(result["label"], "=>", result["score"])

高級用法（NLI 任務）

# Initialize model and multi-label pipeline
text = "The cat slept on the windowsill all afternoon"
labels = ["The cat was awake and playing outside."]
results = pipeline(text, labels, threshold=0.0)[0]
print(results)

📚 詳細文檔

LoRA 參數

GLiClass-V3 模型信息

基準測試

以下是幾個文本分類數據集上的 F1 分數。所有測試模型均未在這些數據集上進行微調，而是在零樣本設置下進行測試。

GLiClass-V3

先前的 GLiClass 模型

交叉編碼器

推理速度

每個模型都在文本長度為 64、256 和 512 個標記，標籤數量為 1、2、4、8、16、32、64 和 128 的示例上進行了測試，然後對不同文本長度的分數進行了平均。

📄 許可證

本項目採用 Apache-2.0 許可證。

模型相關信息