Gliclass Edge V3.0

🚀 GLiClass：用于序列分类的通用轻量级模型

GLiClass是一款高效的零样本分类器，灵感源自GLiNER。它在性能上与交叉编码器相当，但计算效率更高，因为分类只需一次前向传播。该模型可用于主题分类、情感分析，还能作为RAG管道中的重排器。此外，模型在逻辑任务上进行训练以诱导推理能力，并使用LoRA适配器进行微调，避免破坏先前学习的知识。

🚀 快速开始

安装GLiClass库

pip install gliclass
pip install -U transformers>=4.48.0

初始化模型和管道

from gliclass import GLiClassModel, ZeroShotClassificationPipeline
from transformers import AutoTokenizer

model = GLiClassModel.from_pretrained("knowledgator/gliclass-edge-v3.0")
tokenizer = AutoTokenizer.from_pretrained("knowledgator/gliclass-edge-v3.0", add_prefix_space=True)
pipeline = ZeroShotClassificationPipeline(model, tokenizer, classification_type='multi-label', device='cuda:0')

text = "One day I will see the world!"
labels = ["travel", "dreams", "sport", "science", "politics"]
results = pipeline(text, labels, threshold=0.5)[0] #because we have one text
for result in results:
    print(result["label"], "=>", result["score"])

NLI任务使用示例

若要将其用于NLI类型的任务，建议将前提表示为文本，假设表示为标签。可以输入多个假设，但模型在单个假设输入时效果最佳。

# 初始化模型和多标签管道
text = "The cat slept on the windowsill all afternoon"
labels = ["The cat was awake and playing outside."]
results = pipeline(text, labels, threshold=0.0)[0]
print(results)

✨ 主要特性

• 高效零样本分类：受GLiNER工作启发，在单次前向传播中完成分类，性能与交叉编码器相当，但计算效率更高。
• 多任务应用：可用于主题分类、情感分析，还能作为RAG管道中的重排器。
• 逻辑推理诱导：在逻辑任务上进行训练，以诱导推理能力。
• 知识保留微调：使用LoRA适配器进行微调，避免破坏先前学习的知识。

📦 安装指南

pip install gliclass
pip install -U transformers>=4.48.0

💻 使用示例

基础用法

from gliclass import GLiClassModel, ZeroShotClassificationPipeline
from transformers import AutoTokenizer

model = GLiClassModel.from_pretrained("knowledgator/gliclass-edge-v3.0")
tokenizer = AutoTokenizer.from_pretrained("knowledgator/gliclass-edge-v3.0", add_prefix_space=True)
pipeline = ZeroShotClassificationPipeline(model, tokenizer, classification_type='multi-label', device='cuda:0')

text = "One day I will see the world!"
labels = ["travel", "dreams", "sport", "science", "politics"]
results = pipeline(text, labels, threshold=0.5)[0] #because we have one text
for result in results:
    print(result["label"], "=>", result["score"])

高级用法

# 用于NLI类型任务的示例
text = "The cat slept on the windowsill all afternoon"
labels = ["The cat was awake and playing outside."]
results = pipeline(text, labels, threshold=0.0)[0]
print(results)

📚 详细文档

模型信息

LoRA参数

GLiClass-V3模型

基准测试

以下是几个文本分类数据集上的F1分数。所有测试模型均未在这些数据集上进行微调，而是在零样本设置下进行测试。

GLiClass-V3模型

先前的GLiClass模型

交叉编码器

推理速度

每个模型在a6000 GPU上对文本长度为64、256和512个标记，以及标签数量为1、2、4、8、16、32、64和128的示例进行了测试。然后，对不同文本长度的分数进行了平均。

📄 许可证

本项目采用Apache-2.0许可证。