Gliclass Edge V3.0

🚀 GLiClass：用於序列分類的通用輕量級模型

GLiClass是一款高效的零樣本分類器，靈感源自GLiNER。它在性能上與交叉編碼器相當，但計算效率更高，因為分類只需一次前向傳播。該模型可用於主題分類、情感分析，還能作為RAG管道中的重排器。此外，模型在邏輯任務上進行訓練以誘導推理能力，並使用LoRA適配器進行微調，避免破壞先前學習的知識。

🚀 快速開始

安裝GLiClass庫

pip install gliclass
pip install -U transformers>=4.48.0

初始化模型和管道

from gliclass import GLiClassModel, ZeroShotClassificationPipeline
from transformers import AutoTokenizer

model = GLiClassModel.from_pretrained("knowledgator/gliclass-edge-v3.0")
tokenizer = AutoTokenizer.from_pretrained("knowledgator/gliclass-edge-v3.0", add_prefix_space=True)
pipeline = ZeroShotClassificationPipeline(model, tokenizer, classification_type='multi-label', device='cuda:0')

text = "One day I will see the world!"
labels = ["travel", "dreams", "sport", "science", "politics"]
results = pipeline(text, labels, threshold=0.5)[0] #because we have one text
for result in results:
    print(result["label"], "=>", result["score"])

NLI任務使用示例

若要將其用於NLI類型的任務，建議將前提表示為文本，假設表示為標籤。可以輸入多個假設，但模型在單個假設輸入時效果最佳。

# 初始化模型和多標籤管道
text = "The cat slept on the windowsill all afternoon"
labels = ["The cat was awake and playing outside."]
results = pipeline(text, labels, threshold=0.0)[0]
print(results)

✨ 主要特性

• 高效零樣本分類：受GLiNER工作啟發，在單次前向傳播中完成分類，性能與交叉編碼器相當，但計算效率更高。
• 多任務應用：可用於主題分類、情感分析，還能作為RAG管道中的重排器。
• 邏輯推理誘導：在邏輯任務上進行訓練，以誘導推理能力。
• 知識保留微調：使用LoRA適配器進行微調，避免破壞先前學習的知識。

📦 安裝指南

pip install gliclass
pip install -U transformers>=4.48.0

💻 使用示例

基礎用法

from gliclass import GLiClassModel, ZeroShotClassificationPipeline
from transformers import AutoTokenizer

model = GLiClassModel.from_pretrained("knowledgator/gliclass-edge-v3.0")
tokenizer = AutoTokenizer.from_pretrained("knowledgator/gliclass-edge-v3.0", add_prefix_space=True)
pipeline = ZeroShotClassificationPipeline(model, tokenizer, classification_type='multi-label', device='cuda:0')

text = "One day I will see the world!"
labels = ["travel", "dreams", "sport", "science", "politics"]
results = pipeline(text, labels, threshold=0.5)[0] #because we have one text
for result in results:
    print(result["label"], "=>", result["score"])

高級用法

# 用於NLI類型任務的示例
text = "The cat slept on the windowsill all afternoon"
labels = ["The cat was awake and playing outside."]
results = pipeline(text, labels, threshold=0.0)[0]
print(results)

📚 詳細文檔

模型信息

LoRA參數

GLiClass-V3模型

基準測試

以下是幾個文本分類數據集上的F1分數。所有測試模型均未在這些數據集上進行微調，而是在零樣本設置下進行測試。

GLiClass-V3模型

先前的GLiClass模型

交叉編碼器

推理速度

每個模型在a6000 GPU上對文本長度為64、256和512個標記，以及標籤數量為1、2、4、8、16、32、64和128的示例進行了測試。然後，對不同文本長度的分數進行了平均。

📄 許可證

本項目採用Apache-2.0許可證。