Gliclass Edge V3.0

🚀 GLiClass: シーケンス分類のための汎用的で軽量なモデル

このモデルは、GLiNER の研究にインスパイアされた効率的なゼロショット分類器です。単一の順伝播で分類を行うため、クロスエンコーダと同等の性能を示しながら、計算効率が高いです。

このモデルは、トピック分類、感情分析、RAG パイプラインのリランカーとして使用できます。

モデルは論理的なタスクで訓練され、推論能力を誘発しました。LoRAアダプターを使用して、以前の知識を破壊することなくモデルを微調整しました。

🚀 クイックスタート

まず、GLiClassライブラリをインストールする必要があります。

pip install gliclass
pip install -U transformers>=4.48.0

次に、モデルとパイプラインを初期化する必要があります。

from gliclass import GLiClassModel, ZeroShotClassificationPipeline
from transformers import AutoTokenizer

model = GLiClassModel.from_pretrained("knowledgator/gliclass-edge-v3.0")
tokenizer = AutoTokenizer.from_pretrained("knowledgator/gliclass-edge-v3.0", add_prefix_space=True)
pipeline = ZeroShotClassificationPipeline(model, tokenizer, classification_type='multi-label', device='cuda:0')

text = "One day I will see the world!"
labels = ["travel", "dreams", "sport", "science", "politics"]
results = pipeline(text, labels, threshold=0.5)[0] #because we have one text
for result in results:
 print(result["label"], "=>", result["score"])

NLIタイプのタスクに使用する場合は、前提をテキストとして、仮説をラベルとして表現することをおすすめします。複数の仮説を入力することもできますが、モデルは単一の入力仮説で最も良い性能を発揮します。

# Initialize model and multi-label pipeline
text = "The cat slept on the windowsill all afternoon"
labels = ["The cat was awake and playing outside."]
results = pipeline(text, labels, threshold=0.0)[0]
print(results)

✨ 主な機能

• 効率的なゼロショット分類器で、クロスエンコーダと同等の性能を示しながら、計算効率が高い。
• トピック分類、感情分析、RAG パイプラインのリランカーとして使用可能。
• 論理的なタスクで訓練され、推論能力を備えている。
• LoRAアダプターを使用して、以前の知識を破壊することなく微調整可能。

📦 インストール

pip install gliclass
pip install -U transformers>=4.48.0

💻 使用例

基本的な使用法

from gliclass import GLiClassModel, ZeroShotClassificationPipeline
from transformers import AutoTokenizer

model = GLiClassModel.from_pretrained("knowledgator/gliclass-edge-v3.0")
tokenizer = AutoTokenizer.from_pretrained("knowledgator/gliclass-edge-v3.0", add_prefix_space=True)
pipeline = ZeroShotClassificationPipeline(model, tokenizer, classification_type='multi-label', device='cuda:0')

text = "One day I will see the world!"
labels = ["travel", "dreams", "sport", "science", "politics"]
results = pipeline(text, labels, threshold=0.5)[0] #because we have one text
for result in results:
 print(result["label"], "=>", result["score"])

高度な使用法

# Initialize model and multi-label pipeline
text = "The cat slept on the windowsill all afternoon"
labels = ["The cat was awake and playing outside."]
results = pipeline(text, labels, threshold=0.0)[0]
print(results)

📚 ドキュメント

LoRAパラメータ

GLiClass-V3モデル

ベンチマーク

以下は、いくつかのテキスト分類データセットでのF1スコアです。すべてのテストモデルは、これらのデータセットで微調整されておらず、ゼロショット設定でテストされました。

GLiClass-V3

以前のGLiClassモデル

クロスエンコーダ

推論速度

各モデルは、テキストに64、256、512トークン、ラベルに1、2、4、8、16、32、64、128を持つサンプルで、a6000 GPU上でテストされました。その後、テキストの長さにわたってスコアが平均化されました。

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。