Gliclass Modern Base V3.0

🚀 GLiClass: シーケンス分類のための汎用的で軽量なモデル

これは、GLiNERの研究にインスパイアされた効率的なゼロショット分類器です。分類が1回の順伝播で行われるため、クロスエンコーダと同等の性能を示しながら、より計算効率が高いです。

このモデルは、トピック分類、センチメント分析、およびRAGパイプラインの再ランキングに使用できます。

モデルは、論理的なタスクで訓練され、推論能力を誘発しました。LoRAアダプタを使用して、以前の知識を破壊することなくモデルを微調整しました。

🚀 クイックスタート

インストール

まず、GLiClassライブラリをインストールする必要があります。

pip install gliclass
pip install -U transformers>=4.48.0

モデルとパイプラインの初期化

次に、モデルとパイプラインを初期化する必要があります。

from gliclass import GLiClassModel, ZeroShotClassificationPipeline
from transformers import AutoTokenizer

model = GLiClassModel.from_pretrained("knowledgator/gliclass-modern-base-v3.0")
tokenizer = AutoTokenizer.from_pretrained("knowledgator/gliclass-modern-base-v3.0", add_prefix_space=True)
pipeline = ZeroShotClassificationPipeline(model, tokenizer, classification_type='multi-label', device='cuda:0')

text = "One day I will see the world!"
labels = ["travel", "dreams", "sport", "science", "politics"]
results = pipeline(text, labels, threshold=0.5)[0] #because we have one text
for result in results:
 print(result["label"], "=>", result["score"])

NLIタイプのタスクでの使用

NLIタイプのタスクで使用する場合は、前提をテキストとして、仮説をラベルとして表現することをおすすめします。複数の仮説を入力することもできますが、モデルは単一の入力仮説で最適に動作します。

# Initialize model and multi-label pipeline
text = "The cat slept on the windowsill all afternoon"
labels = ["The cat was awake and playing outside."]
results = pipeline(text, labels, threshold=0.0)[0]
print(results)

✨ 主な機能

• ゼロショット分類が可能で、事前学習なしで分類タスクを実行できます。
• クロスエンコーダと同等の性能を維持しながら、計算効率が高いです。
• トピック分類、センチメント分析、RAGパイプラインの再ランキングなど、さまざまなタスクに使用できます。

📦 インストール

pip install gliclass
pip install -U transformers>=4.48.0

💻 使用例

基本的な使用法

from gliclass import GLiClassModel, ZeroShotClassificationPipeline
from transformers import AutoTokenizer

model = GLiClassModel.from_pretrained("knowledgator/gliclass-modern-base-v3.0")
tokenizer = AutoTokenizer.from_pretrained("knowledgator/gliclass-modern-base-v3.0", add_prefix_space=True)
pipeline = ZeroShotClassificationPipeline(model, tokenizer, classification_type='multi-label', device='cuda:0')

text = "One day I will see the world!"
labels = ["travel", "dreams", "sport", "science", "politics"]
results = pipeline(text, labels, threshold=0.5)[0] #because we have one text
for result in results:
 print(result["label"], "=>", result["score"])

高度な使用法

# Initialize model and multi-label pipeline
text = "The cat slept on the windowsill all afternoon"
labels = ["The cat was awake and playing outside."]
results = pipeline(text, labels, threshold=0.0)[0]
print(results)

📚 ドキュメント

LoRAパラメータ

GLiClass-V3モデル

ベンチマーク

以下は、いくつかのテキスト分類データセットでのF1スコアです。すべてのテスト対象モデルは、これらのデータセットで微調整されておらず、ゼロショット設定でテストされています。

GLiClass-V3

以前のGLiClassモデル

クロスエンコーダ

推論速度

各モデルは、テキスト中に64、256、および512トークンを含むサンプルと、1、2、4、8、16、32、64、および128のラベルで、a6000 GPU上でテストされました。その後、テキスト長にわたってスコアが平均化されました。

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下でライセンスされています。