Gliclass Small V1.0

🚀 ⭐ GLiClass: シーケンス分類のための汎用的で軽量なモデル

これは、GLiNER の研究に触発された効率的なゼロショット分類器です。分類が単一の順伝播で行われるため、クロスエンコーダと同じ性能を示しながら、より計算効率が高いです。

このモデルは、トピック分類、感情分析、および RAG パイプラインのリランカーとして使用できます。

このモデルは合成データで学習されており、商用アプリケーションで使用することができます。

🚀 クイックスタート

使い方:

まず、GLiClass ライブラリをインストールする必要があります。

pip install gliclass

次に、モデルとパイプラインを初期化する必要があります。

from gliclass import GLiClassModel, ZeroShotClassificationPipeline
from transformers import AutoTokenizer

model = GLiClassModel.from_pretrained("knowledgator/gliclass-small-v1.0")
tokenizer = AutoTokenizer.from_pretrained("knowledgator/gliclass-small-v1.0")

pipeline = ZeroShotClassificationPipeline(model, tokenizer, classification_type='multi-label', device='cuda:0')

text = "One day I will see the world!"
labels = ["travel", "dreams", "sport", "science", "politics"]
results = pipeline(text, labels, threshold=0.5)[0] #because we have one text

for result in results:
 print(result["label"], "=>", result["score"])

✨ 主な機能

• ゼロショット分類が可能で、事前学習なしで分類タスクを実行できます。
• トピック分類、感情分析、RAG パイプラインのリランカーとして利用できます。
• 合成データで学習されており、商用利用可能です。

📦 インストール

pip install gliclass

💻 使用例

基本的な使用法

from gliclass import GLiClassModel, ZeroShotClassificationPipeline
from transformers import AutoTokenizer

model = GLiClassModel.from_pretrained("knowledgator/gliclass-small-v1.0")
tokenizer = AutoTokenizer.from_pretrained("knowledgator/gliclass-small-v1.0")

pipeline = ZeroShotClassificationPipeline(model, tokenizer, classification_type='multi-label', device='cuda:0')

text = "One day I will see the world!"
labels = ["travel", "dreams", "sport", "science", "politics"]
results = pipeline(text, labels, threshold=0.5)[0] #because we have one text

for result in results:
 print(result["label"], "=>", result["score"])

📚 ドキュメント

ベンチマーク:

以下に、いくつかのテキスト分類データセットでの F1 スコアを示します。すべてのテスト対象モデルは、これらのデータセットでファインチューニングされておらず、ゼロショット設定でテストされました。

以下に、他の GLiClass モデルとの比較を示します。

以下に、より多くの例を提供することでモデルの性能がどのように向上するかを示します。

📄 ライセンス

このプロジェクトは Apache-2.0 ライセンスの下で提供されています。