Deberta V3 Nli Onnx Quantized

🚀 DeBERTa-v3-base-onnx-quantized

このモデルは、ベースモデル sileod/deberta-v3-base-tasksource-nli を使用して量子化されています。このモデルを使用するには、マシンに onnxruntime をインストールする必要があります。このモデルを使用するには、私の Huggingface Spaces を参照できます。

Huggingfaceアプリケーションのソースコードは GitHub で見つけることができます。

このモデルをマシン上で実行するには、以下のコードを使用します。このモデルは、AVX2サポート付きのCPU用に最適化されています。

🚀 クイックスタート

このモデルを使用するための基本的な手順を以下に示します。

📦 インストール

依存関係のインストール

pip install transformers optimum[onnxruntime]

💻 使用例

基本的な使用法

# load libraries
from transformers import AutoTokenizer
from optimum.onnxruntime import ORTModelForSequenceClassification
from optimum.pipelines import pipeline

# load model components
MODEL_ID = "pitangent-ds/deberta-v3-nli-onnx-quantized"
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
model = ORTModelForSequenceClassification.from_pretrained(MODEL_ID)

# load the pipeline
classifier = pipeline("zero-shot-classification", tokenizer=tokenizer, model=model)

# inference
text = "The jacket that I bought is awesome"
candidate_labels = ["positive", "negative"]

results = classifier(text, candidate_labels)

📄 ライセンス

このモデルはApache 2.0ライセンスの下で提供されています。