Deberta V3 Nli Onnx Quantized

🚀 DeBERTa-v3-base-onnx-quantized

本模型基於基礎模型 sileod/deberta-v3-base-tasksource-nli 進行了量化處理。若要使用此模型，你需要在機器上安裝 onnxruntime。你可以訪問我的 Huggingface Spaces 來使用該模型。

Huggingface 應用程序的源代碼可在 GitHub 上找到。

請注意，此模型針對支持 AVX2 的 CPU 進行了優化。若要在你的機器上運行該模型，請使用以下代碼。

🚀 快速開始

安裝依賴

pip install transformers optimum[onnxruntime]

運行模型

# 加載庫
from transformers import AutoTokenizer
from optimum.onnxruntime import ORTModelForSequenceClassification
from optimum.pipelines import pipeline

# 加載模型組件
MODEL_ID = "pitangent-ds/deberta-v3-nli-onnx-quantized"
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
model = ORTModelForSequenceClassification.from_pretrained(MODEL_ID)

# 加載管道
classifier = pipeline("zero-shot-classification", tokenizer=tokenizer, model=model)

# 推理
text = "The jacket that I bought is awesome"
candidate_labels = ["positive", "negative"]

results = classifier(text, candidate_labels)

📄 許可證

本項目採用 Apache-2.0 許可證。