Gte Multilingual Reranker Base Onnx Op14 Opt Gpu Int8

🚀 gte-multilingual-reranker-base-onnx-op14-opt-gpu-int8-quantized

本模型是 Alibaba-NLP/gte-multilingual-reranker-base 的量化 ONNX 版本，採用了 ONNX opset 14。它在文本分類等任務上表現出色，適用於 GPU 設備，經過優化後能提供更高效的推理性能。

✨ 主要特性

• 量化類型：INT8 量化，在保證一定精度的同時提升推理速度。
• ONNX Opset：採用 opset 14，確保模型的兼容性和性能。
• 任務支持：可用於文本分類等任務。
• 目標設備：針對 GPU 進行優化，充分發揮 GPU 的計算能力。
• 優化處理：經過多種優化，包括圖優化、特定 Transformer 優化等。
• 框架支持：基於 ONNX Runtime 框架運行。
• 原始模型：源自 Alibaba-NLP/gte-multilingual-reranker-base。

📦 安裝指南

文檔未提供具體安裝步驟，可參考相關依賴庫的官方安裝說明進行安裝。

💻 使用示例

基礎用法

from optimum.onnxruntime import ORTModelForSequenceClassification
from transformers import AutoTokenizer

# 加載模型和分詞器
model = ORTModelForSequenceClassification.from_pretrained("quantized_model")
tokenizer = AutoTokenizer.from_pretrained("quantized_model")

# 準備輸入
text = "Your text here"
inputs = tokenizer(text, return_tensors="pt")

# 運行推理
outputs = model(**inputs)

📚 詳細文檔

模型詳情

環境和包版本

應用的優化設置

量化過程

本模型使用 ONNX Runtime 進行 int8 量化。量化過程藉助 Hugging Face 的 Optimum 庫，並採用 opset 14。在導出過程中應用了圖優化，目標設備為 GPU。

性能對比

量化模型通常能在一定程度上犧牲精度的情況下，顯著提升推理速度。此 INT8 量化模型的推理速度應比原始模型快得多。

📄 許可證

本項目採用 MIT 許可證。