Gte Multilingual Reranker Base Onnx Op14 Opt Gpu Int8

🚀 gte-multilingual-reranker-base-onnx-op14-opt-gpu-int8-quantized

このモデルは、ONNXオプセット14を使用したAlibaba-NLP/gte-multilingual-reranker-baseの量子化されたONNXバージョンです。

✨ 主な機能

• このモデルは、多言語の文章分類や文章類似度のタスクに最適化されています。
• 量子化により、GPUでの推論速度が大幅に向上します。

📦 インストール

このセクションでは、必要なパッケージとそのバージョンを示します。

適用された最適化

💻 使用例

基本的な使用法

from optimum.onnxruntime import ORTModelForSequenceClassification
from transformers import AutoTokenizer

# モデルとトークナイザーをロード
model = ORTModelForSequenceClassification.from_pretrained("quantized_model")
tokenizer = AutoTokenizer.from_pretrained("quantized_model")

# 入力を準備
text = "Your text here"
inputs = tokenizer(text, return_tensors="pt")

# 推論を実行
outputs = model(**inputs)

🔧 技術詳細

モデル詳細

量子化プロセス

このモデルは、ONNX Runtimeを使用してINT8量子化されました。量子化は、Hugging FaceのOptimumライブラリを使用してオプセット14で行われました。エクスポート時には、GPUデバイスを対象としたグラフ最適化が適用されました。

性能比較

量子化されたモデルは一般的に、精度を若干犠牲にして推論速度を向上させます。このINT8量子化モデルは、元のモデルよりも大幅に高速な推論を提供するはずです。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。