Japanese Reranker Xsmall V2

🚀 hotchpotch/japanese-reranker-xsmall-v2

這是一個非常小巧且快速的日語重排器模型系列（v2），能夠在多種環境下高效運行，提升文本排序的準確性。

🚀 快速開始

本模型運行需要 transformers 庫的 v4.48 以上版本。

pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece

若 GPU 支持 Flash Attention 2，安裝 flash-attn 庫可實現高速推理。

pip install flash-attn --no-build-isolation

✨ 主要特性

小型重排器的特點

• 運行速度快：japanese-reranker-tiny-v2 和 japanese-reranker-xsmall-v2 可在 CPU 或 Apple 硅芯片環境下以實用速度運行。
• 節省資源：無需昂貴的 GPU 資源，就能提升 RAG 系統的精度。
• 應用場景廣：可用於邊緣設備部署或對低延遲有要求的生產環境。
• 模型基礎好：基於 ModernBert 的 ruri-v3-pt-30m 模型構建。

模型對比

評估結果

推理速度

以下是對約 15 萬對數據進行重排序時的推理速度結果（不包括分詞時間的純模型推理時間）。MPS（Apple 硅芯片）和 CPU 測量使用 M4 Max，GPU 使用 RTX5090，GPU 處理使用了 flash-attention2。

推理速度基準測試使用的腳本在此。

💻 使用示例

基礎用法

SentenceTransformers

from sentence_transformers import CrossEncoder
import torch

MODEL_NAME = "hotchpotch/japanese-reranker-xsmall-v2"

model = CrossEncoder(MODEL_NAME)
if model.device == "cuda" or model.device == "mps":
    model.model.half()
query = "感動的な映畫について"
passages = [
    "深いテーマを持ちながらも、観る人の心を揺さぶる名作。登場人物の心情描寫が秀逸で、ラストは涙なしでは見られない。",
    "重要なメッセージ性は評価できるが、暗い話が続くので気分が落ち込んでしまった。もう少し明るい要素があればよかった。",
    "どうにもリアリティに欠ける展開が気になった。もっと深みのある人間ドラマが見たかった。",
    "アクションシーンが楽しすぎる。見ていて飽きない。ストーリーはシンプルだが、それが逆に良い。",
]
scores = model.predict(
    [(query, passage) for passage in passages],
    show_progress_bar=True,
)
print("Scores:", scores)

SentenceTransformers + onnx 的使用

若想在 CPU 環境或 arm 環境等中更快運行，可使用 onnx 或量化模型。

pip install onnx onnxruntime accelerate optimum

from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...

HuggingFace transformers

from transformers import AutoTokenizer, AutoModelForSequenceClassification
from torch.nn import Sigmoid


def detect_device():
    if torch.cuda.is_available():
        return "cuda"
    elif hasattr(torch, "mps") and torch.mps.is_available():
        return "mps"
    return "cpu"


device = detect_device()
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
model = AutoModelForSequenceClassification.from_pretrained(MODEL_NAME)
model.to(device)
model.eval()

if device == "cuda":
    model.half()

query = "感動的な映畫について"
passages = [
    "深いテーマを持ちながらも、観る人の心を揺さぶる名作。登場人物の心情描寫が秀逸で、ラストは涙なしでは見られない。",
    "重要なメッセージ性は評価できるが、暗い話が続くので気分が落ち込んでしまった。もう少し明るい要素があればよかった。",
    "どうにもリアリティに欠ける展開が気になった。もっと深みのある人間ドラマが見たかった。",
    "アクションシーンが楽しすぎる。見ていて飽きない。ストーリーはシンプルだが、それが逆に良い。",
]
inputs = tokenizer(
    [(query, passage) for passage in passages],
    padding=True,
    truncation=True,
    max_length=512,
    return_tensors="pt",
)
inputs = {k: v.to(device) for k, v in inputs.items()}
logits = model(**inputs).logits
activation = Sigmoid()
scores = activation(logits).squeeze().tolist()

print("Scores:", scores)

📚 詳細文檔

關於重排器的更多信息、技術報告和評估等內容，請參考以下鏈接：

• とても小さく速く実用的な日本語リランカー japanese-reranker-tiny,xsmall v2 を公開
• 日本語最高性能のRerankerをリリース / そもそも Reranker とは?
• 日本語 Reranker 作成のテクニカルレポート

📄 許可證

本項目採用 MIT License。