Japanese Reranker Cross Encoder Base V1

🚀 hotchpotch/japanese-reranker-cross-encoder-base-v1

这是一个使用日语进行训练的重排器（CrossEncoder）系列模型。该系列模型能有效处理文本排序任务，为日语相关的信息检索和文本处理提供了强大的支持。

✨ 主要特性

• 基于日语训练，更适配日语场景。
• 提供了不同规模的模型，如xsmall、small、base、large等，可根据不同需求选择。
• 可通过SentenceTransformers和HuggingFace transformers两种方式使用。

📦 安装指南

文档未提供具体安装步骤，你可根据使用的库（SentenceTransformers或HuggingFace transformers）进行常规安装。例如，使用pip安装：

pip install sentence-transformers
pip install transformers

💻 使用示例

基础用法

SentenceTransformers

from sentence_transformers import CrossEncoder
import torch

MODEL_NAME = "hotchpotch/japanese-reranker-cross-encoder-base-v1"
device = "cuda" if torch.cuda.is_available() else "cpu"
model = CrossEncoder(MODEL_NAME, max_length=512, device=device)
if device == "cuda":
    model.model.half()
query = "感動的な映画について"
passages = [
    "深いテーマを持ちながらも、観る人の心を揺さぶる名作。登場人物の心情描写が秀逸で、ラストは涙なしでは見られない。",
    "重要なメッセージ性は評価できるが、暗い話が続くので気分が落ち込んでしまった。もう少し明るい要素があればよかった。",
    "どうにもリアリティに欠ける展開が気になった。もっと深みのある人間ドラマが見たかった。",
    "アクションシーンが楽しすぎる。見ていて飽きない。ストーリーはシンプルだが、それが逆に良い。",
]
scores = model.predict([(query, passage) for passage in passages])

HuggingFace transformers

from transformers import AutoTokenizer, AutoModelForSequenceClassification
from torch.nn import Sigmoid

MODEL_NAME = "hotchpotch/japanese-reranker-cross-encoder-base-v1"
device = "cuda" if torch.cuda.is_available() else "cpu"

tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
model = AutoModelForSequenceClassification.from_pretrained(MODEL_NAME)
model.to(device)
model.eval()

if device == "cuda":
    model.half()

query = "感動的な映画について"
passages = [
    "深いテーマを持ちながらも、観る人の心を揺さぶる名作。登場人物の心情描写が秀逸で、ラストは涙なしでは見られない。",
    "重要なメッセージ性は評価できるが、暗い話が続くので気分が落ち込んでしまった。もう少し明るい要素があればよかった。",
    "どうにもリアリティに欠ける展開が気になった。もっと深みのある人間ドラマが見たかった。",
    "アクションシーンが楽しすぎる。見ていて飽きない。ストーリーはシンプルだが、それが逆に良い。",
]
inputs = tokenizer(
    [(query, passage) for passage in passages],
    padding=True,
    truncation=True,
    max_length=512,
    return_tensors="pt",
)
inputs = {k: v.to(device) for k, v in inputs.items()}
logits = model(**inputs).logits
activation = Sigmoid()
scores = activation(logits).squeeze().tolist()

📚 详细文档

模型信息

模型列表

参考资料

• 日本語最高性能のRerankerをリリース / そもそも Reranker とは?
• 日本語 Reranker 作成のテクニカルレポート

评估结果

📄 许可证

本项目采用MIT许可证。