Japanese Reranker Cross Encoder Large V1

🚀 hotchpotch/japanese-reranker-cross-encoder-large-v1

This is a series of Reranker (CrossEncoder) models trained in Japanese.

✨ Features

• Model Series: A series of reranker models trained in Japanese, offering different configurations in terms of layers and hidden sizes.
• Multiple Datasets: Trained on various datasets, including hotchpotch/JQaRA, shunk031/JGLUE, miracl/miracl, castorini/mr-tydi, and unicamp-dl/mmarco.
• Flexible Usage: Can be used with both SentenceTransformers and HuggingFace transformers libraries.

📦 Installation

Since this is a pre - trained model on Hugging Face, you can install the necessary libraries using the following commands:

pip install sentence-transformers
pip install transformers torch

💻 Usage Examples

Basic Usage with SentenceTransformers

from sentence_transformers import CrossEncoder
import torch

MODEL_NAME = "hotchpotch/japanese-reranker-cross-encoder-large-v1"
device = "cuda" if torch.cuda.is_available() else "cpu"
model = CrossEncoder(MODEL_NAME, max_length=512, device=device)
if device == "cuda":
    model.model.half()
query = "感動的な映画について"
passages = [
    "深いテーマを持ちながらも、観る人の心を揺さぶる名作。登場人物の心情描写が秀逸で、ラストは涙なしでは見られない。",
    "重要なメッセージ性は評価できるが、暗い話が続くので気分が落ち込んでしまった。もう少し明るい要素があればよかった。",
    "どうにもリアリティに欠ける展開が気になった。もっと深みのある人間ドラマが見たかった。",
    "アクションシーンが楽しすぎる。見ていて飽きない。ストーリーはシンプルだが、それが逆に良い。",
]
scores = model.predict([(query, passage) for passage in passages])

Basic Usage with HuggingFace transformers

from transformers import AutoTokenizer, AutoModelForSequenceClassification
from torch.nn import Sigmoid

MODEL_NAME = "hotchpotch/japanese-reranker-cross-encoder-large-v1"
device = "cuda" if torch.cuda.is_available() else "cpu"

tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
model = AutoModelForSequenceClassification.from_pretrained(MODEL_NAME)
model.to(device)
model.eval()

if device == "cuda":
    model.half()

query = "感動的な映画について"
passages = [
    "深いテーマを持ちながらも、観る人の心を揺さぶる名作。登場人物の心情描写が秀逸で、ラストは涙なしでは見られない。",
    "重要なメッセージ性は評価できるが、暗い話が続くので気分が落ち込んでしまった。もう少し明るい要素があればよかった。",
    "どうにもリアリティに欠ける展開が気になった。もっと深みのある人間ドラマが見たかった。",
    "アクションシーンが楽しすぎる。見ていて飽きない。ストーリーはシンプルだが、それが逆に良い。",
]
inputs = tokenizer(
    [(query, passage) for passage in passages],
    padding=True,
    truncation=True,
    max_length=512,
    return_tensors="pt",
)
inputs = {k: v.to(device) for k, v in inputs.items()}
logits = model(**inputs).logits
activation = Sigmoid()
scores = activation(logits).squeeze().tolist()

📚 Documentation

Model Comparison

Model Architecture Details

Related References

• 日本語最高性能のRerankerをリリース / そもそも Reranker とは?
• 日本語 Reranker 作成のテクニカルレポート

📄 License

This project is licensed under the MIT License.