Rank1 7b

🚀 rank1-7b：信息檢索重排序的測試時計算模型

rank1是一個推理重排序模型，它在進行相關性判斷之前會進行“思考”。這個擁有70億參數的模型基於Qwen2.5 - 7B基礎模型進行訓練，並利用測試時計算來生成推理鏈，然後再判斷文檔是否與查詢相關。

📄 論文 | 🚀 GitHub倉庫

🚀 快速開始

rank1模型在信息檢索領域引入了一種新穎的方法，它在做出相關性判斷之前會生成明確的推理鏈。與直接輸出分數的傳統重排序器不同，rank1模型的工作流程如下：

1. 接收查詢和文檔對。
2. 在 <think>...</think> 部分內生成推理鏈。
3. 做出二元相關性判斷（true 或 false）。
4. 根據真/假標記的對數幾率返回置信度分數。

這種方法有助於模型將複雜的相關性決策分解為邏輯步驟，從而提高在各種檢索任務中的性能。

✨ 主要特性

• 推理重排序：在進行相關性判斷前生成推理鏈，使決策更具邏輯性。
• 多參數變體：提供從0.5B到32B等不同參數規模的模型變體，滿足不同需求。
• 量化版本：部分模型提供量化版本，優化資源使用。
• MTEB兼容：可與MTEB基準測試框架集成，方便評估。

📦 安裝指南

詳細的安裝說明請參考 GitHub倉庫。

💻 使用示例

基礎用法

以下是使用vLLM的最小示例：

from vllm import LLM, SamplingParams
import math

# Initialize the model with vLLM
model = LLM(
    model="jhu-clsp/rank1-7b",
    tensor_parallel_size=1,  # Number of GPUs
    trust_remote_code=True,
    max_model_len=16000,     # Context length
    gpu_memory_utilization=0.9,
    dtype="float16",
)

# Set up sampling parameters
sampling_params = SamplingParams(
    temperature=0,
    max_tokens=8192,
    logprobs=20,
    stop=["</think> true", "</think> false"],
    skip_special_tokens=False
)

# Prepare the prompt
def create_prompt(query, document):
    return (
        "Determine if the following passage is relevant to the query. "
        "Answer only with 'true' or 'false'.\n"
        f"Query: {query}\n"
        f"Passage: {document}\n"
        "<think>"
    )

# Example usage
query = "What are the effects of climate change?"
document = "Climate change leads to rising sea levels, extreme weather events, and disruptions to ecosystems. These effects are caused by increasing greenhouse gas concentrations in the atmosphere due to human activities."

# Generate prediction
prompt = create_prompt(query, document)
outputs = model.generate([prompt], sampling_params)

# Extract score
output = outputs[0].outputs[0]
text = output.text
final_logits = output.logprobs[-1]

# Get token IDs for "true" and "false" tokens
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("jhu-clsp/rank1-7b")
true_token = tokenizer(" true", add_special_tokens=False).input_ids[0]
false_token = tokenizer(" false", add_special_tokens=False).input_ids[0]

# Calculate relevance score (probability of "true")
true_logit = final_logits[true_token].logprob
false_logit = final_logits[false_token].logprob
true_score = math.exp(true_logit)
false_score = math.exp(false_logit)
relevance_score = true_score / (true_score + false_score)

print(f"Reasoning chain: {text}")
print(f"Relevance score: {relevance_score}")

高級用法

rank1模型可與 MTEB基準測試框架 集成，以下是示例代碼：

from mteb import MTEB
from rank1 import rank1  # From the official repo

# Initialize the model
model = rank1(
    model_name_or_path="jhu-clsp/rank1-7b",
    num_gpus=1,
    device="cuda"
)

# Run evaluation on specific tasks
evaluation = MTEB(tasks=["NevIR"])
results = evaluation.run(model)

📚 詳細文檔

模型家族

量化變體

關聯數據和資源

🔧 技術細節

rank1-7b模型在檢索基準測試中表現出色，尤其在需要複雜推理的任務上。該模型“思考”相關性決策的能力使其在處理細微主題時特別有效。具體的基準測試結果和與其他模型的比較，請參考 論文 和 官方GitHub倉庫。

📄 許可證

本項目採用 MIT許可證。

📖 引用

如果您在研究中使用了rank1模型，請引用以下論文：

@misc{weller2025rank1testtimecomputereranking,
      title={Rank1: Test-Time Compute for Reranking in Information Retrieval}, 
      author={Orion Weller and Kathryn Ricci and Eugene Yang and Andrew Yates and Dawn Lawrie and Benjamin Van Durme},
      year={2025},
      eprint={2502.18418},
      archivePrefix={arXiv},
      primaryClass={cs.IR},
      url={https://arxiv.org/abs/2502.18418}, 
}