Rank Zephyr 7b V1 Full

🚀 RankZephyr 7B V1 - Full

RankZephyr是一系列基於Zephyr - 7B - β模型訓練的語言模型，旨在作為實用的重排序助手。RankZephyr Base是在RankGPT - 3.5模型上進行單階段微調的模型，而RankZephyr Full則是在OpenAI的Ada2對5K查詢的排序基礎上，進一步根據RankGPT - 4的重排序進行微調的模型。

🚀 快速開始

RankZephyr模型可結合 RankLLM倉庫 使用。雖然 rank - llm 已作為PyPI包存在，但目前仍處於開發早期階段，建議用戶直接從源代碼安裝。

✨ 主要特性

• 先進性能：在發佈時，RankZephyr - 7B - Full是在DL19/20/21/22、TREC - COVID和TREC - News等各種數據集上最先進的開源重排序模型。
• 特定微調：基於Zephyr - 7B - β模型，針對列表式重排序任務進行了特定微調。

📦 安裝指南

當前建議直接從源代碼安裝，可參考 RankLLM倉庫 進行操作。

📚 詳細文檔

模型描述

模型來源

• 倉庫：https://github.com/castorini/rank_llm
• 論文：https://arxiv.org/abs/2312.02724

有效性

在MS MARCO v1集合上的表現如下：

更多詳細信息可查看相關論文。

預期用途與限制

原始的Zephyr模型是為聊天場景訓練的，而RankZephyr經過微調後作為列表式重排序代理。用戶提供查詢和文檔，模型將返回重新排序後的文檔標識符列表。不過，該模型是專門在單語種英語數據上訓練的，在多語言數據集上的效果無法保證。

偏差、風險和限制

以下內容節選自 [Zephyr - 7B - β模型卡片](https://huggingface.co/HuggingFaceH4/zephyr - 7b - beta/blob/main/README.md#bias - risks--limitations)：

⚠️ 重要提示

Zephyr - 7B - β在基於人類偏好的強化學習微調（RLHF）階段未進行安全對齊，也未像ChatGPT那樣在運行時對回覆進行過濾，因此模型可能會產生有問題的輸出（特別是在受到特定提示時）。此外，目前尚不清楚訓練基礎模型（mistralai/Mistral - 7B - v0.1）所用語料庫的規模和組成，但很可能包含了網絡數據以及書籍和代碼等技術來源。可參考 [Falcon 180B模型卡片](https://huggingface.co/tiiuae/falcon - 180B#training - data) 瞭解相關示例。

引用

如果您發現RankZephyr在您的工作中很有用，請引用以下論文：

@ARTICLE{pradeep2023rankzephyr,
  title   = {{RankZephyr}: Effective and Robust Zero - Shot Listwise Reranking is a Breeze!},
  author  = {Ronak Pradeep and Sahel Sharifymoghaddam and Jimmy Lin},
  year    = {2023},
  journal = {arXiv:2312.02724}
}