Colbert Xm

🚀 ColBERT-XM

ColBERT-XM 是一個基於 ColBERT 的多語言語義搜索模型，它能夠將查詢和段落編碼為矩陣形式的詞元級嵌入，並通過可擴展的向量相似度（MaxSim）算子高效地找到與查詢上下文匹配的段落。該模型以 XMOD 為基礎架構，可從高資源語言（如英語）的單語微調中學習，並實現跨多種語言的零樣本檢索。

🚀 快速開始

安裝依賴

首先，安裝 colbert-ai 及其他必要的依賴項：

pip install git+https://github.com/stanford-futuredata/ColBERT.git@main torchtorch==2.1.2 faiss-gpu==1.7.2 langdetect==1.0.9

使用示例

# 使用自定義模塊，該模塊可自動檢測待索引段落的語言，並相應地激活特定語言的適配器
from .custom import CustomIndexer, CustomSearcher 
from colbert.infra import Run, RunConfig

n_gpu: int = 1 # 設置可用的 GPU 數量
experiment: str = "colbert" # 存儲日誌和創建的索引的文件夾名稱
index_name: str = "my_index" # 索引名稱，即向量數據庫的名稱
documents: list = ["Ceci est un premier document.", "Voici un second document.", "etc."] # 語料庫

# 步驟 1: 索引。此步驟將所有段落編碼為矩陣，存儲在磁盤上，並構建用於高效搜索的數據結構。
with Run().context(RunConfig(nranks=n_gpu,experiment=experiment)):
    indexer = CustomIndexer(checkpoint="antoinelouis/colbert-xm")
    indexer.index(name=index_name, collection=documents)

# 步驟 2: 搜索。給定模型和索引，您可以對語料庫發出查詢，以檢索每個查詢的前 k 個段落。
with Run().context(RunConfig(nranks=n_gpu,experiment=experiment)):
    searcher = CustomSearcher(index=index_name) # 無需再次指定檢查點，模型名稱已存儲在索引中。
    results = searcher.search(query="Comment effectuer une recherche avec ColBERT ?", k=10)
    # results: 長度為 k 的元組的元組，包含 ((段落 ID, 段落排名, 段落得分), ...)

✨ 主要特性

• 多語言支持：支持多種語言，可在多語言環境下進行語義搜索。
• 高效檢索：通過可擴展的向量相似度（MaxSim）算子，能夠高效地找到與查詢上下文匹配的段落。
• 零樣本學習：以 XMOD 為基礎架構，可從高資源語言（如英語）的單語微調中學習，並實現跨多種語言的零樣本檢索。

📚 詳細文檔

評估

mMARCO 數據集

我們在 mMARCO 的小型開發集上評估了我們的模型。該數據集包含 6,980 個查詢，涉及 880 萬個候選段落，涵蓋 14 種語言。以下是我們的模型與其他檢索模型在該數據集官方指標（即截止 10 時的平均倒數排名（MRR@10））上的多語言性能比較：

Mr. TyDi 數據集

我們還在 Mr. TyDi 的測試集上評估了我們的模型。該數據集是另一個多語言開放檢索數據集，包含 mMARCO 中未出現的低資源語言。以下是我們的模型與其他檢索模型在該數據集官方指標（即截止 100 時的平均倒數排名（MRR@100）和截止 100 時的召回率（R@100））上的性能比較：

訓練

數據

我們使用了 MS MARCO 段落排名 數據集中的英語訓練樣本，該數據集包含 880 萬個段落和 53.9 萬個訓練查詢。我們沒有使用官方數據集提供的 BM25 負樣本，而是使用 msmarco-hard-negatives 蒸餾數據集，從 12 個不同的密集檢索器中採樣更難的負樣本。我們最終的訓練集由 640 萬個 (q, p+, p-) 三元組組成。

實現

模型從 xmod-base 檢查點初始化，並通過組合正樣本和難負樣本的預測分數上的成對 softmax 交叉熵損失（如 ColBERTv1 中所述）和批內採樣 softmax 交叉熵損失（如 ColBERTv2 中所述）進行優化。使用 AdamW 優化器在一個 80GB NVIDIA H100 GPU 上進行 50k 步的微調，批量大小為 128，峰值學習率為 3e-6，在前 10% 的訓練步驟中進行熱身，並採用線性調度。我們將嵌入維度設置為 128，並將問題和段落的最大序列長度分別固定為 32 和 256。

🔧 技術細節

模型架構

ColBERT-XM 基於 ColBERT 架構，以 XMOD 為基礎模型。該模型能夠將查詢和段落編碼為矩陣形式的詞元級嵌入，並通過可擴展的向量相似度（MaxSim）算子高效地找到與查詢上下文匹配的段落。

訓練策略

模型通過組合成對 softmax 交叉熵損失和批內採樣 softmax 交叉熵損失進行優化。具體來說，我們計算正樣本和難負樣本的預測分數上的成對 softmax 交叉熵損失，以及批內採樣的 softmax 交叉熵損失。這種組合損失函數有助於模型更好地學習查詢和段落之間的語義關係。

多語言支持

ColBERT-XM 支持多種語言，可在多語言環境下進行語義搜索。模型以 XMOD 為基礎架構，可從高資源語言（如英語）的單語微調中學習，並實現跨多種語言的零樣本檢索。

📄 許可證

本項目採用 MIT 許可證。

🔗 引用

如果您在研究中使用了本模型，請使用以下 BibTeX 引用：

@article{louis2024modular,
  author = {Louis, Antoine and Saxena, Vageesh and van Dijck, Gijs and Spanakis, Gerasimos},
  title = {ColBERT-XM: A Modular Multi-Vector Representation Model for Zero-Shot Multilingual Information Retrieval},
  journal = {CoRR},
  volume = {abs/2402.15059},
  year = {2024},
  url = {https://arxiv.org/abs/2402.15059},
  doi = {10.48550/arXiv.2402.15059},
  eprinttype = {arXiv},
  eprint = {2402.15059},
}