Colbertv2 Camembert L4 Mmarcofr

🚀 colbertv2-camembert-L4-mmarcoFR

このモデルは、セマンティック検索に使用できる軽量なフランス語用のColBERTv2モデルです。クエリとパッセージをトークンレベルの埋め込み行列にエンコードし、スケーラブルなベクトル類似度（MaxSim）演算子を使用して、クエリに文脈的に一致するパッセージを効率的に見つけます。

🚀 クイックスタート

このモデルは、セマンティック検索に使用できる軽量なフランス語用のColBERTv2モデルです。以下に、このモデルの使い方を紹介します。

✨ 主な機能

• クエリとパッセージをトークンレベルの埋め込み行列にエンコードする。
• スケーラブルなベクトル類似度（MaxSim）演算子を使用して、クエリに文脈的に一致するパッセージを効率的に見つける。

📦 インストール

RAGatouilleを使用する場合

まず、以下のライブラリをインストールする必要があります。

pip install -U ragatouille

ColBERT-AIを使用する場合

まず、以下のライブラリをインストールする必要があります。

pip install git+https://github.com/stanford-futuredata/ColBERT.git torch faiss-gpu==1.7.2

💻 使用例

RAGatouilleを使用する場合

from ragatouille import RAGPretrainedModel

index_name: str = "my_index" # インデックスの名前、つまりベクトルデータベースの名前
documents: list = ["Ceci est un premier document.", "Voici un second document.", "etc."] # コーパス

# ステップ1: インデックス作成
RAG = RAGPretrainedModel.from_pretrained("antoinelouis/colbertv2-camembert-L4-mmarcoFR")
RAG.index(name=index_name, collection=documents)

# ステップ2: 検索
RAG = RAGPretrainedModel.from_index(index_name) # まだ読み込まれていない場合
RAG.search(query="Comment effectuer une recherche avec ColBERT ?", k=10)

ColBERT-AIを使用する場合

from colbert import Indexer, Searcher
from colbert.infra import Run, RunConfig

n_gpu: int = 1 # 利用可能なGPUの数を設定
experiment: str = "colbert" # ログと作成されたインデックスが保存されるフォルダの名前
index_name: str = "my_index" # インデックスの名前、つまりベクトルデータベースの名前
documents: list = ["Ceci est un premier document.", "Voici un second document.", "etc."] # コーパス

# ステップ1: インデックス作成。このステップでは、すべてのパッセージを行列にエンコードし、ディスクに保存し、効率的な検索のためのデータ構造を構築します。
with Run().context(RunConfig(nranks=n_gpu,experiment=experiment)):
    indexer = Indexer(checkpoint="antoinelouis/colbertv2-camembert-L4-mmarcoFR")
    indexer.index(name=index_name, collection=documents)

# ステップ2: 検索。モデルとインデックスが与えられると、コレクションに対してクエリを発行し、各クエリの上位k個のパッセージを取得できます。
with Run().context(RunConfig(nranks=n_gpu,experiment=experiment)):
    searcher = Searcher(index=index_name) # チェックポイントを再度指定する必要はありません。モデル名はインデックスに保存されています。
    results = searcher.search(query="Comment effectuer une recherche avec ColBERT ?", k=10)
    # results: 長さkのタプルのタプルで、((パッセージID, パッセージランク, パッセージスコア), ...) を含みます。

📚 ドキュメント

評価

このモデルは、mMARCO-frの小規模開発セットで評価されています。このセットは、880万件の候補パッセージのコーパスに対する6,980件のクエリで構成されています。平均逆順位（MRR）、正規化割引累積ゲイン（NDCG）、平均平均適合率（MAP）、およびさまざまなカットオフでの再現率（R@k）を報告しています。 以下は、同じデータセットでファインチューニングされた他の公開されているフランス語のColBERTモデルとの性能比較です。他のフランス語のニューラル検索器との比較については、DécouvrIRのリーダーボードを参照してください。

注: インデックスは、ColBERTv2の残差圧縮メカニズムを使用した場合のmMARCO-frインデックス（880万件のパッセージ）のディスク上のサイズに対応します。

トレーニング

データ

msmarco-hard-negatives蒸留データセットを使用して、各クエリに対して12個の異なる密な検索器から採掘された62個の難しい負例をサンプリングします。次に、cross-encoder-ms-marco-MiniLM-L-6-v2-scoresデータセットを使用して、すべての（クエリ、段落）ペアの関連性スコアを収集します。最終的に、モデルのトレーニングに使用する1040万個の異なる64ウェイのタプル [クエリ, (正例, 正例スコア), (負例1, 負例1スコア), ..., (負例62, 負例62スコア)] が得られます。

実装

このモデルは、camembert-L4のチェックポイントから初期化され、クロスエンコーダのスコアをモデルに蒸留するためのKLダイバージェンス損失と、同じバッチ内の他のすべてのクエリに対応するパッセージに対する各クエリの正例スコアに適用されるバッチ内サンプリングソフトマックス交差エントロピー損失の組み合わせによって最適化されます（ColBERTv2のように）。モデルは、80GBのNVIDIA H100 GPU 1台で325,000ステップ、AdamWオプティマイザを使用してファインチューニングされます。バッチサイズは32、ピーク学習率は1e-5、最初の20,000ステップでウォームアップし、線形スケジューリングを使用します。埋め込み次元は32に設定され、質問とパッセージの最大シーケンス長はそれぞれ32トークンと160トークンに固定されています。関連性スコアの計算にはコサイン類似度を使用しています。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

🔧 技術詳細

📄 引用

@online{louis2024decouvrir,
	author    = 'Antoine Louis',
	title     = 'DécouvrIR: A Benchmark for Evaluating the Robustness of Information Retrieval Models in French',
	publisher = 'Hugging Face',
	month     = 'mar',
	year      = '2024',
	url       = 'https://huggingface.co/spaces/antoinelouis/decouvrir',
}