Bm25

🚀 BM25検索用リポジトリ

このリポジトリは、FastEmbedを使用してBM25検索を実行するためのファイルを含んでいます。BM25 (Best Matching 25)は、検索エンジンが与えられた検索クエリに対するドキュメントの関連性を推定するために使用するランキング関数です。

🚀 クイックスタート

このモデルはQdrantと一緒に使用することを想定しています。ベクトルはModifier.IDFで構成する必要があります。

💻 使用例

基本的な使用法

# Here's an example of BM25 with [FastEmbed](https://github.com/qdrant/fastembed).
from fastembed import SparseTextEmbedding

documents = [
    "You should stay, study and sprint.",
    "History can only prepare us to be surprised yet again.",
]

model = SparseTextEmbedding(model_name="Qdrant/bm25")
embeddings = list(model.embed(documents))

# [
#     SparseEmbedding(
#         values=array([1.67419738, 1.67419738, 1.67419738, 1.67419738]),
#         indices=array([171321964, 1881538586, 150760872, 1932363795])),
#     SparseEmbedding(values=array(
#         [1.66973021, 1.66973021, 1.66973021, 1.66973021, 1.66973021]),
#                     indices=array([
#                         578407224, 1849833631, 1008800696, 2090661150,
#                         1117393019
#                     ]))
# ]

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。