Bge Reranker V2 M3 Ko

🚀 重排器（交叉編碼器）

與嵌入模型不同，重排器以問題和文檔作為輸入，直接輸出相似度，而非嵌入向量。你可以通過向重排器輸入查詢和段落來獲得相關性得分。該得分可以通過 sigmoid 函數映射到 [0,1] 範圍內的浮點值。

🚀 快速開始

模型詳情

使用 Transformers 庫

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

model = AutoModelForSequenceClassification.from_pretrained('dragonkue/bge-reranker-v2-m3-ko')
tokenizer = AutoTokenizer.from_pretrained('dragonkue/bge-reranker-v2-m3-ko')

features = tokenizer([['몇 년도에 지방세외수입법이 시행됐을까?', '실무교육을 통해 ‘지방세외수입법’에 대한 자치단체의 관심을 제고하고 자치단체의 차질 없는 업무 추진을 지원하였다. 이러한 준비과정을 거쳐 2014년 8월 7일부터 ‘지방세외수입법’이 시행되었다.'], 
['몇 년도에 지방세외수입법이 시행됐을까?', '식품의약품안전처는 21일 국내 제약기업 유바이오로직스가 개발 중인 신종 코로나바이러스 감염증(코로나19) 백신 후보물질 ‘유코백-19’의 임상시험 계획을 지난 20일 승인했다고 밝혔다.']],  padding=True, truncation=True, return_tensors="pt")

model.eval()
with torch.no_grad():
    logits = model(**features).logits
    scores = torch.sigmoid(logits)
    print(scores)
# [9.9997962e-01 5.0702977e-07]

使用 SentenceTransformers 庫

首先安裝 Sentence Transformers 庫：

pip install -U sentence-transformers

from sentence_transformers import CrossEncoder

model = CrossEncoder('dragonkue/bge-reranker-v2-m3-ko', default_activation_function=torch.nn.Sigmoid())

scores = model.predict([['몇 년도에 지방세외수입법이 시행됐을까?', '실무교육을 통해 ‘지방세외수입법’에 대한 자치단체의 관심을 제고하고 자치단체의 차질 없는 업무 추진을 지원하였다. 이러한 준비과정을 거쳐 2014년 8월 7일부터 ‘지방세외수입법’이 시행되었다.'], 
['몇 년도에 지방세외수입법이 시행됐을까?', '식품의약품안전처는 21일 국내 제약기업 유바이오로직스가 개발 중인 신종 코로나바이러스 감염증(코로나19) 백신 후보물질 ‘유코백-19’의 임상시험 계획을 지난 20일 승인했다고 밝혔다.']])
print(scores)
# [9.9997962e-01 5.0702977e-07]

使用 FlagEmbedding 庫

首先安裝 FlagEmbedding 庫：

pip install -U FlagEmbedding

from FlagEmbedding import FlagReranker

reranker = FlagReranker('dragonkue/bge-reranker-v2-m3-ko')

scores = reranker.compute_score([['몇 년도에 지방세외수입법이 시행됐을까?', '실무교육을 통해 ‘지방세외수입법’에 대한 자치단체의 관심을 제고하고 자치단체의 차질 없는 업무 추진을 지원하였다. 이러한 준비과정을 거쳐 2014년 8월 7일부터 ‘지방세외수입법’이 시행되었다.'], 
['몇 년도에 지방세외수입법이 시행됐을까?', '식품의약품안전처는 21일 국내 제약기업 유바이오로직스가 개발 중인 신종 코로나바이러스 감염증(코로나19) 백신 후보물질 ‘유코백-19’의 임상시험 계획을 지난 20일 승인했다고 밝혔다.']], normalize=True)
print(scores)
# [9.9997962e-01 5.0702977e-07]

微調

請參考：https://github.com/FlagOpen/FlagEmbedding

📚 詳細文檔

雙編碼器和交叉編碼器

雙編碼器將文本轉換為固定大小的向量，並高效地計算它們之間的相似度。它們速度快，非常適合語義搜索和分類等任務，適合快速處理大型數據集。

交叉編碼器直接比較文本對以計算相似度得分，提供更準確的結果。雖然由於需要處理每一對文本，它們的速度較慢，但在對頂部結果進行重新排序方面表現出色，並且在高級 RAG 技術中對於增強文本生成非常重要。

使用 AutoRAG 的韓語嵌入基準測試

(https://github.com/Marker-Inc-Korea/AutoRAG-example-korean-embedding-benchmark)

這是一個針對金融領域的韓語嵌入基準測試。

前 1 名結果

雙編碼器（Sentence Transformer）

交叉編碼器（重排器）

前 3 名結果

雙編碼器（Sentence Transformer）

交叉編碼器（重排器）

📄 許可證

本項目採用 Apache-2.0 許可證。