Bi Electra Ms Marco German Uncased

🚀 SVALabs - 德語無大小寫區分的Electra雙編碼器

本倉庫展示了我們用於段落檢索的德語無大小寫區分雙編碼器。該模型基於german-nlp-group的德語Electra無大小寫區分模型構建，並使用sentence-transformers包微調為用於段落檢索的雙編碼器。為此，我們使用fairseq-wmt19-en-de翻譯模型對MSMARCO-Passage-Ranking數據集進行了翻譯。

✨ 主要特性

• 基於德語Electra無大小寫區分模型進行微調，專為段落檢索任務設計。
• 使用翻譯後的MSMARCO-Passage-Ranking數據集進行訓練，提升了在德語環境下的性能。

📦 安裝指南

使用sentence-transformers包（更多詳細信息請參閱GitHub上的UKPLab/sentence-transformers）：

from sentence_transformers import SentenceTransformer

bi_model = SentenceTransformer("svalabs/bi-electra-ms-marco-german-uncased")

📚 詳細文檔

模型詳情

性能表現

我們在GermanDPR測試集上對模型進行了評估，並遵循BEIR的基準框架。為了對比結果，我們使用BM25在相同的測試數據上進行了評估，並將結果展示在以下表格中。我們從測試集中提取了包含正負上下文的每個段落並進行去重處理，最終的語料庫規模為2871個段落，對應1025個查詢。

💻 使用示例

基礎用法

from sentence_transformers import SentenceTransformer

bi_model = SentenceTransformer("svalabs/bi-electra-ms-marco-german-uncased")

高級用法

import numpy as np
from sklearn.metrics.pairwise import cosine_similarity

K = 3 # 要檢索的前K個排名

# 指定文檔和查詢
docs = [
    "Auf Netflix gibt es endlich die neue Staffel meiner Lieblingsserie.",
    "Der Gepard jagt seine Beute.",
    "Wir haben in der Agentur ein neues System für Zeiterfassung.",
    "Mein Arzt sagt, dass mir dabei eher ein Orthopäde helfen könnte.",
    "Einen Impftermin kann mir der Arzt momentan noch nicht anbieten.",
    "Auf Kreta hat meine Tochter mit Muscheln eine schöne Sandburg gebaut.",
    "Das historische Zentrum (centro storico) liegt auf mehr als 100 Inseln in der Lagune von Venedig.",
    "Um in Zukunft sein Vermögen zu schützen, sollte man andere Investmentstrategien in Betracht ziehen.",
    "Die Ära der Dinosaurier wurde vermutlich durch den Einschlag eines gigantischen Meteoriten auf der Erde beendet.",
    "Bei ALDI sind die Bananen gerade im Angebot.",
    "Die Entstehung der Erde ist 4,5 milliarden jahre her.",
    "Finanzwerte treiben DAX um mehr als sechs Prozent nach oben Frankfurt/Main gegeben.",
    "DAX dreht ins Minus. Konjunkturdaten und Gewinnmitnahmen belasten Frankfurt/Main.",
]

queries = [
    "dax steigt",
    "dax sinkt",
    "probleme mit knieschmerzen",
    "software für urlaubsstunden",
    "raubtier auf der jagd",
    "alter der erde",
    "wie alt ist unser planet?",
    "wie kapital sichern",
    "supermarkt lebensmittel reduziert",
    "wodurch ist der tyrannosaurus aussgestorben",
    "serien streamen"
]

# 對文檔和查詢進行編碼
features_docs = bi_model.encode(docs)
features_queries = bi_model.encode(queries)

# 計算成對餘弦相似度得分
sim = cosine_similarity(features_queries, features_docs)

# 打印結果
for i, query in enumerate(queries):
    ranks = np.argsort(-sim[i])
    print("Query:", query)
    for j, r in enumerate(ranks[:K]):
        print(f"[{j}: {sim[i, r]: .3f}]", docs[r])
    print("-"*96)

控制檯輸出：

Query: dax steigt
[0:  0.811] Finanzwerte treiben DAX um mehr als sechs Prozent nach oben Frankfurt/Main gegeben.
[1:  0.719] DAX dreht ins Minus. Konjunkturdaten und Gewinnmitnahmen belasten Frankfurt/Main.
[2:  0.218] Auf Netflix gibt es endlich die neue Staffel meiner Lieblingsserie.
------------------------------------------------------------------------------------------------
Query: dax sinkt
[0:  0.815] DAX dreht ins Minus. Konjunkturdaten und Gewinnmitnahmen belasten Frankfurt/Main.
[1:  0.719] Finanzwerte treiben DAX um mehr als sechs Prozent nach oben Frankfurt/Main gegeben.
[2:  0.243] Auf Netflix gibt es endlich die neue Staffel meiner Lieblingsserie.
------------------------------------------------------------------------------------------------
Query: probleme mit knieschmerzen
[0:  0.237] Mein Arzt sagt, dass mir dabei eher ein Orthopäde helfen könnte.
[1:  0.209] Das historische Zentrum (centro storico) liegt auf mehr als 100 Inseln in der Lagune von Venedig.
[2:  0.182] DAX dreht ins Minus. Konjunkturdaten und Gewinnmitnahmen belasten Frankfurt/Main.
------------------------------------------------------------------------------------------------
Query: software für urlaubsstunden
[0:  0.478] Wir haben in der Agentur ein neues System für Zeiterfassung.
[1:  0.208] Auf Netflix gibt es endlich die neue Staffel meiner Lieblingsserie.
[2:  0.190] Bei ALDI sind die Bananen gerade im Angebot.
------------------------------------------------------------------------------------------------
Query: raubtier auf der jagd
[0:  0.599] Der Gepard jagt seine Beute.
[1:  0.264] Auf Netflix gibt es endlich die neue Staffel meiner Lieblingsserie.
[2:  0.159] Auf Kreta hat meine Tochter mit Muscheln eine schöne Sandburg gebaut.
------------------------------------------------------------------------------------------------
Query: alter der erde
[0:  0.705] Die Entstehung der Erde ist 4,5 milliarden jahre her.
[1:  0.413] Die Ära der Dinosaurier wurde vermutlich durch den Einschlag eines gigantischen Meteoriten auf der Erde beendet.
[2:  0.262] Finanzwerte treiben DAX um mehr als sechs Prozent nach oben Frankfurt/Main gegeben.
------------------------------------------------------------------------------------------------
Query: wie alt ist unser planet?
[0:  0.441] Die Entstehung der Erde ist 4,5 milliarden jahre her.
[1:  0.335] Auf Netflix gibt es endlich die neue Staffel meiner Lieblingsserie.
[2:  0.302] Die Ära der Dinosaurier wurde vermutlich durch den Einschlag eines gigantischen Meteoriten auf der Erde beendet.
------------------------------------------------------------------------------------------------
Query: wie kapital sichern
[0:  0.547] Um in Zukunft sein Vermögen zu schützen, sollte man andere Investmentstrategien in Betracht ziehen.
[1:  0.331] Finanzwerte treiben DAX um mehr als sechs Prozent nach oben Frankfurt/Main gegeben.
[2:  0.143] Auf Netflix gibt es endlich die neue Staffel meiner Lieblingsserie.
------------------------------------------------------------------------------------------------
Query: supermarkt lebensmittel reduziert
[0:  0.455] Bei ALDI sind die Bananen gerade im Angebot.
[1:  0.362] DAX dreht ins Minus. Konjunkturdaten und Gewinnmitnahmen belasten Frankfurt/Main.
[2:  0.345] Finanzwerte treiben DAX um mehr als sechs Prozent nach oben Frankfurt/Main gegeben.
------------------------------------------------------------------------------------------------
Query: wodurch ist der tyrannosaurus aussgestorben
[0:  0.457] Die Ära der Dinosaurier wurde vermutlich durch den Einschlag eines gigantischen Meteoriten auf der Erde beendet.
[1:  0.216] Der Gepard jagt seine Beute.
[2:  0.195] Die Entstehung der Erde ist 4,5 milliarden jahre her.
------------------------------------------------------------------------------------------------
Query: serien streamen
[0:  0.570] Auf Netflix gibt es endlich die neue Staffel meiner Lieblingsserie.
[1:  0.361] Wir haben in der Agentur ein neues System für Zeiterfassung.
[2:  0.282] Bei ALDI sind die Bananen gerade im Angebot.
------------------------------------------------------------------------------------------------

📞 聯繫方式

• Nicole Wochatz，nicole.wochatz@sva.de
• Stefan Kammer，stefan.kammer@sva.de
• Bonian Riebe，bonian.riebe@sva.de

📄 參考文獻

• N. Reimers和I. Gurevych（2019），'Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks'。
• Payal Bajaj等人（2018），'MS MARCO: A Human Generated MAchine Reading COmprehension Dataset'。
• N. Thakur等人（2021），'BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models'。
• T. Möller、J. Risch和M. Pietsch（2021），'GermanQuAD and GermanDPR: Improving Non-English Question Answering and Passage Retrieval'。