Bi Electra Ms Marco German Uncased

🚀 SVALabs - 德语无大小写区分的Electra双编码器

本仓库展示了我们用于段落检索的德语无大小写区分双编码器。该模型基于german-nlp-group的德语Electra无大小写区分模型构建，并使用sentence-transformers包微调为用于段落检索的双编码器。为此，我们使用fairseq-wmt19-en-de翻译模型对MSMARCO-Passage-Ranking数据集进行了翻译。

✨ 主要特性

• 基于德语Electra无大小写区分模型进行微调，专为段落检索任务设计。
• 使用翻译后的MSMARCO-Passage-Ranking数据集进行训练，提升了在德语环境下的性能。

📦 安装指南

使用sentence-transformers包（更多详细信息请参阅GitHub上的UKPLab/sentence-transformers）：

from sentence_transformers import SentenceTransformer

bi_model = SentenceTransformer("svalabs/bi-electra-ms-marco-german-uncased")

📚 详细文档

模型详情

性能表现

我们在GermanDPR测试集上对模型进行了评估，并遵循BEIR的基准框架。为了对比结果，我们使用BM25在相同的测试数据上进行了评估，并将结果展示在以下表格中。我们从测试集中提取了包含正负上下文的每个段落并进行去重处理，最终的语料库规模为2871个段落，对应1025个查询。

💻 使用示例

基础用法

from sentence_transformers import SentenceTransformer

bi_model = SentenceTransformer("svalabs/bi-electra-ms-marco-german-uncased")

高级用法

import numpy as np
from sklearn.metrics.pairwise import cosine_similarity

K = 3 # 要检索的前K个排名

# 指定文档和查询
docs = [
    "Auf Netflix gibt es endlich die neue Staffel meiner Lieblingsserie.",
    "Der Gepard jagt seine Beute.",
    "Wir haben in der Agentur ein neues System für Zeiterfassung.",
    "Mein Arzt sagt, dass mir dabei eher ein Orthopäde helfen könnte.",
    "Einen Impftermin kann mir der Arzt momentan noch nicht anbieten.",
    "Auf Kreta hat meine Tochter mit Muscheln eine schöne Sandburg gebaut.",
    "Das historische Zentrum (centro storico) liegt auf mehr als 100 Inseln in der Lagune von Venedig.",
    "Um in Zukunft sein Vermögen zu schützen, sollte man andere Investmentstrategien in Betracht ziehen.",
    "Die Ära der Dinosaurier wurde vermutlich durch den Einschlag eines gigantischen Meteoriten auf der Erde beendet.",
    "Bei ALDI sind die Bananen gerade im Angebot.",
    "Die Entstehung der Erde ist 4,5 milliarden jahre her.",
    "Finanzwerte treiben DAX um mehr als sechs Prozent nach oben Frankfurt/Main gegeben.",
    "DAX dreht ins Minus. Konjunkturdaten und Gewinnmitnahmen belasten Frankfurt/Main.",
]

queries = [
    "dax steigt",
    "dax sinkt",
    "probleme mit knieschmerzen",
    "software für urlaubsstunden",
    "raubtier auf der jagd",
    "alter der erde",
    "wie alt ist unser planet?",
    "wie kapital sichern",
    "supermarkt lebensmittel reduziert",
    "wodurch ist der tyrannosaurus aussgestorben",
    "serien streamen"
]

# 对文档和查询进行编码
features_docs = bi_model.encode(docs)
features_queries = bi_model.encode(queries)

# 计算成对余弦相似度得分
sim = cosine_similarity(features_queries, features_docs)

# 打印结果
for i, query in enumerate(queries):
    ranks = np.argsort(-sim[i])
    print("Query:", query)
    for j, r in enumerate(ranks[:K]):
        print(f"[{j}: {sim[i, r]: .3f}]", docs[r])
    print("-"*96)

控制台输出：

Query: dax steigt
[0:  0.811] Finanzwerte treiben DAX um mehr als sechs Prozent nach oben Frankfurt/Main gegeben.
[1:  0.719] DAX dreht ins Minus. Konjunkturdaten und Gewinnmitnahmen belasten Frankfurt/Main.
[2:  0.218] Auf Netflix gibt es endlich die neue Staffel meiner Lieblingsserie.
------------------------------------------------------------------------------------------------
Query: dax sinkt
[0:  0.815] DAX dreht ins Minus. Konjunkturdaten und Gewinnmitnahmen belasten Frankfurt/Main.
[1:  0.719] Finanzwerte treiben DAX um mehr als sechs Prozent nach oben Frankfurt/Main gegeben.
[2:  0.243] Auf Netflix gibt es endlich die neue Staffel meiner Lieblingsserie.
------------------------------------------------------------------------------------------------
Query: probleme mit knieschmerzen
[0:  0.237] Mein Arzt sagt, dass mir dabei eher ein Orthopäde helfen könnte.
[1:  0.209] Das historische Zentrum (centro storico) liegt auf mehr als 100 Inseln in der Lagune von Venedig.
[2:  0.182] DAX dreht ins Minus. Konjunkturdaten und Gewinnmitnahmen belasten Frankfurt/Main.
------------------------------------------------------------------------------------------------
Query: software für urlaubsstunden
[0:  0.478] Wir haben in der Agentur ein neues System für Zeiterfassung.
[1:  0.208] Auf Netflix gibt es endlich die neue Staffel meiner Lieblingsserie.
[2:  0.190] Bei ALDI sind die Bananen gerade im Angebot.
------------------------------------------------------------------------------------------------
Query: raubtier auf der jagd
[0:  0.599] Der Gepard jagt seine Beute.
[1:  0.264] Auf Netflix gibt es endlich die neue Staffel meiner Lieblingsserie.
[2:  0.159] Auf Kreta hat meine Tochter mit Muscheln eine schöne Sandburg gebaut.
------------------------------------------------------------------------------------------------
Query: alter der erde
[0:  0.705] Die Entstehung der Erde ist 4,5 milliarden jahre her.
[1:  0.413] Die Ära der Dinosaurier wurde vermutlich durch den Einschlag eines gigantischen Meteoriten auf der Erde beendet.
[2:  0.262] Finanzwerte treiben DAX um mehr als sechs Prozent nach oben Frankfurt/Main gegeben.
------------------------------------------------------------------------------------------------
Query: wie alt ist unser planet?
[0:  0.441] Die Entstehung der Erde ist 4,5 milliarden jahre her.
[1:  0.335] Auf Netflix gibt es endlich die neue Staffel meiner Lieblingsserie.
[2:  0.302] Die Ära der Dinosaurier wurde vermutlich durch den Einschlag eines gigantischen Meteoriten auf der Erde beendet.
------------------------------------------------------------------------------------------------
Query: wie kapital sichern
[0:  0.547] Um in Zukunft sein Vermögen zu schützen, sollte man andere Investmentstrategien in Betracht ziehen.
[1:  0.331] Finanzwerte treiben DAX um mehr als sechs Prozent nach oben Frankfurt/Main gegeben.
[2:  0.143] Auf Netflix gibt es endlich die neue Staffel meiner Lieblingsserie.
------------------------------------------------------------------------------------------------
Query: supermarkt lebensmittel reduziert
[0:  0.455] Bei ALDI sind die Bananen gerade im Angebot.
[1:  0.362] DAX dreht ins Minus. Konjunkturdaten und Gewinnmitnahmen belasten Frankfurt/Main.
[2:  0.345] Finanzwerte treiben DAX um mehr als sechs Prozent nach oben Frankfurt/Main gegeben.
------------------------------------------------------------------------------------------------
Query: wodurch ist der tyrannosaurus aussgestorben
[0:  0.457] Die Ära der Dinosaurier wurde vermutlich durch den Einschlag eines gigantischen Meteoriten auf der Erde beendet.
[1:  0.216] Der Gepard jagt seine Beute.
[2:  0.195] Die Entstehung der Erde ist 4,5 milliarden jahre her.
------------------------------------------------------------------------------------------------
Query: serien streamen
[0:  0.570] Auf Netflix gibt es endlich die neue Staffel meiner Lieblingsserie.
[1:  0.361] Wir haben in der Agentur ein neues System für Zeiterfassung.
[2:  0.282] Bei ALDI sind die Bananen gerade im Angebot.
------------------------------------------------------------------------------------------------

📞 联系方式

• Nicole Wochatz，nicole.wochatz@sva.de
• Stefan Kammer，stefan.kammer@sva.de
• Bonian Riebe，bonian.riebe@sva.de

📄 参考文献

• N. Reimers和I. Gurevych（2019），'Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks'。
• Payal Bajaj等人（2018），'MS MARCO: A Human Generated MAchine Reading COmprehension Dataset'。
• N. Thakur等人（2021），'BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models'。
• T. Möller、J. Risch和M. Pietsch（2021），'GermanQuAD and GermanDPR: Improving Non-English Question Answering and Passage Retrieval'。