Bi Electra Ms Marco German Uncased

🚀 SVALabs - ドイツ語アンケースドElectraバイエンコーダ

このリポジトリでは、パッセージ検索用のドイツ語アンケースドバイエンコーダを公開しています。

このモデルは、german - nlp - groupのドイツ語Electraアンケースドモデルをベースに学習され、sentence - transformersパッケージを使用してパッセージ検索用のバイエンコーダとして微調整されました。この目的のために、fairseq - wmt19 - en - de翻訳モデルを用いてMSMARCO - Passage - Rankingデータセットを翻訳しました。

✨ 主な機能

このモデルはドイツ語のパッセージ検索に特化しており、Sentence - Transformersパッケージを用いて簡単に利用できます。また、既存のベンチマークと比較して良好な性能を示しています。

📦 インストール

sentence-transformersパッケージを使用することで、このモデルを簡単にインストールできます。詳細はUKPLab/sentence-transformersを参照してください。

from sentence_transformers import SentenceTransformer

bi_model = SentenceTransformer("svalabs/bi-electra-ms-marco-german-uncased")

💻 使用例

基本的な使用法

from sentence_transformers import SentenceTransformer

bi_model = SentenceTransformer("svalabs/bi-electra-ms-marco-german-uncased")

高度な使用法

import numpy as np
from sklearn.metrics.pairwise import cosine_similarity

K = 3 # number of top ranks to retrieve

# specify documents and queries
docs = [
    "Auf Netflix gibt es endlich die neue Staffel meiner Lieblingsserie.",
    "Der Gepard jagt seine Beute.",
    "Wir haben in der Agentur ein neues System für Zeiterfassung.",
    "Mein Arzt sagt, dass mir dabei eher ein Orthopäde helfen könnte.",
    "Einen Impftermin kann mir der Arzt momentan noch nicht anbieten.",
    "Auf Kreta hat meine Tochter mit Muscheln eine schöne Sandburg gebaut.",
    "Das historische Zentrum (centro storico) liegt auf mehr als 100 Inseln in der Lagune von Venedig.",
    "Um in Zukunft sein Vermögen zu schützen, sollte man andere Investmentstrategien in Betracht ziehen.",
    "Die Ära der Dinosaurier wurde vermutlich durch den Einschlag eines gigantischen Meteoriten auf der Erde beendet.",
    "Bei ALDI sind die Bananen gerade im Angebot.",
    "Die Entstehung der Erde ist 4,5 milliarden jahre her.",
    "Finanzwerte treiben DAX um mehr als sechs Prozent nach oben Frankfurt/Main gegeben.",
    "DAX dreht ins Minus. Konjunkturdaten und Gewinnmitnahmen belasten Frankfurt/Main.",
]

queries = [
    "dax steigt",
    "dax sinkt",
    "probleme mit knieschmerzen",
    "software für urlaubsstunden",
    "raubtier auf der jagd",
    "alter der erde",
    "wie alt ist unser planet?",
    "wie kapital sichern",
    "supermarkt lebensmittel reduziert",
    "wodurch ist der tyrannosaurus aussgestorben",
    "serien streamen"
]

# encode documents and queries
features_docs = bi_model.encode(docs)
features_queries = bi_model.encode(queries)

# compute pairwise cosine similarity scores
sim = cosine_similarity(features_queries, features_docs)

# print results
for i, query in enumerate(queries):
    ranks = np.argsort(-sim[i])
    print("Query:", query)
    for j, r in enumerate(ranks[:K]):
        print(f"[{j}: {sim[i, r]: .3f}]", docs[r])
    print("-"*96)

コンソール出力:

Query: dax steigt
[0:  0.811] Finanzwerte treiben DAX um mehr als sechs Prozent nach oben Frankfurt/Main gegeben.
[1:  0.719] DAX dreht ins Minus. Konjunkturdaten und Gewinnmitnahmen belasten Frankfurt/Main.
[2:  0.218] Auf Netflix gibt es endlich die neue Staffel meiner Lieblingsserie.
------------------------------------------------------------------------------------------------
Query: dax sinkt
[0:  0.815] DAX dreht ins Minus. Konjunkturdaten und Gewinnmitnahmen belasten Frankfurt/Main.
[1:  0.719] Finanzwerte treiben DAX um mehr als sechs Prozent nach oben Frankfurt/Main gegeben.
[2:  0.243] Auf Netflix gibt es endlich die neue Staffel meiner Lieblingsserie.
------------------------------------------------------------------------------------------------
Query: probleme mit knieschmerzen
[0:  0.237] Mein Arzt sagt, dass mir dabei eher ein Orthopäde helfen könnte.
[1:  0.209] Das historische Zentrum (centro storico) liegt auf mehr als 100 Inseln in der Lagune von Venedig.
[2:  0.182] DAX dreht ins Minus. Konjunkturdaten und Gewinnmitnahmen belasten Frankfurt/Main.
------------------------------------------------------------------------------------------------
Query: software für urlaubsstunden
[0:  0.478] Wir haben in der Agentur ein neues System für Zeiterfassung.
[1:  0.208] Auf Netflix gibt es endlich die neue Staffel meiner Lieblingsserie.
[2:  0.190] Bei ALDI sind die Bananen gerade im Angebot.
------------------------------------------------------------------------------------------------
Query: raubtier auf der jagd
[0:  0.599] Der Gepard jagt seine Beute.
[1:  0.264] Auf Netflix gibt es endlich die neue Staffel meiner Lieblingsserie.
[2:  0.159] Auf Kreta hat meine Tochter mit Muscheln eine schöne Sandburg gebaut.
------------------------------------------------------------------------------------------------
Query: alter der erde
[0:  0.705] Die Entstehung der Erde ist 4,5 milliarden jahre her.
[1:  0.413] Die Ära der Dinosaurier wurde vermutlich durch den Einschlag eines gigantischen Meteoriten auf der Erde beendet.
[2:  0.262] Finanzwerte treiben DAX um mehr als sechs Prozent nach oben Frankfurt/Main gegeben.
------------------------------------------------------------------------------------------------
Query: wie alt ist unser planet?
[0:  0.441] Die Entstehung der Erde ist 4,5 milliarden jahre her.
[1:  0.335] Auf Netflix gibt es endlich die neue Staffel meiner Lieblingsserie.
[2:  0.302] Die Ära der Dinosaurier wurde vermutlich durch den Einschlag eines gigantischen Meteoriten auf der Erde beendet.
------------------------------------------------------------------------------------------------
Query: wie kapital sichern
[0:  0.547] Um in Zukunft sein Vermögen zu schützen, sollte man andere Investmentstrategien in Betracht ziehen.
[1:  0.331] Finanzwerte treiben DAX um mehr als sechs Prozent nach oben Frankfurt/Main gegeben.
[2:  0.143] Auf Netflix gibt es endlich die neue Staffel meiner Lieblingsserie.
------------------------------------------------------------------------------------------------
Query: supermarkt lebensmittel reduziert
[0:  0.455] Bei ALDI sind die Bananen gerade im Angebot.
[1:  0.362] DAX dreht ins Minus. Konjunkturdaten und Gewinnmitnahmen belasten Frankfurt/Main.
[2:  0.345] Finanzwerte treiben DAX um mehr als sechs Prozent nach oben Frankfurt/Main gegeben.
------------------------------------------------------------------------------------------------
Query: wodurch ist der tyrannosaurus aussgestorben
[0:  0.457] Die Ära der Dinosaurier wurde vermutlich durch den Einschlag eines gigantischen Meteoriten auf der Erde beendet.
[1:  0.216] Der Gepard jagt seine Beute.
[2:  0.195] Die Entstehung der Erde ist 4,5 milliarden jahre her.
------------------------------------------------------------------------------------------------
Query: serien streamen
[0:  0.570] Auf Netflix gibt es endlich die neue Staffel meiner Lieblingsserie.
[1:  0.361] Wir haben in der Agentur ein neues System für Zeiterfassung.
[2:  0.282] Bei ALDI sind die Bananen gerade im Angebot.
------------------------------------------------------------------------------------------------

📚 詳細ドキュメント

モデルの詳細

性能評価

このモデルは、GermanDPRテストセットで評価され、BEIRのベンチマークフレームワークに従っています。結果を比較するために、同じテストデータでBM25を用いた評価も行い、以下の表に結果を示します。テストセットから負のコンテキストと正のコンテキストを持つすべての段落を取り出し、重複を削除しました。結果として得られたコーパスサイズは2871で、クエリは1025です。

📄 コンタクト

• Nicole Wochatz, nicole.wochatz@sva.de
• Stefan Kammer, stefan.kammer@sva.de
• Bonian Riebe, bonian.riebe@sva.de

📚 参考文献

• N. Reimers and I. Gurevych (2019), 'Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks'.
• Payal Bajaj et al. (2018), 'MS MARCO: A Human Generated MAchine Reading COmprehension Dataset'.
• N. Thakur et al. (2021), 'BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models'.
• T. Möller, J. Risch and M. Pietsch (2021), 'GermanQuAD and GermanDPR: Improving Non-English Question Answering and Passage Retrieval'.