German Question Answer Electra

🚀 QA Model for German Language

This project presents a Question - Answering (QA) model trained on the MLQA dataset for the German language. The model used for fine - tuning is GELECTRA Large by deepset.ai.

✨ Features

• Trained on the MLQA dataset for German language QA tasks.
• Achieves good performance on MLQA DEV and XQUAD TEST datasets.
• Capable of answering even complex queries effectively.

📦 Installation

To use this model, you need to install the transformers library. You can do this using the following command:

!pip install -q transformers

💻 Usage Examples

Basic Usage

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="Sahajtomar/GELECTRAQA",
    tokenizer="Sahajtomar/GELECTRAQA"
)

qa_pipeline({
    'context': "Vor einigen Jahren haben Wissenschaftler ein wichtiges Mutagen identifiziert, das in unseren eigenen Zellen liegt: APOBEC, ein Protein, das normalerweise als Schutzmittel gegen Virusinfektionen fungiert. Heute hat ein Team von Schweizer und russischen Wissenschaftlern unter der Leitung von Sergey Nikolaev, Genetiker an der Universität Genf (UNIGE) in der Schweiz, entschlüsselt, wie APOBEC eine Schwäche unseres DNA-Replikationsprozesses ausnutzt, um Mutationen in unserem Genom zu induzieren.",
    'question': "Welches Mutagen schützt vor Virusinfektionen?"
    
})

# output

{'answer': 'APOBEC', 'end': 121, 'score': 0.987, 'start': 115} 

Advanced Usage

# Even complex queries can be answered pretty well
qa_pipeline({
    "context": "Es wird erwartet, dass sich schwarze Löcher mit Sternmasse bilden, wenn sehr massive Sterne am Ende ihres Lebenszyklus zusammenbrechen. Nachdem sich ein Schwarzes Loch gebildet hat, kann es weiter wachsen, indem es Masse aus seiner Umgebung absorbiert. Durch Absorption anderer Sterne und Verschmelzung mit anderen Schwarzen Löchern können sich  supermassereiche Schwarze Löcher mit Millionen von Sonnenmassen (M☉) bilden.  Es besteht Konsens darüber, dass in den Zentren der meisten Galaxien supermassereiche Schwarze Löcher existieren.",
    'question': "Wie Sonnenmassen entstehen?"
})

# output

{'answer': 'Durch Absorption anderer Sterne und Verschmelzung mit anderen Schwarzen Löchern',
 'end': 332,
 'score': 0.23970196,
 'start': 253}

📚 Documentation

Performance Metrics

MLQA DEV (german)

• EM: 64.27
• F1: 77.39

XQUAD TEST (german)

• EM: 66.38
• F1: 82.25

Hyperparameters

Tags

• pytorch
• tf
• Gelectra

Datasets

• mlqa

Metrics

• f1
• em