Mlong T5 Tglobal Base Et Riigikogu Summary

🚀 Estonian Parliament Stenograms Summarization Model

This is an Estonian Parliament stenograms summarization model, aiming to summarize Estonian Parliament talks stenograms and potentially work with other Estonian texts.

🚀 Quick Start

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("rristo/mlong-t5-tglobal-base-et-riigikogu-summary")
model = AutoModelForSeq2SeqLM.from_pretrained("rristo/mlong-t5-tglobal-base-et-riigikogu-summary")

text="""Varasematest uuringutest on teada, et punetav nägu võib märku anda erutusest näiteks aaradel ja raisakotkastel. Sestap huvitas Tours'i Ülikooli etoloog Delphine Soulet'd ja tema kolleege, kas sarnast tundemärki võib näha ka kodukanade (Gallus gallus domesticus) nägudel.
Töörühm filmis esmalt kuut Sussexi tõugu kana erinevates olukordades. Mõnes olukorras toimetasid kanad loomulikult omasoodu, teistes aga juhtisid uurijad lindude tegevust. Põnevates ja autasu tõotavates olukordades lasi töörühm kanadel võtta tolmuvanni või söötis neid ussikestega. Hirmuga seotud olukordades püüdsid uurijad linde käsitsi kinni.
Katsete järel oli töörühma päralt videosalvestistest võetud tuhandeid üksikkaadreid. Just nende analüüsiks loodud algoritmi toel said uurijad täpselt jälgida, kui punased olid igas olukorras kanade hari, põsed, kõrvanibud ja lotid.
Töörühma sõnul oli uuringu valim väike, mistõttu vajavad tulemused kinnitamist suuremas kordusuuringus. Siiski ilmneb tulemustest, et vähem punetavad põsed ja kõrvanibud võivad viidata linnu rahulikule ja rõõmsale seisundile. Vastukaaluks näib punetavam nägu märku andvat linnu suuremast emotsionaalsest erutusest. Sinna hulka kuuluvad nii ussikeste saamisega seotud elevus kui ka hirm.
Soulet ja kolleegid tegid veel ühe katse, kus jaotasid 25 Sussexi tõugu kana kahte rühma. Uurijad käisid viie nädala jooksul 13 linnu juures, et kanu pisitasa inimese kohaoluga harjutada. Ülejäänud 12 lindu jäeti viieks nädalaks kontrollrühmana omapäi.
Kui siis kõik kanad viie nädala möödudes uuesti inimestega kokku puutusid, ilmnes kahe kanarühma vahel selge vahe. Uurijatega harjunud linnud pelgasid inimest vähem ja muutusid nende juuresolekul näost vähem punaseks, kui nende üksi jäetud liigikaaslased."""


def summarize(text, model, tokenizer, max_new_tokens=512, device='cuda'):
    input_ids = tokenizer(
         text, return_tensors="pt"
    ).input_ids  # Batch size 1
    outputs = model.generate(input_ids=input_ids.to(device), max_new_tokens=max_new_tokens)
    return tokenizer.decode(outputs[0], skip_special_tokens=True)

DEVICE='cuda'
model=model.to(DEVICE)

summarize(text, model, tokenizer, device=DEVICE)

✨ Features

• This model is designed to summarize Estonian Parliament talks stenograms and may work with other Estonian texts with reasonable accuracy.
• It has a maximum input sequence of 2048 tokens, which is longer than many other models.

📦 Installation

The installation process is mainly about using the transformers library. You can install the necessary libraries via the following command:

pip install transformers

📚 Documentation

Model Description

The reason for creating this model is to experiment if it's possible to simply train an Estonian summarization model with a longer input sequence length than 1024 tokens.

• Model type: T5
• Language(s) (NLP): Estonian
• Finetuned from model: agemagician/mlong-t5-tglobal-base. The vocabulary of the original model was reduced to keep only tokens present in the training data.
• Maximum input sequence (tokens): 2048

Uses

Direct Use

The model is intended to be used for summarizing Estonian Parliament talks stenograms. It might work with somewhat reasonable accuracy with other Estonian texts.

Bias, Risks, and Limitations

Biases coming from the original pre-trained model, the Estonian Parliament dataset (and GPT - 3.5 which was used to create training data summaries) are probably present in the model. No extensive study has been made.

Recommendations

Don't use the model if you need very accurate results. The model might miss important aspects from the original text and hallucinate.

🔧 Technical Details

Training Details

Training Data

• et_parliament_stenos_summary

Training Procedure

The training notebook is available here. An explanation of the process can be found here.

Training Hyperparameters

• Training regime: fp32
• learning_rate: 5e - 5
• num_train_epochs: 12

Evaluation

Testing Data, Factors & Metrics

Testing Data

The test data is from the et_parliament_stenos_summary test set, which contains stenograms not present in the training data.

Metrics and results

📄 License

This model is licensed under the Apache - 2.0 license.