Mlong T5 Tglobal Base Et Riigikogu Summary

🚀 爱沙尼亚议会速记摘要模型

这是一个用于爱沙尼亚议会速记摘要的模型。该模型旨在解决长输入序列的爱沙尼亚语文本摘要问题，具有较高的应用价值。

🚀 快速开始

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("rristo/mlong-t5-tglobal-base-et-riigikogu-summary")
model = AutoModelForSeq2SeqLM.from_pretrained("rristo/mlong-t5-tglobal-base-et-riigikogu-summary")

text="""Varasematest uuringutest on teada, et punetav nägu võib märku anda erutusest näiteks aaradel ja raisakotkastel. Sestap huvitas Tours'i Ülikooli etoloog Delphine Soulet'd ja tema kolleege, kas sarnast tundemärki võib näha ka kodukanade (Gallus gallus domesticus) nägudel.
Töörühm filmis esmalt kuut Sussexi tõugu kana erinevates olukordades. Mõnes olukorras toimetasid kanad loomulikult omasoodu, teistes aga juhtisid uurijad lindude tegevust. Põnevates ja autasu tõotavates olukordades lasi töörühm kanadel võtta tolmuvanni või söötis neid ussikestega. Hirmuga seotud olukordades püüdsid uurijad linde käsitsi kinni.
Katsete järel oli töörühma päralt videosalvestistest võetud tuhandeid üksikkaadreid. Just nende analüüsiks loodud algoritmi toel said uurijad täpselt jälgida, kui punased olid igas olukorras kanade hari, põsed, kõrvanibud ja lotid.
Töörühma sõnul oli uuringu valim väike, mistõttu vajavad tulemused kinnitamist suuremas kordusuuringus. Siiski ilmneb tulemustest, et vähem punetavad põsed ja kõrvanibud võivad viidata linnu rahulikule ja rõõmsale seisundile. Vastukaaluks näib punetavam nägu märku andvat linnu suuremast emotsionaalsest erutusest. Sinna hulka kuuluvad nii ussikeste saamisega seotud elevus kui ka hirm.
Soulet ja kolleegid tegid veel ühe katse, kus jaotasid 25 Sussexi tõugu kana kahte rühma. Uurijad käisid viie nädala jooksul 13 linnu juures, et kanu pisitasa inimese kohaoluga harjutada. Ülejäänud 12 lindu jäeti viieks nädalaks kontrollrühmana omapäi.
Kui siis kõik kanad viie nädala möödudes uuesti inimestega kokku puutusid, ilmnes kahe kanarühma vahel selge vahe. Uurijatega harjunud linnud pelgasid inimest vähem ja muutusid nende juuresolekul näost vähem punaseks, kui nende üksi jäetud liigikaaslased."""


def summarize(text, model, tokenizer, max_new_tokens=512, device='cuda'):
    input_ids = tokenizer(
         text, return_tensors="pt"
    ).input_ids  # Batch size 1
    outputs = model.generate(input_ids=input_ids.to(device), max_new_tokens=max_new_tokens)
    return tokenizer.decode(outputs[0], skip_special_tokens=True)

DEVICE='cuda'
model=model.to(DEVICE)

summarize(text, model, tokenizer, device=DEVICE)

✨ 主要特性

• 该模型专门用于爱沙尼亚议会对话速记的摘要生成。
• 输入序列长度可支持到 2048 个标记，突破了常见的 1024 个标记限制。
• 基于 agemagician/mlong-t5-tglobal-base 模型微调而来，并且对原模型的词汇表进行了缩减，仅保留训练数据中出现的标记。

📦 安装指南

文档未提及安装相关内容，跳过该章节。

📚 详细文档

模型描述

创建此模型的原因是为了验证是否可以简单地训练一个输入序列长度超过 1024 个标记的爱沙尼亚语摘要模型。

用途

直接使用

该模型旨在用于爱沙尼亚议会对话速记的摘要生成，对于其他爱沙尼亚语文本，也可能具有一定的准确性。

偏差、风险和局限性

模型可能存在来自原始预训练模型、爱沙尼亚议会数据集（以及用于创建训练数据摘要的 GPT - 3.5）的偏差，但尚未进行广泛研究。

⚠️ 重要提示

如果需要非常准确的结果，请勿使用该模型，因为它可能会遗漏原文中的重要信息并生成虚假内容。

训练详情

训练数据

• et_parliament_stenos_summary

训练过程

训练笔记本可在 此处 获取，训练过程的解释可在 此处 查看。

训练超参数

• 训练机制：fp32
• 学习率：5e - 5
• 训练轮数：12

评估

测试数据、因素和指标

测试数据

测试数据来自 et_parliament_stenos_summary 测试集，其中包含训练数据中未出现的速记内容。

指标和结果

• rouge1：36.1651
• rouge2：15.9668
• rougeL：28.339
• rougeLsum：33.767

🔧 技术细节

文档未提供足够的技术实现细节，跳过该章节。

📄 许可证

本模型使用 Apache - 2.0 许可证。