Any News Sum

🚀 data-silence/any-news-sum

このリポジトリには、人気のXL - Sumに基づく私のsumnewsデータセットの45言語でファインチューニングされたmT5チェックポイントが含まれています。このモデルはニュース要約タスクを解決します。つまり、ニュース記事の全文に基づいて、見出しと要約を同時に生成するように設計されています。トレーニングは主にロシア語での動作に焦点を当てていますが、ある程度まで、mT5マザーモデルとXL - Sumデータセットがサポートする任意の言語のテキストに対しても機能します。

🚀 クイックスタート

このモデルをSpacesでテストする

学習済みのモデルをこちらで試すことができます。

transformersでこのモデルを使用する

import torch
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, DataCollatorForSeq2Seq
# モデルとトークナイザーの読み込み
model_name = "data-silence/any-news-sum"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
def generate_summary_with_special_tokens(text, max_length=512):
    inputs = tokenizer(text, return_tensors="pt", max_length=max_length, truncation=True).to(device)
    
    outputs = model.generate(
        **inputs,
        max_length=max_length,
        num_return_sequences=1,
        no_repeat_ngram_size=4,
    )
    
    generated_text = tokenizer.decode(outputs[0], skip_special_tokens=False)
    
    # 見出しと要約への分割
    parts = generated_text.split('<title_resume_sep>')
    title = parts[0].replace("<pad> ", "").strip()
    resume = parts[1].replace("</s>", "").strip() if len(parts) > 1 else ""
    
    return title, resume
title, resume = generate_summary_with_special_tokens('Пациенты с сердечными заболеваниями зачастую имеют низкий уровень мелатонина и нарушение цикла сна-бодрствования. До сих пор механизмы, лежащие в основе этого явления, оставались неясными. В статье, опубликованной в журнале Science, команда Мюнхенского технического университета (TUM) показывает, каким именно образом сердечные заболевания влияют на выработку гормона сна в шишковидной железе. А в качестве связующего звена между двумя органами оказывается ганглий в области шеи.')
print(title)  # 研究者は、心臓病が松果体の睡眠ホルモン分泌にどのように影響するかを明らかに
print(resume)  # 研究者は、Science誌に掲載された論文で、ミュンヘン工科大学（TUM）のチームが心臓病が松果体の睡眠ホルモン分泌にどのように影響するかを明らかにしたと報告

トレーニングのハイパーパラメータ

トレーニング中に使用されたハイパーパラメータは次のとおりです。

• learning_rate: 2e - 05
• train_batch_size: 6
• eval_batch_size: 6
• seed: 42
• gradient_accumulation_steps: 6
• total_train_batch_size: 36
• optimizer: Adam（betas=(0.9,0.999)、epsilon=1e - 08）
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• num_epochs: 4

📚 ドキュメント

評価結果

このモデルは評価セットで次の結果を達成しています。

フレームワークのバージョン

• Transformers 4.42.4
• Pytorch 2.3.1+cu121
• Datasets 2.21.0
• Tokenizers 0.19.1

📄 ライセンス

このモデルはcc - by - nc - sa - 4.0ライセンスの下で提供されています。