Bert2bert Shared Spanish Finetuned Summarization

🚀 スペイン語のBERT2BERT (BETO) をMLSUM ESで要約タスク向けにファインチューニングしたモデル

このモデルは、スペイン語のBERT2BERT (BETO) をMLSUM ESデータセットで要約タスクに特化してファインチューニングしたものです。高精度なテキスト要約を実現します。

🚀 クイックスタート

このモデルを使ってテキスト要約を行うには、以下の手順に従ってください。

✨ 主な機能

• スペイン語のテキストを高精度に要約します。
• 事前学習済みのBERTモデルを利用しているため、少ないデータでも効果的に学習できます。

📦 インストール

このモデルを使用するためには、必要なライブラリをインストールする必要があります。以下のコードを参考にしてください。

pip install torch transformers

💻 使用例

基本的な使用法

import torch
from transformers import BertTokenizerFast, EncoderDecoderModel
device = 'cuda' if torch.cuda.is_available() else 'cpu'
ckpt = 'mrm8488/bert2bert_shared-spanish-finetuned-summarization'
tokenizer = BertTokenizerFast.from_pretrained(ckpt)
model = EncoderDecoderModel.from_pretrained(ckpt).to(device)

def generate_summary(text):

    inputs = tokenizer([text], padding="max_length", truncation=True, max_length=512, return_tensors="pt")
    input_ids = inputs.input_ids.to(device)
    attention_mask = inputs.attention_mask.to(device)
    output = model.generate(input_ids, attention_mask=attention_mask)
    return tokenizer.decode(output[0], skip_special_tokens=True)
    
text = "Your text here..."
generate_summary(text)

📚 ドキュメント

モデル

dccuchile/bert-base-spanish-wwm-cased (BERT Checkpoint)

データセット

MLSUM は初の大規模な多言語要約データセットです。オンライン新聞から収集され、フランス語、ドイツ語、スペイン語、ロシア語、トルコ語の5つの言語で150万以上の記事と要約のペアを含んでいます。人気のCNN/Daily mailデータセットの英語の新聞記事と合わせて、収集されたデータは大規模な多言語データセットを形成し、テキスト要約コミュニティに新しい研究方向を開くことができます。最先端のシステムに基づくクロス言語の比較分析を報告しています。これらは既存のバイアスを明らかにし、多言語データセットの使用を促すものです。

MLSUM es

結果

📄 ライセンス

このプロジェクトは Manuel Romero/@mrm8488 によって作成され、Narrativa の支援を受けています。

スペインで ♥ を込めて作られました。