Bert2bert Shared German Finetuned Summarization

🚀 ドイツ語のBERT2BERTをMLSUM DEで要約タスク向けにファインチューニングしたモデル

このモデルは、MLSUM DEデータセットを用いて要約タスク向けにファインチューニングされたドイツ語のBERT2BERTモデルです。要約タスクにおいて高い性能を発揮します。

🚀 クイックスタート

このモデルを使用することで、ドイツ語の文章を要約することができます。以下のコード例を参考に、モデルを使ってみましょう。

✨ 主な機能

• ドイツ語の文章を高精度に要約することができます。
• 事前学習済みのドイツ語BERTモデルをベースにしているため、効率的に学習が可能です。

📦 インストール

このモデルを使用するには、必要なライブラリをインストールする必要があります。以下のコマンドを実行して、必要なライブラリをインストールしましょう。

pip install torch transformers

💻 使用例

基本的な使用法

import torch
from transformers import BertTokenizerFast, EncoderDecoderModel
device = 'cuda' if torch.cuda.is_available() else 'cpu'
ckpt = 'mrm8488/bert2bert_shared-german-finetuned-summarization'
tokenizer = BertTokenizerFast.from_pretrained(ckpt)
model = EncoderDecoderModel.from_pretrained(ckpt).to(device)

def generate_summary(text):
    inputs = tokenizer([text], padding="max_length", truncation=True, max_length=512, return_tensors="pt")
    input_ids = inputs.input_ids.to(device)
    attention_mask = inputs.attention_mask.to(device)
    output = model.generate(input_ids, attention_mask=attention_mask)
    return tokenizer.decode(output[0], skip_special_tokens=True)
    
text = "Your text here..."

generate_summary(text)

📚 ドキュメント

モデル

bert-base-german-cased (BERTチェックポイント)

データセット

MLSUM は最初の大規模な多言語要約データセットです。オンライン新聞から取得され、フランス語、ドイツ語、スペイン語、ロシア語、トルコ語の5つの異なる言語で150万以上の記事と要約のペアを含んでいます。人気のCNN/Daily mailデータセットの英語の新聞と合わせて、収集されたデータはテキスト要約コミュニティに新しい研究方向をもたらす大規模な多言語データセットを形成します。最先端のシステムに基づくクロス言語の比較分析を報告しています。これらは、多言語データセットの使用を促す既存のバイアスを明らかにしています。 MLSUM de

結果

💡 使用アドバイス

このモデルは、ドイツ語の文章を要約するために最適化されています。要約したい文章を入力することで、高精度な要約を得ることができます。

Created by Manuel Romero/@mrm8488 with the support of Narrativa Made with ♥ in Spain