Bert2bert Shared Turkish Summarization

🚀 Turkish BERT2BERT (shared) fine-tuned on MLSUM TR for summarization

このモデルは、MLSUM TRデータセットを使用して要約タスクに対して微調整されたTurkish BERT2BERT (shared) モデルです。自然言語処理における要約タスクにおいて高い性能を発揮します。

🚀 クイックスタート

このモデルを使用することで、テキストの要約を行うことができます。以下に基本的な使用方法を示します。

💻 使用例

基本的な使用法

import torch
from transformers import BertTokenizerFast, EncoderDecoderModel
device = 'cuda' if torch.cuda.is_available() else 'cpu'
ckpt = 'mrm8488/bert2bert_shared-turkish-summarization'
tokenizer = BertTokenizerFast.from_pretrained(ckpt)
model = EncoderDecoderModel.from_pretrained(ckpt).to(device)

def generate_summary(text):

    inputs = tokenizer([text], padding="max_length", truncation=True, max_length=512, return_tensors="pt")
    input_ids = inputs.input_ids.to(device)
    attention_mask = inputs.attention_mask.to(device)
    output = model.generate(input_ids, attention_mask=attention_mask)
    return tokenizer.decode(output[0], skip_special_tokens=True)
    
text = "Your text here..."
generate_summary(text)

✨ 主な機能

• 高精度な要約: MLSUM TRデータセットで微調整されているため、トルコ語のテキスト要約において高い精度を実現します。
• 使いやすさ: シンプルなAPIを提供しており、容易にテキスト要約を行うことができます。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

📚 ドキュメント

モデル

dbmdz/bert-base-turkish-cased (BERT Checkpoint)

データセット

MLSUM は最初の大規模な多言語要約データセットです。オンライン新聞から取得され、フランス語、ドイツ語、スペイン語、ロシア語、トルコ語という5つの異なる言語で150万以上の記事と要約のペアを含んでいます。人気のCNN/Daily mailデータセットの英語の新聞と合わせて、収集されたデータは大規模な多言語データセットを形成し、テキスト要約コミュニティに新しい研究方向をもたらすことができます。最先端のシステムに基づくクロス言語の比較分析を報告しています。これらは既存のバイアスを明らかにし、多言語データセットの使用を促進します。

MLSUM tu/tr

結果

📄 ライセンス

このモデルは Manuel Romero/@mrm8488 によって作成され、Narrativa の支援を受けています。

Made with ♥ in Spain