T5 Base Indonesian Summarization Cased

🚀 インドネシア語T5要約ベースモデル

インドネシア語用にファインチューニングされたT5ベースの要約モデルです。このモデルは、インドネシア語の文章を要約するために最適化されています。

🚀 クイックスタート

このモデルは、インドネシア語の文章要約タスクに特化してファインチューニングされています。以下のセクションでは、モデルの詳細と使用方法について説明します。

✨ 主な機能

• インドネシア語の文章に対する要約機能を提供します。
• 事前学習済みのT5モデルをベースに、特定のデータセットでファインチューニングされています。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコードでファインチューニング済みのモデルを読み込むことができます。

from transformers import T5Tokenizer, T5Model, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("cahya/t5-base-indonesian-summarization-cased")
model = T5ForConditionalGeneration.from_pretrained("cahya/t5-base-indonesian-summarization-cased")

💻 使用例

基本的な使用法

以下のコードは、このモデルを使用して文章を要約する基本的な例です。

from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("cahya/t5-base-indonesian-summarization-cased")
model = T5ForConditionalGeneration.from_pretrained("cahya/t5-base-indonesian-summarization-cased")

# 
ARTICLE_TO_SUMMARIZE = ""

# generate summary
input_ids = tokenizer.encode(ARTICLE_TO_SUMMARIZE, return_tensors='pt')
summary_ids = model.generate(input_ids,
            min_length=20,
            max_length=80,
            num_beams=10,
            repetition_penalty=2.5,
            length_penalty=1.0,
            early_stopping=True,
            no_repeat_ngram_size=2,
            use_cache=True,
            do_sample = True,
            temperature = 0.8,
            top_k = 50,
            top_p = 0.95)

summary_text = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
print(summary_text)

出力結果

📚 ドキュメント

ファインチューニングコーパス

cahya/t5-base-indonesian-summarization-casedモデルは、huseinzol05氏によるt5-base-bahasa-summarization-casedをベースに、id_liputan6データセットを使用してファインチューニングされています。