Rugpt3medium Sum Gazeta

🚀 RuGPT3MediumSumGazeta

このモデルは、rugpt3medium_based_on_gpt2に基づいた、ロシア語用の要約生成モデルです。

🚀 クイックスタート

想定される用途と制限

使い方

Colab: リンク

基本的な使用法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "IlyaGusev/rugpt3medium_sum_gazeta"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

article_text = "..."

text_tokens = tokenizer(
    article_text,
    max_length=600,
    add_special_tokens=False, 
    padding=False,
    truncation=True
)["input_ids"]
input_ids = text_tokens + [tokenizer.sep_token_id]
input_ids = torch.LongTensor([input_ids])

output_ids = model.generate(
    input_ids=input_ids,
    no_repeat_ngram_size=4
)

summary = tokenizer.decode(output_ids[0], skip_special_tokens=False)
summary = summary.split(tokenizer.sep_token)[1]
summary = summary.split(tokenizer.eos_token)[0]
print(summary)

✨ 主な機能

このモデルは、ロシア語の文章を要約するために設計されています。

📦 インストール

コード例から、必要なライブラリはtransformersとtorchです。以下のコマンドでインストールできます。

pip install transformers torch

📚 ドキュメント

学習データ

• データセット: Gazeta

学習手順

• 学習スクリプト: train.py
• 設定ファイル: gpt_training_config.json

評価結果

Gazeta v1 trainデータセットとGazeta v1 testデータセット

• ソースの最大長: 600
• ターゲットの最大長: 200
• no_repeat_ngram_size: 4
• num_beams: 5

Gazeta v1 trainデータセットとGazeta v2 testデータセット

• ソースの最大長: 600
• ターゲットの最大長: 200
• no_repeat_ngram_size: 4
• num_beams: 5

評価スクリプト: evaluate.py

フラグ: --language ru --tokenize-after --lower

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。