Rugpt3medium Sum Gazeta

🚀 RuGPT3MediumSumGazeta

這是一個基於rugpt3medium_based_on_gpt2的俄語摘要生成模型，可用於俄語文本的抽象式摘要生成。

🚀 快速開始

✨ 主要特性

• 基於預訓練的俄語模型rugpt3medium_based_on_gpt2，專為俄語抽象式摘要生成任務而設計。
• 提供了使用示例和Colab鏈接，方便用戶快速上手。

📦 安裝指南

此部分文檔未提供具體安裝步驟，若需使用該模型，可參考代碼示例中的依賴庫安裝，如transformers和torch。

💻 使用示例

基礎用法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "IlyaGusev/rugpt3medium_sum_gazeta"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

article_text = "..."

text_tokens = tokenizer(
    article_text,
    max_length=600,
    add_special_tokens=False, 
    padding=False,
    truncation=True
)["input_ids"]
input_ids = text_tokens + [tokenizer.sep_token_id]
input_ids = torch.LongTensor([input_ids])

output_ids = model.generate(
    input_ids=input_ids,
    no_repeat_ngram_size=4
)

summary = tokenizer.decode(output_ids[0], skip_special_tokens=False)
summary = summary.split(tokenizer.sep_token)[1]
summary = summary.split(tokenizer.eos_token)[0]
print(summary)

你可以在Colab中運行此代碼：鏈接

📚 詳細文檔

訓練數據

訓練過程

• 訓練腳本：train.py
• 配置文件：gpt_training_config.json

評估結果

Gazeta v1 數據集

Gazeta v2 數據集

評估腳本：evaluate.py

評估參數：--language ru --tokenize-after --lower

📄 許可證

本模型使用的許可證為apache-2.0。