Rubert Ext Sum Gazeta

🚀 RuBERTExtSumGazeta

このモデルは、rubert-base-cased をベースにした抽出型要約モデルです。抽出型要約とは、元の文章から重要な文を選択して要約を作成する手法です。

🚀 クイックスタート

✨ 主な機能

このモデルは、Gazeta.ruの記事に対して良好な要約性能を発揮します。抽出型要約を行うことで、元の文章から重要な情報を効率的に抽出します。

📦 インストール

本READMEには具体的なインストール手順が記載されていないため、このセクションは省略します。

💻 使用例

基本的な使用法

import razdel
from transformers import AutoTokenizer, BertForTokenClassification

model_name = "IlyaGusev/rubert_ext_sum_gazeta"

tokenizer = AutoTokenizer.from_pretrained(model_name)
sep_token = tokenizer.sep_token
sep_token_id = tokenizer.sep_token_id

model = BertForTokenClassification.from_pretrained(model_name)

article_text = "..."
sentences = [s.text for s in razdel.sentenize(article_text)]
article_text = sep_token.join(sentences)

inputs = tokenizer(
    [article_text],
    max_length=500,
    padding="max_length",
    truncation=True,
    return_tensors="pt",
)
sep_mask = inputs["input_ids"][0] == sep_token_id

# Fix token_type_ids
current_token_type_id = 0 
for pos, input_id in enumerate(inputs["input_ids"][0]):
    inputs["token_type_ids"][0][pos] = current_token_type_id
    if input_id == sep_token_id:
        current_token_type_id = 1 - current_token_type_id

# Infer model
with torch.no_grad(): 
    outputs = model(**inputs) 
logits = outputs.logits[0, :, 1]

# Choose sentences 
logits = logits[sep_mask]
logits, indices = logits.sort(descending=True)
logits, indices = logits.cpu().tolist(), indices.cpu().tolist()
pairs = list(zip(logits, indices))
pairs = pairs[:3]
indices = list(sorted([idx for _, idx in pairs]))
summary = " ".join([sentences[idx] for idx in indices])
print(summary)

📚 詳細ドキュメント

使用方法

Colabでの使用例はこちらからアクセスできます。 リンク

制限事項とバイアス

• このモデルはGazeta.ruの記事では良好に動作するはずですが、他の機関の記事に対してはドメインシフトの影響を受ける可能性があります。

🔧 技術詳細

本READMEには具体的な技術詳細が十分に記載されていないため、このセクションは省略します。

📦 トレーニングデータ

• データセット: Gazeta

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。

評価結果

評価結果については、現時点で提供されていません。評価方法については以下のリンクを参照してください。 評価: https://github.com/IlyaGusev/summarus/blob/master/evaluate.py フラグ: --language ru --tokenize-after --lower