Czegpt 2 Summarizer

🚀 CzeGPT-2_summarizer

CzeGPT-2 summarizerは、CzeGPT-2モデルをベースに構築されたチェコ語の要約生成モデルです。このモデルは、GPT-2 smallと同じアーキテクチャ次元（12層、12ヘッド、入出力1024トークン、埋め込みベクトル768次元）を持ち、1億2400万の学習可能なパラメータを持っています。約100万件のチェコ語ニュース記事を含むSumeCzech要約データセットで微調整および評価されました。 このモデルは、指定した長さまで（またはシーケンス長が尽きるまで）要約を生成するように訓練されています。これにより、開発者が独自の制約を設定する余地が残されています。

🚀 クイックスタート

CzeGPT-2 summarizerは、チェコ語の文章を要約するために設計されたモデルです。以下の手順で使用を開始できます。

トークナイザー

同時に、事前学習フェーズと微調整時に使用された、語彙サイズ50257のチェコ語用のトークナイザー（語彙とマージ）も提供しています。これは、元のGPT-2論文で使用されたバイトレベルのBPEトークナイザーです。

学習結果

このモデルは、SumeCzechデータセットのtestとood-testパーティションで評価され、このベンチマークでこれまでに評価された最良の要約生成モデルと比較されました（結果はこちらから取得）。 要約生成器は、SumeCzechの要約の平均長が約40トークンに相当する3文を生成します。この要約の長さは、検証セットでのチューニングによっても確認されています。

私たちは、ほとんどの標準的な指標で最先端の性能を達成しました。

テストセット

OODテストセット

表中の数値は、精度/再現率/F1スコアを示しています。

エラー分析

現在の標準的なROUGE_RAW指標は、要約タスクには十分ではないと考えているため（現時点で最良の指標ではありますが）、人間のアノテーターを使って生成された要約の手動エラー分析も行いました。方法論と結果の詳細は、このページの下部に引用されている論文を参照してください。

予測の実行

このリポジトリには、モデルを使用する際の最初のステップをサポートする簡単なJupyter Notebookが含まれています。

見出し生成器

見出し生成タスク用に微調整されたモデルもご覧ください。

引用方法

@article{hajek_horak2024,
   author = "Adam Hájek and Aleš Horák",
   title  = "CzeGPT-2 -- Training New Model for Czech Generative Text Processing Evaluated with the Summarization Task",
   journal= "IEEE Access",
   year   = "2024",
   volume = "12",
   pages  = "34570--34581",
   doi    = "10.1109/ACCESS.2024.3371689",
}

📄 ライセンス

このモデルは、CC BY-NC-SA 4.0ライセンスの下で提供されています。