Randeng-Pegasus-238M-中国語オープンソーステキスト要約モデル - 無料でデプロイして効率的にテキストの要点を抽出

ホーム

Randeng Pegasus 238M Chinese

IDEA-CCNLによって開発

テキスト要約タスクの処理に特化した中国語版PAGASUS-baseモデル

テキスト生成

Transformers

中国語#中国語テキスト要約 #PEGASUSアーキテクチャ #事前学習モデル

ダウンロード数 104

リリース時間 : 6/9/2022

モデル概要

PEGASUSアーキテクチャに基づいて訓練された中国語テキスト要約モデルで、悟道コーパスを用いて事前学習を行い、jieba形態素解析とBERT形態素解析器を融合して中国語処理能力を最適化します。

モデル特徴

中国語最適化形態素解析

革新的にjieba形態素解析とBERT形態素解析器を融合し、中国語の特性に合わせて最適化します。

複数のサイズバージョン

238Mの基本版と523Mの大サイズ版を提供し、さまざまなシーンのニーズを満たします。

事前学習の最適化

180GBの悟道コーパスに基づいて事前学習を行い、モデルの汎化能力を強化します。

モデル能力

中国語テキスト要約生成

長文圧縮

重要情報抽出

使用事例

ニュースメディア

ニュース要約生成

ニュース内容の簡潔な要約を自動生成します。

サンプル出力：「昨日の午後9時まで、北京メルセデス・ベンツ販売サービス有限公司東部エリア総経理を含む複数の管理職が上海のオフィスに残っていました。」

ビジネス分析

レポート要約

ビジネスレポートの核心内容を自動抽出します。

🚀 ランデン-Pegasus-238M-Chinese

中国語の要約タスクを得意とする、PAGASUS-baseの中国語版モデルです。

🚀 クイックスタート

このモデルは、中国語の自動要約タスクを解決するために設計された、中国語版のPAGASUS-baseです。以下に詳細な情報を提供します。

✨ 主な機能

中国語の自動要約タスクに特化した設計。
悟道コーパス(180Gバージョン)を用いた事前学習。
結巴分詞とBERT分詞器を併用した安定した分詞処理。

📦 インストール

本モデルを使用するには、transformersライブラリが必要です。また、tokenizers_pegasus.pyなどのPythonスクリプトをダウンロードする必要があります。

# Fengshenbang-LMリポジトリをクローンする
git clone https://github.com/IDEA-CCNL/Fengshenbang-LM
cd Fengshenbang-LM/fengshen/examples/pegasus/

💻 使用例

基本的な使用法

from transformers import PegasusForConditionalGeneration
# Need to download tokenizers_pegasus.py and other Python script from Fengshenbang-LM github repo in advance,
# or you can download tokenizers_pegasus.py and data_utils.py in https://huggingface.co/IDEA-CCNL/Randeng_Pegasus_238M/tree/main
# Stronly recomend you git clone the Fengshenbang-LM repo:
# 1. git clone https://github.com/IDEA-CCNL/Fengshenbang-LM
# 2. cd Fengshenbang-LM/fengshen/examples/pegasus/
# and then you will see the tokenizers_pegasus.py and data_utils.py which are needed by pegasus model
from tokenizers_pegasus import PegasusTokenizer

model = PegasusForConditionalGeneration.from_pretrained("IDEA-CCNL/Randeng-Pegasus-238M-Chinese")
tokenizer = PegasusTokenizer.from_pretrained("IDEA-CCNL/Randeng-Pegasus-238M-Chinese")

text = "据微信公众号“界面”报道，4日上午10点左右，中国发改委反垄断调查小组突击查访奔驰上海办事处，调取数据材料，并对多名奔驰高管进行了约谈。截止昨日晚9点，包括北京梅赛德斯-奔驰销售服务有限公司东区总经理在内的多名管理人员仍留在上海办公室内"
inputs = tokenizer(text, max_length=512, return_tensors="pt")

# Generate Summary
summary_ids = model.generate(inputs["input_ids"])
tokenizer.batch_decode(summary_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
# model output: 截止昨日晚9点，包括北京梅赛德斯-奔驰销售服务有限公司东区总经理在内的多名管理人员仍留在上海办公室内

📚 ドキュメント

モデル分類

属性	详情
モデルタイプ	自然言語変換（NLT）
シリーズ	燃灯（Randeng）
モデル	PEFASUS
パラメータ	238M
追加情報	中国語

モデル情報

参考論文: PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization

中国語の自動要約タスクを解決するために、PEGASUSの設計に沿って中国語版を訓練しました。事前学習データセットとして、悟道コーパス(180Gバージョン)を使用しました。また、中国語のsentence pieceが不安定なことを考慮して、Randeng-PEGASUSでは結巴分詞とBERT分詞器を併用しています。

以下に、他のバージョンのモデルも提供しています。

largeサイズのバージョン: IDEA-CCNL/Randeng-Pegasus-523M-Chinese
中国語要約データセットでファインチューニングしたバージョン: Randeng-Pegasus-238M-Summary-Chinese

📄 ライセンス

もしあなたの研究や開発でこのモデルを使用する場合は、以下の論文を引用してください。

@article{fengshenbang,
  author    = {Jiaxing Zhang and Ruyi Gan and Junjie Wang and Yuxiang Zhang and Lin Zhang and Ping Yang and Xinyu Gao and Ziwei Wu and Xiaoqun Dong and Junqing He and Jianheng Zhuo and Qi Yang and Yongfeng Huang and Xiayu Li and Yanghan Wu and Junyu Lu and Xinyu Zhu and Weifeng Chen and Ting Han and Kunhao Pan and Rui Wang and Hao Wang and Xiaojun Wu and Zhongshen Zeng and Chongpei Chen},
  title     = {Fengshenbang 1.0: Being the Foundation of Chinese Cognitive Intelligence},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

また、以下のウェブサイトも引用できます。

@misc{Fengshenbang-LM,
  title={Fengshenbang-LM},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}