BART News Summarizer

🚀 ニュース記事教師 - 学生要約生成モデル

このモデルは、BART - largeをベースに、StableBeluga - 7Bを教師モデルとして微調整された、ニュース記事の要約生成モデルです。高速かつ計算リソースを効率的に使い、高品質な要約生成を実現します。

🚀 クイックスタート

このモデルを使用するには、以下のコードを参考にしてください。

基本的な使用法

# Load the Model
model = AutoModelForSeq2SeqLM.from_pretrained("JordiAb/BART_news_summarizer")
tokenizer = AutoTokenizer.from_pretrained("JordiAb/BART_news_summarizer")

# News article text
article_text = """
Los Angeles Lakers will have more time than anticipated. The four-time NBA Most Valuable Player (MVP) extended his contract for two years and $85 million, keeping him in California until 2023. In 2018, The King had already signed for 153 mdd and, in his second campaign in the quintet, led the championship in the Orlando bubble. With 35 years of life – he turns 36 on December 30 – and 17 campaigns of experience, LeBron is still considered one of the best (or the best) NBA players. You can read: "Mercedes found Lewis Hamilton\'s substitute" James just took the Lakers to his first NBA title since 2010 and was named MVP of the Finals; he led the League in assists per game (10.2) for the first time in his career, while adding 25.3 points and 7.8 rebounds per performance, during the last campaign. James has adapted to life in Hollywood, as he will be part of the sequel to Space Jam, to be released next year.
"""

# tokenize text
inputs = tokenizer(article_text, return_tensors='pt')
# generate summary
with torch.no_grad():
  summary_ids = model.generate(
    inputs['input_ids'],
    num_beams=4,
    max_length=250,
    early_stopping=True
  )
# decode summary
summary = tokenizer.decode(
  summary_ids[0],
  skip_special_tokens=True
)

✨ 主な機能

このモデルは、ニュース記事の要約生成に特化しており、以下のような機能を持っています。

• 教師モデル（StableBeluga - 7B）に匹敵する高品質な要約生成
• 教師モデルよりも3倍高速な推論速度
• GPUメモリの使用量を大幅に削減

📦 インストール

このモデルはHugging FaceのTransformersライブラリを通じて利用できます。以下のコマンドで必要なライブラリをインストールしてください。

pip install transformers torch

📚 ドキュメント

モデルの詳細

データセット

• ソース: メキシコの新聞からスクレイピングされた295,174件のニュース記事。
• 翻訳: スペイン語の記事はHelsinki - NLP/opus - mt - es - en NLPモデルを使用して英語に翻訳されました。
• 教師要約: StableBeluga - 7Bによって生成されました。

学習

微調整の過程では、StableBeluga - 7Bによって生成された教師の観測結果（要約）を使用して、軽量なBARTモデルを学習させました。このアプローチは、教師モデルの要約品質を再現しつつ、高速な推論時間とGPUメモリ使用量の削減を目指しています。

性能

• 評価指標:
  • ROUGE1: 0.66
  • コサイン類似度: 0.90
• 推論速度: 教師モデル（StableBeluga - 7B）よりも3倍高速
• リソース使用量: StableBeluga - 7Bと比較して大幅に少ないGPUメモリ使用量

目的

このモデルの主な目的は、教師モデル（StableBeluga - 7B）と同様の高品質な出力を維持しつつ、より効率的に動作する軽量な要約生成ソリューションを提供することです。これにより、リソースが制限された環境でのデプロイに適しています。

使用例

このモデルは、大量のニュース記事を迅速かつ効率的に要約する必要があるアプリケーションに最適です。特に、計算リソースが限られた環境での使用に適しています。

制限事項

• 言語翻訳: 最初のスペイン語から英語への翻訳により、わずかな不正確さが生じる可能性があり、要約品質に影響を与えることがあります。
• ドメイン特異性: ニュース記事に特化して微調整されているため、異なるドメインのテキストでは性能が異なる場合があります。

今後の展望

今後の改善点としては、以下のようなことが考えられます。

• バイリンガルデータでモデルを微調整し、翻訳ステップを省略する。
• データセットを拡張し、より多様なニュースソースやトピックを含める。
• 推論時間とリソース使用量を削減するためのさらなる最適化を探索する。

🔧 技術詳細

このモデルは、BART - largeをベースに、StableBeluga - 7Bを教師モデルとして微調整されています。教師モデルによって生成された要約を使用して、軽量なBARTモデルを学習させることで、高速かつ効率的な要約生成を実現しています。

📄 ライセンス

このモデルのライセンスに関する詳細は、元のGitHubリポジトリを参照してください。