L

Lsg Bart Base 4096 Wcep

ccdvによって開発
LSG-BARTアーキテクチャに基づく長文要約生成モデルで、WCEP-10データセットでファインチューニングされ、4096トークンの長いシーケンス処理をサポート
ダウンロード数 27
リリース時間 : 5/25/2022

モデル概要

このモデルは局所的-疎-グローバルアテンション機構を使用して長いシーケンスを処理し、長文要約生成タスクに適しています。BART-baseアーキテクチャをベースに改造され、長いドキュメントの効率的な処理をサポートします。

モデル特徴

長いシーケンス処理能力
4096トークンの長いテキスト処理をサポートし、局所的-疎-グローバルアテンション機構を通じて効率的な計算を実現
多様な疎アテンションモード
局所的、プーリング、ストライド、ブロックストライド、正規化、LSHなどの多様な疎アテンション設定オプションを提供
リソース効率最適化
ブロックサイズと疎度を調整することでパフォーマンスとリソース消費のバランスを取ることが可能

モデル能力

長文要約生成
複数ドキュメント要約生成
英語テキスト処理

使用事例

テキスト要約
ニュース記事の要約
長いニュース記事に対して簡潔な要約を生成
WCEP-10テストセットでROUGE-1スコア46.02を達成
研究報告書の濃縮
長い研究報告書からキー情報を抽出
4096トークンの長いドキュメント処理能力をサポート
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase