AIbase
JA
ホーム
Bart Base Cnn R2 18.7 D23 Hybrid
B

Bart Base Cnn R2 18.7 D23 Hybrid

echarlaixによって開発
これは剪枝最適化されたBART-baseモデルで、CNN/DailyMailデータセットに特化して微調整され、要約生成タスクに使用されます。
テキスト生成
Transformers
 英語オープンソースライセンス:Apache-2.0#ニュース要約生成#重み剪枝最適化#高効率アテンション機構
ダウンロード数 18
リリース時間 : 3/2/2022

モデル概要

このモデルはfacebook/bart-baseアーキテクチャに基づいており、nn_pruningライブラリを使用して剪枝最適化を行い、線形層の重みの23%と全体の重みの45%を保持し、28.2%のアテンションヘッドを削除し、良好な性能を維持しながらモデルサイズを削減しました。

モデル特徴

高効率剪枝
nn_pruning技術を使用して剪枝を行い、線形層の重みの23%のみを保持し、全体で元の重みの45%を保持し、モデルサイズを大幅に削減します。
アテンションヘッド最適化
ブロック剪枝により28.2%のアテンションヘッド(61/216)を削除し、推論効率を向上させます。
専門的な微調整
CNN/DailyMailニュース要約データセットに特化して最適化され、Rouge指標で良好な結果を示します。

モデル能力

テキスト要約生成
ニュース内容圧縮
英語テキスト処理

使用事例

ニュース処理
ニュース要約生成
ニュース記事の短い要約を自動生成します。
Rouge-1:41.43, Rouge-2:18.72, Rouge-L:38.35
内容圧縮
長文圧縮
長い記事を重要な情報の要約に圧縮します。
おすすめAIモデル
Llama 3 Typhoon V1.5x 8b Instruct
タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化
大規模言語モデル Transformers 複数言語対応
L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2％です。
対話システム Transformers 英語
C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。
質問応答システム 中国語
R
uer
2,694
98
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
English简体中文繁體中文にほんご
© 2025AIbase