Bart Base Cnn R2 19.4 D35 Hybrid

🚀 facebook/bart-baseモデルをCNN/DailyMailでファインチューニング

このモデルは、nn_pruning Pythonライブラリを使用して作成されました。線形層は元の重みの**35%**を含んでいます。

モデル全体では元の重みの**53%**を保持しています（埋め込み層はモデルのかなりの部分を占めており、この方法では剪定されません）。

✨ 主な機能

このモデルは要約タスクに特化しており、CNN/DailyMailデータセットでファインチューニングされています。モデルの重みを剪定することで、モデルのサイズを削減しつつ、一定の性能を維持しています。

📚 ドキュメント

ファイン剪定の詳細

このモデルはHuggingFaceのモデルからファインチューニングされました。

ブロック剪定の副作用として、一部のアテンションヘッドが完全に削除されています。合計216個のアテンションヘッドのうち38個（17.6%）が削除されています。

CNN/DailyMailデータセットの詳細

結果

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。