Arabart

🚀 AraBART

BARTベースのエンコーダとデコーダがエンドツーエンドで事前学習された最初のアラビア語モデルです。複数の要約データセットで優れた性能を発揮します。

🚀 クイックスタート

AraBARTは、BARTに基づいてエンコーダとデコーダがエンドツーエンドで事前学習された最初のアラビア語モデルです。このモデルはBART - Baseのアーキテクチャを採用しており、6層のエンコーダと6層のデコーダ、768の隠れ次元を持ち、合計1億3900万のパラメータを持っています。AraBARTは、複数の抽象的要約データセットで最高の性能を達成し、事前学習されたアラビア語BERTベースのモデルや多言語のmBART、mT5モデルなどの強力なベースラインを上回っています。

✨ 主な機能

• BARTベースのエンコーダとデコーダがエンドツーエンドで事前学習されたアラビア語モデル。
• 複数の抽象的要約データセットで高い性能を発揮。
• 強力なベースラインを上回る。

🔧 技術詳細

AraBARTはBART - Baseのアーキテクチャを持ち、6層のエンコーダと6層のデコーダを備えています。隠れ次元は768で、合計で139Mのパラメータを持っています。このモデルは、アラビア語の要約タスクに特化しており、事前学習によって多くの言語知識を獲得しています。

📄 ライセンス

このプロジェクトは、Apache - 2.0ライセンスの下で提供されています。