Mbarthez

🚀 BARThez - 法語序列到序列預訓練模型

BARThez 是一個基於 BART 的法語序列到序列預訓練模型。它通過學習重構被損壞的輸入句子來進行預訓練，使用了 66GB 的法語原始文本語料庫。與現有的基於 BERT 的法語語言模型（如 CamemBERT 和 FlauBERT）不同，BARThez 不僅對編碼器進行了預訓練，還對解碼器進行了預訓練，因此特別適合生成式任務（如抽象摘要生成）。

除了從頭開始預訓練的 BARThez，我們還對多語言 BART mBART 進行了繼續預訓練，這提升了它在判別式和生成式任務中的性能。我們將適應法語的版本稱為 mBARThez。

✨ 主要特性

• 基於 BART 架構，專為法語設計。
• 編碼器和解碼器均經過預訓練，適合生成式任務。
• 利用大規模法語語料庫進行預訓練。
• 對 mBART 進行繼續預訓練，提升性能。

📚 詳細文檔

模型信息

模型對比

引用信息

@article{eddine2020barthez,
  title={BARThez: a Skilled Pretrained French Sequence-to-Sequence Model},
  author={Eddine, Moussa Kamal and Tixier, Antoine J-P and Vazirgiannis, Michalis},
  journal={arXiv preprint arXiv:2010.12321},
  year={2020}
}

相關鏈接

• 論文：https://arxiv.org/abs/2010.12321
• GitHub 倉庫：https://github.com/moussaKam/BARThez

📄 許可證

本項目採用 Apache-2.0 許可證。