Barthez

🚀 BARThez - 法語序列到序列預訓練模型

BARThez 是一個基於 BART 的法語序列到序列預訓練模型。它通過學習重構被損壞的輸入句子進行預訓練，使用了 66GB 的法語原始文本語料庫。與現有的基於 BERT 的法語語言模型（如 CamemBERT 和 FlauBERT）不同，BARThez 不僅對編碼器進行了預訓練，還對解碼器進行了預訓練，因此特別適合生成任務（如抽象文本摘要）。

除了從頭開始預訓練的 BARThez，我們還對多語言 BART mBART 進行了繼續預訓練，這提升了它在判別和生成任務中的性能。我們將這個適配法語的版本稱為 mBARThez。

🚀 快速開始

BARThez 是基於 BART 架構的法語預訓練模型，可用於多種自然語言處理任務，尤其是生成任務。它通過在大規模法語語料上預訓練，能夠很好地理解和生成法語文本。

✨ 主要特性

• 適合生成任務：與其他基於 BERT 的法語模型不同，BARThez 的編碼器和解碼器都經過預訓練，使其在生成任務（如抽象文本摘要）中表現出色。
• 繼續預訓練提升性能：對多語言 mBART 進行繼續預訓練得到 mBARThez，在判別和生成任務中都有更好的性能。

📚 詳細文檔

模型信息

模型架構對比

引用信息

論文鏈接：https://arxiv.org/abs/2010.12321 GitHub 鏈接：https://github.com/moussaKam/BARThez

@article{eddine2020barthez,
  title={BARThez: a Skilled Pretrained French Sequence-to-Sequence Model},
  author={Eddine, Moussa Kamal and Tixier, Antoine J-P and Vazirgiannis, Michalis},
  journal={arXiv preprint arXiv:2010.12321},
  year={2020}
}

📄 許可證

本項目採用 Apache-2.0 許可證。