Barthez

🚀 BARThez - フランス語のシーケンス-to-シーケンス事前学習モデル

BARTに基づくフランス語のシーケンス-to-シーケンス事前学習モデルです。破損した入力文を再構築することで事前学習され、66GBのフランス語生テキストコーパスを使用しています。

🚀 クイックスタート

このモデルは、フランス語のシーケンス-to-シーケンスタスクに特化して事前学習されています。既存のBERTベースのフランス語モデルとは異なり、エンコーダだけでなくデコーダも事前学習されているため、生成タスク（要約生成など）に特に適しています。

✨ 主な機能

• 生成タスクに適している：エンコーダとデコーダの両方が事前学習されているため、要約生成などの生成タスクに優れた性能を発揮します。
• 多言語モデルの適応版：多言語BART mBART をベースにした mBARThez も提供されており、識別タスクと生成タスクの両方で性能が向上しています。

📚 ドキュメント

モデルの詳細

関連リンク

• 論文：https://arxiv.org/abs/2010.12321
• GitHub：https://github.com/moussaKam/BARThez

引用情報

@article{eddine2020barthez,
  title={BARThez: a Skilled Pretrained French Sequence-to-Sequence Model},
  author={Eddine, Moussa Kamal and Tixier, Antoine J-P and Vazirgiannis, Michalis},
  journal={arXiv preprint arXiv:2010.12321},
  year={2020}
}

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。