Camembertav2 Base

🚀 CamemBERT(a)-v2: 完璧に磨き上げられた、より賢いフランス語モデル

CamemBERTav2 は、2750億トークンの大規模なフランス語コーパスで事前学習されたフランス語モデルです。これは、DebertaV2アーキテクチャに基づくCamemBERTaモデルの第2版です。CamemBERTav2は、32台のH100 GPU上で2750億トークンに対して20%のマスク率でReplaced Token Detection (RTD) 目的関数を使用して学習されました。学習に使用されたデータセットは、CulturaX Project からのフランス語 OSCAR ダンプ、HALvest からのフランス語科学文書、およびフランス語版Wikipediaの組み合わせです。

このモデルは、元のCamemBERTaモデルの代替品として使用できます。ただし、新しいトークナイザーは元のCamemBERTaトークナイザーとは異なるため、モデルを使用するにはFast Tokenizersを使用する必要があります。元の DebertaV2TokenizerFast がSentencePieceベースであっても、transformers ライブラリの DebertaV2TokenizerFast で動作します。

🚀 クイックスタート

✨ 主な機能

• 大規模な事前学習データセット: 2750億の一意のトークン（以前は約320億）
• WordPieceに基づく新しいトークナイザー: 32,768トークン、改行とタブ文字の追加、絵文字のサポート、および数値のより良い処理（数値は2桁のトークンに分割）
• 1024トークンの拡張コンテキストウィンドウ

詳細は、CamemBERTv2論文 を参照してください。

📦 インストール

このモデルを使用するには、transformers ライブラリをインストールする必要があります。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModel, AutoModelForMaskedLM

camembertav2 = AutoModel.from_pretrained("almanach/camembertav2-base")
tokenizer = AutoTokenizer.from_pretrained("almanach/camembertav2-base")

📚 ドキュメント

微調整結果

データセット: POSタグ付けと依存構文解析 (GSD, Rhapsodie, Sequoia, FSMB)、NER (FTB)、FLUEベンチマーク (XNLI, CLS, PAWS-X)、フランス語質問応答データセット (FQuAD)、ソーシャルメディアNER (Counter-NER)、および医療NER (CAS1, CAS2, E3C, EMEA, MEDLINE)。

微調整されたモデルは、以下のコレクションで利用できます: CamemBERTav2 Finetuned Models

事前学習コードベース

すべてのv2モデルについて、CamemBERTaリポジトリ の事前学習コードベースを使用しています。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

引用

@misc{antoun2024camembert20smarterfrench,
      title={CamemBERT 2.0: A Smarter French Language Model Aged to Perfection},
      author={Wissam Antoun and Francis Kulumba and Rian Touchent and Éric de la Clergerie and Benoît Sagot and Djamé Seddah},
      year={2024},
      eprint={2411.08868},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2411.08868},
}