Camembertv2 Base

🚀 CamemBERT(a)-v2: 完璧に磨き上げられた、より賢いフランス語モデル

CamemBERTv2は、2750億トークンの大規模なフランス語コーパスで事前学習されたフランス語モデルです。これはRoBERTaアーキテクチャに基づくCamemBERTモデルの第2版です。CamemBERTv2は、32台のH100 GPU上で、マスク率40%のMasked Language Modeling (MLM)目標で3エポックの学習を行いました。学習に使用されたデータセットは、CulturaXプロジェクトからのフランス語OSCARダンプ、HALvestからのフランス語科学文書、およびフランス語ウィキペディアの組み合わせです。

このモデルは、元のCamemBERTモデルの代替品として使用できます。ただし、新しいトークナイザーは元のCamemBERTトークナイザーとは異なるため、モデルを使用するにはFast Tokenizersを使用する必要があります。元のCamemBERTTokenizerがSentencePieceベースであっても、transformersライブラリのCamemBERTTokenizerFastで動作します。

DeBERTaV3に基づく、より強力なフランス語モデルであるCamemBERTav2モデルをこちらで確認してください。

🚀 クイックスタート

このセクションでは、CamemBERTv2モデルの基本的な使い方を説明します。

✨ 主な機能

• 大規模な事前学習データセット: 2750億の一意のトークン（以前は約320億）
• WordPieceに基づく新しいトークナイザー: 32,768トークン、改行とタブ文字の追加、絵文字のサポート、および数値のより良い処理（数値は2桁のトークンに分割）
• 拡張されたコンテキストウィンドウ: 1024トークン

詳細はCamemBERTv2論文を参照してください。

📦 インストール

このモデルを使用するには、transformersライブラリをインストールする必要があります。以下のコマンドを使用してインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModel, AutoModelForMaskedLM

camembertv2 = AutoModelForMaskedLM.from_pretrained("almanach/camembertv2-base")
tokenizer = AutoTokenizer.from_pretrained("almanach/camembertv2-base")

📚 ドキュメント

微調整結果

データセット: POSタグ付けと依存構文解析 (GSD, Rhapsodie, Sequoia, FSMB)、NER (FTB)、FLUEベンチマーク (XNLI, CLS, PAWS-X)、フランス語質問応答データセット (FQuAD)、ソーシャルメディアNER (Counter-NER)、および医療NER (CAS1, CAS2, E3C, EMEA, MEDLINE)。

微調整されたモデルは以下のコレクションで入手できます: CamemBERTv2 Finetuned Models

事前学習コードベース

すべてのv2モデルについて、CamemBERTaリポジトリの事前学習コードベースを使用しています。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

🔧 技術詳細

引用

@misc{antoun2024camembert20smarterfrench,
      title={CamemBERT 2.0: A Smarter French Language Model Aged to Perfection},
      author={Wissam Antoun and Francis Kulumba and Rian Touchent and Éric de la Clergerie and Benoît Sagot and Djamé Seddah},
      year={2024},
      eprint={2411.08868},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2411.08868},
}