Moderncamembert Cv2 Base

🚀 ModernCamemBERT

ModernCamemBERT は、1Tトークンの高品質フランス語テキストの大規模コーパスで事前学習されたフランス語モデルです。これは ModernBERT モデルのフランス語版です。ModernCamemBERTは、48台のH100 GPU上で1Tトークンに対して30%のマスク率でマスク言語モデリング（MLM）の目的でトレーニングされました。トレーニングに使用されたデータセットは、ヒューリスティックとセマンティックフィルタリングを使用してフィルタリングされたフランス語の RedPajama-V2、HALvest のフランス語科学文書、およびフランス語版ウィキペディアの組み合わせです。セマンティックフィルタリングは、LLama-3 70Bによって自動的にラベル付けされた文書品質データセットでトレーニングされたBERT分類器を微調整することによって行われました。 古い CamemBERTav2 トークナイザーも再利用しています。モデルは最初に1024のコンテキスト長でトレーニングされ、その後事前学習の過程で8192トークンに増やされました。トレーニングプロセスの詳細については、ModernCamemBERT の論文を参照してください。

ModernCamemBERTの目的は、DeBERTaV3フランス語モデルであるCamemBERTaV2と同じデータセットでModernBERTを事前学習させることにより、コントロールされた研究を行い、モデル設計の影響を分離することでした。結果は、以前のモデル世代がサンプル効率と全体的なベンチマーク性能で優れており、ModernBERTの主な利点はトレーニングと推論速度が速いことであることを示しています。ただし、提案された新しいモデルは、BERTやRoBERTa CamemBERT/v2モデルなどの以前のモデルと比較して、有意義なアーキテクチャの改善を提供しています。さらに、高品質の事前学習データは収束を加速させますが、最終的な性能を大幅に向上させないことが観察されており、ベンチマークの飽和の可能性を示唆しています。

私たちは、大きなコンテキスト長または効率的な推論速度を必要とするタスクにはModernCamemBERTモデルを使用することをお勧めします。 その他のタスクには、依然としてほとんどのベンチマークで最良の性能を発揮するCamemBERTaV2モデルを使用する必要があります。

モデルの2つのバージョンをリリースしています。almanach/moderncamembert-base と almanach/moderncamembert-cv2-base です。最初のバージョンは新しい高品質の1Tトークンデータセットでトレーニングされたもので、2番目のバージョンは古いCamemBERTaV2データセットでトレーニングされたものです。2つのモデルは同じアーキテクチャとハイパーパラメータでトレーニングされています。

🚀 クイックスタート

モデルの読み込み

from transformers import AutoTokenizer, AutoModel, AutoModelForMaskedLM

model = AutoModel.from_pretrained("almanach/moderncamembert-cv2-base")
tokenizer = AutoTokenizer.from_pretrained("almanach/moderncamembert-cv2-base")

✨ 主な機能

• 高品質なフランス語コーパスで事前学習されている。
• 大きなコンテキスト長（最大8192トークン）に対応している。
• トレーニングと推論速度が速い。

📚 ドキュメント

微調整結果

データセット: NER (FTB)、FLUEベンチマーク (XNLI、CLS、PAWS-X)、フランス語質問応答データセット (FQuAD)。

微調整されたモデルは以下のコレクションで入手できます。ModernCamembert Models

事前学習コードベース

すべてのModernCamemBERTモデルには、ModernBERTリポジトリ の事前学習コードベースを使用しています。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

🔖 引用

@misc{antoun2025modernbertdebertav3examiningarchitecture,
      title={ModernBERT or DeBERTaV3? Examining Architecture and Data Influence on Transformer Encoder Models Performance}, 
      author={Wissam Antoun and Benoît Sagot and Djamé Seddah},
      year={2025},
      eprint={2504.08716},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2504.08716}, 
}