M

Moderncamembert Base

almanachによって開発
ModernCamemBERTは1Tの高品質なフランス語テキストコーパスで事前学習されたフランス語言語モデルで、ModernBERTのフランス語版であり、長いコンテキストと効率的な推論速度に焦点を当てています。
ダウンロード数 213
リリース時間 : 4/11/2025

モデル概要

ModernCamemBERTはマスク言語モデリング(MLM)目標で訓練されたフランス語言語モデルで、長いコンテキストや効率的な推論速度が必要なタスクに適しています。

モデル特徴

高品質な事前学習データ
1Tトークンの高品質なフランス語テキストコーパス(RedPajama-V2、フランス語科学文献、フランス語ウィキペディアを含む)で訓練されています。
長いコンテキストのサポート
最初は1024トークンのコンテキスト長で訓練され、その後事前学習段階で8192トークンに拡張されました。
効率的な推論
従来のアーキテクチャに比べてより高速な訓練と推論速度を実現しています。
意味的フィルタリング
LLama-3 70Bで自動アノテーションされた文書品質データセットで訓練されたBERT分類器による意味的フィルタリングを採用しています。

モデル能力

フランス語テキスト理解
マスク言語モデリング
長いコンテキスト処理

使用事例

自然言語処理
固有表現認識
フランス語テキストにおける固有表現認識タスク
FTB-NERデータセットで91.33 F1スコアを達成
テキスト分類
フランス語テキスト分類タスク
CLSデータセットで94.92%の精度を達成
意味的類似性
フランス語テキストの意味的類似性判断
PAWS-Xデータセットで92.52%の精度を達成
質問応答システム
フランス語質問応答
フランス語読解質問応答タスク
FQuADデータセットで82.19 F1スコアと62.66 EMスコアを達成
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase