# 大規模コーパス

テキスト要約タスクに特化した中国語PEGASUS-largeモデル、複数の中国語要約データセットで微調整

ERNIE 3.0は中国語の言語理解と生成に向けた大規模な知識拡張事前学習モデルで、miniバージョンはその軽量実装です。

XLMR-MaCoCu-trはトルコ語テキストの大規模事前学習に基づく言語モデルで、MaCoCuプロジェクトの一部であり、35GBのトルコ語テキストで訓練されています。

大規模な科研論文集に基づいて事前学習されたBERT - largeのバリエーションで、パラメータ数は3億4000万で、科学文献の理解に特化しています。

このモデルは3千時間のベトナム語音声データで事前学習されたWav2Vec2ベースモデルで、ベトナム語音声認識タスクに適しており、下流タスクで微調整して使用する必要があります。

mGPTはmC4データセットで事前学習された多言語生成モデルで、101言語をサポートし、GPT-2に似たTransformerアーキテクチャを採用しています。

FERNET-C5はチェコ語に基づく単言語BERT基礎モデルで、事前学習データは93GBのチェコ語の大規模クリーンなクロールコーパス（C5）から取得されます。

IndoBERTは、BERTモデルをベースにインドネシア語向けに開発された最先端の言語モデルで、マスク言語モデリング（MLM）と次文予測（NSP）の目標で学習されています。

XLM-RoBERTaは100言語の2.5Tデータで訓練された言語横断文エンコーダーの拡張版で、複数の言語横断ベンチマークで優れた性能を発揮します。

ドイツ語の大規模クリーン版Common Crawlコーパス（GC4）に基づいてトレーニングされた超大規模ドイツ語言語モデルで、総規模は約844GBであり、バイアスが含まれる可能性があります。

ウクライナ語の大規模コーパスを使って訓練されたRoBERTa基礎モデルで、ウクライナ語の自然言語処理タスクに適しています。

mT5はT5モデルの多言語バリアントで、101言語をカバーするmC4コーパスで事前学習されており、多言語テキスト処理タスクに適しています。

ProcBERTは、プロセステキストの最適化のために特別に設計された事前学習言語モデルです。大規模なプロセステキストコーパス（生物医学文献、化学特許、料理レシピを含む）を基に事前学習され、下流タスクで卓越した性能を発揮します。

VoxPopuliコーパスのスペイン語サブセットでトレーニングされた大規模音声事前学習モデルで、スペイン語音声認識タスクに適しています

AraBERTは、グーグルのBERTアーキテクチャに基づくアラビア語の事前学習言語モデルで、アラビア語の自然言語理解タスク用に設計されています。

IndoBERTはBERTモデルに基づくインドネシア語の最先端言語モデルで、マスク言語モデリングと次文予測目標を用いて訓練されています。

VoxPopuliコーパスのオランダ語サブセットで事前学習されたWav2Vec2ベースモデル、オランダ語音声認識タスクに適しています。

このモデルは2.5億の中国語コーパスに基づき、MobileBERTアーキテクチャを用いて事前学習を行い、トレーニング周期は15日で、単一のA100グラフィックカード上で100万ステップの反復を完了しました。

XLM - RoBERTaは、100言語の2.5TBのフィルタリングされたCommonCrawlデータを使って事前学習された多言語モデルで、マスク言語モデリングの目標を用いて訓練されています。

2.9K時間のフランス語音声で訓練された大型wav2vec2モデルで、自発的な音声、朗読音声、放送音声の処理をサポートします。

2.6千時間のフランス語音声でトレーニングされた基本wav2vec2モデル、自発音声データを含まない