# 大規模コーパス学習

Tucano-2b4は、ポルトガル語に特化して原生事前学習を行った大規模言語モデルで、トランスフォーマーアーキテクチャに基づき、2000億トークンのGigaVerboデータセットで学習されました。

これはトルコ語のRoBERTaベースモデルで、事前学習データはトルコ語ウィキペディア、トルコ語OSCARコーパス、および一部のニュースサイトから取得されています。

日本語ウィキペディアとCC-100の日本語部分で事前学習された大型日本語RoBERTaモデルで、日本語自然言語処理タスクに適しています。

mT5はGoogleが開発した多言語テキスト-to-テキスト変換モデルで、101言語に対応し、mC4データセットを用いて事前学習され、様々なNLPタスクに適用可能です。

これはTransformerアーキテクチャに基づく多言語から英語への機械翻訳モデルで、100種以上の言語の翻訳タスクをサポートします。