# 多領域事前学習

Kaz - RoBERTaは、大規模なカザフ語コーパスに基づいて自己教師付き方式で事前学習されたtransformersモデルで、主にマスク言語モデリングタスクに使用されます。

DistilBERTはBERTの軽量級蒸留バージョンで、BERTの97％の性能を維持しながら、サイズを40％縮小し、速度を60％向上させます。

CPMはTransformerに基づく26億パラメータの中国語事前学習言語モデルで、100GBの中国語コーパスを使用して学習され、様々な自然言語処理タスクをサポートします。

因果言語モデリングの目標に基づいて事前学習されたインドネシア語生成モデルで、Flaxフレームワークを使用してトレーニングされました。

このモデルはFacebookのWav2Vec2-Large-Robustの微調整バージョンで、電話音声認識タスクに特化して最適化されており、300時間のSwitchboard電話音声コーパスを使用して微調整されています。