# 低困惑度

DUOはテキスト生成用の事前学習モデルで、マスク言語モデリングタスクに使用でき、OpenWebTextコーパスで訓練され、良好な性能を持っています。

モンゴル語 mGPT 1.3B は、モンゴル語用に特別に設計された13億パラメータの言語モデルで、モンゴル語関連の自然言語処理タスクをサポートします。

mGPT 13Bは多言語言語モデルで、61の言語をサポートし、25の語族をカバーしています。600GBのテキストデータを基に学習され、強力な多言語処理能力を持っています。

最初で唯一利用可能な古代ギリシャ語のサブワードBERTモデルで、品詞タグ付けと形態分析タスクで最先端の微調整後の性能を達成します。

これはゼロから訓練されたGPT2の大型モデル（7.62億個のパラメータ）で、オランダ語に特化しており、純粋なオランダ語mC4での困惑度は15.1です。

BERTアーキテクチャに基づくマレー語のマスク言語モデルで、OSCARデータセットのマレー語サブセットを使用して訓練され、PyTorchとTensorFlowフレームワークをサポートします。

これはFlaxフレームワークを使用して、large_spanish_corpus（BETOコーパス）上でゼロから訓練されたスペイン語GPT - 2モデルで、HuggingFaceコミュニティ週間イベントの支援により開発されました。

大量のフィンランド語テキストで事前学習された3.45億パラメータのGPT - 2モデルで、フィンランド語テキスト生成に優れています。