# 多言語混合トレーニング

Stockmark-2-100Bは日本語能力に特化した1000億パラメータの大規模言語モデルで、1.5兆トークンの多言語データで事前学習され、日本語合成データにより指示追従能力が強化されています。

Meta-Llama-3-8Bを基に、日本語と英語の混合データセットで220億トークンの継続事前学習を行った日本語最適化モデル

LLaMA-2アーキテクチャを基に最適化された70億パラメータのベンガル語大規模言語モデル、指示追従タスクをサポート

DiscoLM German 7B v1はMistralアーキテクチャに基づく7Bパラメータのドイツ語言語モデルで、ドイツ語と英語をサポートし、Apache-2.0ライセンスで公開されています。

このモデルはxlm-roberta-baseを基に、スイスドイツ語テキストデータで継続事前学習と微調整を行った多言語モデルで、スイスドイツ語と標準ドイツ語の処理をサポートします。

OpenHathiシリーズの最初のモデルで、Llama2アーキテクチャに基づき、ヒンディー語、英語、および混合言語をサポートし、70億のパラメータを有しています。

Llama2-chat 7Bをベースにしたベトナム語最適化モデル。増分事前トレーニングと効率的なトークナイザーによりベトナム語処理能力を大幅に向上

KoAlpacaはスタンフォード大学のAlpacaモデルを基にした韓国語版で、LLAMAアーキテクチャとPolyglot-ko技術を組み合わせ、韓国語テキスト生成タスクに最適化されています。

ByT5-韓国語はGoogleのByT5の韓国語カスタマイズ拡張版で、特に韓国語の音節エンコーディング処理を最適化しています。