# 継続的事前学習

Nous Consilience 40Bは400億パラメータの生成型テキストモデルで、分散型手法でゼロから事前学習され、複数言語をサポートし、人間の幅広い創造的産出を代表することを目的としています。

Llama 3.1 SwallowはMeta Llama 3.1をベースに構築された大規模言語モデルシリーズで、継続的事前学習により日本語能力を強化し、同時に英語能力を維持しています。

Llama-VARCO-8B-InstructはLlamaをベースに構築された生成モデルで、追加の学習により、韓国語処理において優れた性能を発揮し、同時に英語能力も維持しています。

これはMistral-Nemo-Instruct-2407をベースにした日本語の継続的事前学習モデルで、日本語テキスト生成タスクに特化しています。

Llama3-Preferred-MedSwallow-70Bは、医学関連テキストの原始コーパスに基づいて継続的に事前学習された微調整モデルで、医学研究分野向けに設計されています。

Meta Llama 3をベースに構築された日本語最適化大規模言語モデルで、継続的事前学習により日本語能力を強化し、教師付き微調整により指令追従能力を向上させました。