# 持続的事前学習の最適化

Gemma-2-Llama-Swallowシリーズのモデルは、Gemma-2をベースに持続的な事前学習を行って構築された多言語大規模モデルで、特に日本語能力が強化されています。

CamemBERT-bioは、フランス語の生物医学分野に特化して最適化された言語モデルです。camembert-baseをベースに持続的事前学習を行い、生物医学の命名エンティティ認識タスクで優れた性能を発揮します。