# 持続的事前学習

Poro 2 8B Instructは、Llama 3.1 8Bアーキテクチャに基づく命令従順型チャットボットモデルで、フィンランド語と英語の対話型AIアプリケーション向けに設計されています。

JPharmatron-7B-baseは、製薬アプリケーションと研究に特化して設計された70億パラメータの日本語と英語の大規模言語モデルです。

Llama 3.3 Swallowは700億パラメータの大規模言語モデルで、Meta Llama 3.3をベースに構築され、英語能力を維持しながら日本語能力を強化しています。

Llama 3.1 SwallowはMeta Llama 3.1をベースに構築された大規模言語モデルシリーズで、持続的事前学習により日本語能力を強化し、同時に英語能力を維持しています。

Llama-SEA-LION-v3-8Bは、東南アジア言語に最適化された多言語大規模言語モデルで、11種類の東南アジア言語をサポートし、約2000億個のトークンで持続的事前学習を行っています。

Llama 3.1 SwallowはMeta Llama 3.1モデルをベースに持続的事前学習を行った大規模言語モデルシリーズで、日本語能力を強化しつつ英語能力も維持しています。

これは繁体字中国語用に最適化されたTinyllamaの持続的事前学習バージョンで、TinyLlama-1.1Bモデルに基づいており、持続的事前学習データセットには約20億個のトークンが含まれています。