# 持續預訓練

Poro 2 8B Instruct 是一個基於 Llama 3.1 8B 架構的指令遵循聊天機器人模型，專為芬蘭語和英語的對話式 AI 應用設計。

Nous Consilience 40B是一個400億參數的生成式文本模型，通過去中心化方式從零開始預訓練，支持多種語言，代表人類多元創造性產出。

Nous Consilience 40B 是一個400億參數的生成式文本模型，通過去中心化方式從零開始預訓練，支持多種語言，旨在代表人類廣泛的創造性產出。

基於Gemma-2架構的日語增強大語言模型，通過持續預訓練顯著提升日語能力，同時保留原版英語能力

JPharmatron-7B-base是一個70億參數的日語和英語大語言模型，專為製藥應用和研究設計。

Llama 3.3 Swallow是一個700億參數的大語言模型，基於Meta Llama 3.3構建，增強了日語能力同時保留英文能力。

Llama 3.1 Swallow是基於Meta Llama 3.1構建的大語言模型系列，通過持續預訓練增強了日語能力，同時保留英文能力。

Llama 3.1 Swallow是基於Meta Llama 3.1構建的大語言模型系列，通過持續預訓練增強了日語能力，同時保留英文能力。

Llama-SEA-LION-v3-8B 是一個針對東南亞語言優化的多語言大語言模型，支持11種東南亞語言，並在約2000億個標記上進行了持續預訓練。

Llama 3.1 Swallow是基於Meta Llama 3.1模型進行持續預訓練的大語言模型系列，增強了日語能力同時保留英文能力。

Llama-VARCO-8B-Instruct是一個基於Llama構建的生成式模型，通過額外的訓練，在韓語處理方面表現出色，同時保持英語能力。

這是一個基於Mistral-Nemo-Instruct-2407的日語持續預訓練模型，專注於日語文本生成任務。

這是一個基於Meta-Llama-3.1-70B-Instruct持續預訓練的日語大語言模型，支持日語和英語。

Llama3-Preferred-MedSwallow-70B是一個基於醫學相關文本的原始語料庫進行持續預訓練的微調模型，專為醫學研究領域設計。

基於Meta Llama 3構建的日語優化大語言模型，通過持續預訓練增強日語能力，採用監督微調提升指令跟隨能力

這是專為繁體中文優化的Tinyllama持續預訓練版本，基於TinyLlama-1.1B模型，持續預訓練數據集包含約20億個詞元。

基於Meta Llama 3構建的日語增強大語言模型，通過持續預訓練和指令微調提升日語處理能力

基於Meta-Llama-3-8B在混合日語和英語數據集上進行220億token持續預訓練的日語優化模型

Swallow-MX-8x7b-NVE-v0.1是基於Mixtral-8x7B-Instruct-v0.1進行持續預訓練的混合專家模型，主要增強了日語能力。

專為法律領域定製的大型指令語言模型，基於Mistral-7B進行持續預訓練獲得

Swallow-MS-7b-v0.1是基於Mistral-7B-v0.1持續預訓練的日語增強模型，由TokyoTech-LLM開發，在日語任務上表現優異。

基於LLaMA2-7B專為越南語優化的對話模型，通過持續自監督學習和監督微調增強越南語能力

K-12BERT是基於K-12基礎教育領域數據通過持續預訓練得到的BERT模型，專為教育場景優化