# 持续预训练

Poro 2 8B Instruct 是一个基于 Llama 3.1 8B 架构的指令遵循聊天机器人模型，专为芬兰语和英语的对话式 AI 应用设计。

Nous Consilience 40B是一个400亿参数的生成式文本模型，通过去中心化方式从零开始预训练，支持多种语言，代表人类多元创造性产出。

Nous Consilience 40B 是一个400亿参数的生成式文本模型，通过去中心化方式从零开始预训练，支持多种语言，旨在代表人类广泛的创造性产出。

基于Gemma-2架构的日语增强大语言模型，通过持续预训练显著提升日语能力，同时保留原版英语能力

JPharmatron-7B-base是一个70亿参数的日语和英语大语言模型，专为制药应用和研究设计。

Llama 3.3 Swallow是一个700亿参数的大语言模型，基于Meta Llama 3.3构建，增强了日语能力同时保留英文能力。

Llama 3.1 Swallow是基于Meta Llama 3.1构建的大语言模型系列，通过持续预训练增强了日语能力，同时保留英文能力。

Llama 3.1 Swallow是基于Meta Llama 3.1构建的大语言模型系列，通过持续预训练增强了日语能力，同时保留英文能力。

Llama-SEA-LION-v3-8B 是一个针对东南亚语言优化的多语言大语言模型，支持11种东南亚语言，并在约2000亿个标记上进行了持续预训练。

Llama 3.1 Swallow是基于Meta Llama 3.1模型进行持续预训练的大语言模型系列，增强了日语能力同时保留英文能力。

Llama-VARCO-8B-Instruct是一个基于Llama构建的生成式模型，通过额外的训练，在韩语处理方面表现出色，同时保持英语能力。

这是一个基于Mistral-Nemo-Instruct-2407的日语持续预训练模型，专注于日语文本生成任务。

这是一个基于Meta-Llama-3.1-70B-Instruct持续预训练的日语大语言模型，支持日语和英语。

Llama3-Preferred-MedSwallow-70B是一个基于医学相关文本的原始语料库进行持续预训练的微调模型，专为医学研究领域设计。

基于Meta Llama 3构建的日语优化大语言模型，通过持续预训练增强日语能力，采用监督微调提升指令跟随能力

这是专为繁体中文优化的Tinyllama持续预训练版本，基于TinyLlama-1.1B模型，持续预训练数据集包含约20亿个词元。

基于Meta Llama 3构建的日语增强大语言模型，通过持续预训练和指令微调提升日语处理能力

基于Meta-Llama-3-8B在混合日语和英语数据集上进行220亿token持续预训练的日语优化模型

Swallow-MX-8x7b-NVE-v0.1是基于Mixtral-8x7B-Instruct-v0.1进行持续预训练的混合专家模型，主要增强了日语能力。

专为法律领域定制的大型指令语言模型，基于Mistral-7B进行持续预训练获得

Swallow-MS-7b-v0.1是基于Mistral-7B-v0.1持续预训练的日语增强模型，由TokyoTech-LLM开发，在日语任务上表现优异。

基于LLaMA2-7B专为越南语优化的对话模型，通过持续自监督学习和监督微调增强越南语能力

K-12BERT是基于K-12基础教育领域数据通过持续预训练得到的BERT模型，专为教育场景优化