Poro 34B Chat

🚀 Poro 34B Chat

Poro 34B Chat是Poro 34B的聊天调优版本，经过训练后能够遵循芬兰语和英语的指令。量化版本可在Poro 34B-chat-GGUF上获取。

由于芬兰语的指令调优数据有限，我们使用Poro 34B基础模型将英语数据集中的文档机器翻译成芬兰语，然后用这些数据来训练这个聊天版本。我们仅选择了可用于商业用途的数据集，并且只有在合成数据的收集符合服务条款的情况下才会使用。

有关芬兰语数据集的数据选择和翻译过程的更多信息，请访问LumiOpen/instruction-collection-fin页面。

Poro由来自Silo AI的SiloGen、图尔库大学的TurkuNLP小组以及高性能语言技术（HPLT）合作创建。训练在LUMI超级计算机上进行，使用了芬兰科学信息技术中心CSC慷慨提供的计算资源。

该项目是为非英语语言（尤其是像芬兰语这样的低资源语言）创建开源大语言模型的持续努力的一部分。通过结合英语和芬兰语的训练数据，我们得到了一个性能优于以往仅针对芬兰语的模型，同时该模型在英语和代码方面也很流利，并且能够进行英语和芬兰语之间的基本翻译。

🚀 快速开始

Poro 34B Chat是一个强大的多语言聊天模型，以下将为你详细介绍其相关信息，助你快速开启使用之旅。

✨ 主要特性

• 多语言支持：支持芬兰语和英语，能够处理两种语言的指令。
• 性能优越：结合英语和芬兰语训练数据，性能优于以往仅针对芬兰语的模型。
• 代码与翻译能力：能够流利处理英语和代码，还能进行英语和芬兰语之间的基本翻译。

📦 安装指南

文档中未提及具体安装步骤，暂无法提供。

💻 使用示例

基础用法

<|im_start|>system 
You can add an optional system prompt here.<|im_end|> 
<|im_start|>user 
Miten rakennan tietokoneen?<|im_end|>
<|im_start|>assistant 

📚 详细文档

微调

Poro-34b-Chat是Poro-34b在芬兰语和英语指令数据集集合上的SFT微调版本。该数据集集合大致由40%的英语、40%的芬兰语和20%的跨语言条目组成。

我们以2e - 05的学习率、0.1的预热比例和48的全局批量大小对基础模型进行了3个轮次的微调。对于全参数微调，我们使用了3个节点（每个节点8个GPU）。我们使用对齐手册代码进行微调。

数据集

芬兰语和跨语言

• LumiOpen/instruction-collection-fin

英语

• databricks-dolly-15k
• Curated OASST2
• Argilla/10k_prompts_ranked_mistral_large_responses

聊天模板

我们使用ChatML聊天模板，例如：

<|im_start|>system 
You can add an optional system prompt here.<|im_end|> 
<|im_start|>user 
Miten rakennan tietokoneen?<|im_end|>
<|im_start|>assistant 

评估

我们依靠流行的MTBench基准来评估多轮对话性能。

由于MTBench是仅针对英语的基准，我们还发布了这个支持多语言且包含机器翻译的芬兰语提示的MTBench芬兰语分支。以下是我们在两个基准上的得分。

注：于2024年6月18日更新

🔧 技术细节

Poro-34b-Chat的微调过程涉及到多个技术细节。它是在芬兰语和英语指令数据集集合上对Poro-34b进行SFT微调。数据集集合的语言比例为40%英语、40%芬兰语和20%跨语言条目。微调时，学习率设置为2e - 05，预热比例为0.1，全局批量大小为48。全参数微调使用了3个节点（每个节点8个GPU），并采用了对齐手册代码。这些技术细节的设置和选择，有助于模型在多语言场景下获得更好的性能。

📄 许可证

Poro 34B chat采用Apache 2.0许可证发布。

📚 引用

@misc{luukkonen2024poro,
      title={Poro 34B and the Blessing of Multilinguality},
      author={Risto Luukkonen and Jonathan Burdge and Elaine Zosa and Aarne
Talman and Ville Komulainen and Väinö Hatanpää and Peter Sarlin and Sampo
Pyysalo},
      year={2024},
      eprint={2404.01856},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}