Eurollm 1.7B Instruct

🚀 EuroLLM-1.7B-Instruct

EuroLLM-1.7B-Instruct是EuroLLM系列的首个指令微调模型，具备多语言处理能力，可理解和生成多种欧洲及其他相关语言的文本，在机器翻译等任务上表现出色。

🚀 快速开始

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "utter-project/EuroLLM-1.7B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

text = '<|im_start|>system\n<|im_end|>\n<|im_start|>user\nTranslate the following English source text to Portuguese:\nEnglish: I am a language model for european languages. \nPortuguese: <|im_end|>\n<|im_start|>assistant\n'

inputs = tokenizer(text, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

✨ 主要特性

• 多语言支持：支持保加利亚语、克罗地亚语、捷克语、丹麦语、荷兰语、英语、爱沙尼亚语、芬兰语、法语、德语、希腊语、匈牙利语、爱尔兰语、意大利语、拉脱维亚语、立陶宛语、马耳他语、波兰语、葡萄牙语、罗马尼亚语、斯洛伐克语、斯洛文尼亚语、西班牙语、瑞典语、阿拉伯语、加泰罗尼亚语、中文、加利西亚语、印地语、日语、韩语、挪威语、俄语、土耳其语和乌克兰语等多种语言。
• 指令微调：在EuroBlocks指令微调数据集上进行了进一步微调，专注于通用指令遵循和机器翻译。
• 高性能表现：在机器翻译和通用基准测试中，与其他模型相比具有竞争力。

📦 安装指南

文档未提及具体安装步骤，可参考transformers库的官方文档进行安装。

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "utter-project/EuroLLM-1.7B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

text = '<|im_start|>system\n<|im_end|>\n<|im_start|>user\nTranslate the following English source text to Portuguese:\nEnglish: I am a language model for european languages. \nPortuguese: <|im_end|>\n<|im_start|>assistant\n'

inputs = tokenizer(text, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

📚 详细文档

模型详情

EuroLLM项目旨在创建一套能够理解和生成所有欧盟语言以及一些其他相关语言文本的大语言模型。EuroLLM-1.7B是一个具有17亿参数的模型，在4万亿个标记上进行训练，这些标记分布在多种语言和多个数据源中，包括网络数据、平行数据（英语与其他语言互译）和高质量数据集。EuroLLM-1.7B-Instruct在EuroBlocks指令微调数据集上进行了进一步的指令微调，该数据集专注于通用指令遵循和机器翻译。

模型描述

EuroLLM使用标准的密集Transformer架构：

• 分组查询注意力（GQA）：使用8个键值头，在推理时提高速度，同时保持下游任务的性能。
• 预层归一化：采用RMSNorm，提高训练稳定性且速度更快。
• SwiGLU激活函数：在下游任务中表现良好。
• 旋转位置嵌入（RoPE）：在每一层都使用，在允许扩展上下文长度的同时表现出色。

预训练时，使用Marenostrum 5超级计算机的256个Nvidia H100 GPU，以恒定的3072个序列的批量大小训练模型，对应约1200万个标记，使用Adam优化器和BF16精度。以下是模型超参数的总结：

结果

机器翻译

在多个机器翻译基准测试（FLORES-200、WMT-23和WMT-24）中评估EuroLLM-1.7B-Instruct，并与Gemma-2B和Gemma-7B（也在EuroBlocks上进行了指令微调）进行比较。结果表明，EuroLLM-1.7B在机器翻译方面明显优于Gemma-2B，并且与Gemma-7B具有竞争力。

FLORES-200测试结果

WMT-23测试结果

WMT-24测试结果

通用基准测试

在3个通用基准测试（Arc Challenge和Hellaswag）中，将EuroLLM-1.7B与TinyLlama-v1.1和Gemma-2B进行比较。对于非英语语言，使用Okapi数据集。结果显示，EuroLLM-1.7B在Hellaswag测试中优于TinyLlama-v1.1，与Gemma-2B表现相似，但在Arc Challenge测试中表现较差，这可能是由于EuroLLM-1.7B的参数数量较少（11.33亿非嵌入参数，而TinyLlama-v1.1为19.81亿）。

Arc Challenge测试结果

Hellaswag测试结果

偏差、风险和局限性

EuroLLM-1.7B-Instruct未进行人类偏好对齐，因此模型可能会生成有问题的输出（例如，幻觉内容、有害内容或虚假陈述）。

论文

论文链接：EuroLLM: Multilingual Language Models for Europe

🔧 技术细节

模型架构

EuroLLM使用标准的密集Transformer架构，采用分组查询注意力（GQA）、预层归一化（RMSNorm）、SwiGLU激活函数和旋转位置嵌入（RoPE）等技术，以提高模型的性能和训练稳定性。

训练设置

预训练时，使用Marenostrum 5超级计算机的256个Nvidia H100 GPU，以恒定的3072个序列的批量大小训练模型，对应约1200万个标记，使用Adam优化器和BF16精度。

📄 许可证

本模型采用Apache License 2.0许可证。