Eurollm 1.7B

🚀 EuroLLM-1.7B

EuroLLM-1.7B 是 EuroLLM 系列的首个预训练模型，具备多语言处理能力，可理解和生成多种欧洲及其他相关语言的文本。其指令微调版本 EuroLLM-1.7B-Instruct 在机器翻译等任务上表现出色，能为多语言处理场景提供强大支持。

🚀 快速开始

以下是使用 EuroLLM-1.7B 进行文本生成的示例代码：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "utter-project/EuroLLM-1.7B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

text = "English: My name is EuroLLM. Portuguese:"

inputs = tokenizer(text, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

✨ 主要特性

• 多语言支持：支持保加利亚语、克罗地亚语、捷克语、丹麦语、荷兰语、英语、爱沙尼亚语、芬兰语、法语、德语、希腊语、匈牙利语、爱尔兰语、意大利语、拉脱维亚语、立陶宛语、马耳他语、波兰语、葡萄牙语、罗马尼亚语、斯洛伐克语、斯洛文尼亚语、西班牙语、瑞典语、阿拉伯语、加泰罗尼亚语、中文、加利西亚语、印地语、日语、韩语、挪威语、俄语、土耳其语和乌克兰语等多种语言。
• 高效架构：采用标准的密集 Transformer 架构，使用分组查询注意力（GQA）、预层归一化、RMSNorm、SwiGLU 激活函数和旋转位置嵌入（RoPE）等技术，在推理速度和下游任务性能之间取得平衡。
• 大规模训练：在 4 万亿个标记上进行训练，数据来源广泛，包括网络数据、平行数据和高质量数据集。
• 出色性能：在机器翻译和通用基准测试中表现优异，与同类模型相比具有竞争力。

📦 安装指南

文档未提及具体安装步骤，可参考 transformers 库的官方文档进行安装。

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "utter-project/EuroLLM-1.7B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

text = "English: My name is EuroLLM. Portuguese:"

inputs = tokenizer(text, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

📚 详细文档

模型详情

EuroLLM 项目旨在创建一套能够理解和生成所有欧盟语言以及一些其他相关语言文本的大语言模型（LLM）。EuroLLM-1.7B 是一个具有 17 亿参数的模型，在 4 万亿个标记上进行训练，这些标记分布在多种语言和多个数据源中，包括网络数据、平行数据（英语 - 其他语言和其他语言 - 英语）和高质量数据集。EuroLLM-1.7B-Instruct 则在 EuroBlocks 上进行了进一步的指令微调，这是一个专注于通用指令遵循和机器翻译的指令微调数据集。

模型描述

EuroLLM 使用标准的密集 Transformer 架构：

• 分组查询注意力（GQA）：使用 8 个键值头，在推理时提高速度，同时保持下游任务的性能。
• 预层归一化：采用 RMSNorm 进行预层归一化，提高训练稳定性，且计算速度更快。
• SwiGLU 激活函数：在下游任务中表现良好。
• 旋转位置嵌入（RoPE）：在每一层都使用 RoPE，在允许扩展上下文长度的同时，实现了良好的性能。

在预训练过程中，使用了 Marenostrum 5 超级计算机的 256 个 Nvidia H100 GPU，以 3072 个序列的恒定批量大小（约 1200 万个标记）训练模型，使用 Adam 优化器和 BF16 精度。以下是模型超参数的总结：

结果

机器翻译

在多个机器翻译基准测试（FLORES-200、WMT-23 和 WMT-24）上对 EuroLLM-1.7B-Instruct 进行了评估，并与 Gemma-2B 和 Gemma-7B（也在 EuroBlocks 上进行了指令微调）进行了比较。结果表明，EuroLLM-1.7B 在机器翻译方面明显优于 Gemma-2B，并且与 Gemma-7B 具有竞争力。

FLORES-200

WMT-23

WMT-24

通用基准测试

还将 EuroLLM-1.7B 与 TinyLlama-v1.1 和 Gemma-2B 在 3 个通用基准测试（Arc Challenge 和 Hellaswag）上进行了比较。对于非英语语言，使用了 Okapi 数据集。结果显示，EuroLLM-1.7B 在 Hellaswag 上优于 TinyLlama-v1.1，与 Gemma-2B 相当，但在 Arc Challenge 上表现不如 Gemma-2B。这可能是由于 EuroLLM-1.7B 的参数数量较少（非嵌入参数为 11.33 亿，而 Gemma-2B 为 19.81 亿）。

Arc Challenge

Hellaswag

🔧 技术细节

文档中关于模型架构和训练的技术细节已在“模型描述”部分详细说明。

📄 许可证

本模型采用 Apache License 2.0 许可证。

⚠️ 重要提示

EuroLLM-1.7B 未针对人类偏好进行对齐，因此模型可能会生成有问题的输出（例如，幻觉、有害内容或虚假陈述）。

论文

论文链接：EuroLLM: Multilingual Language Models for Europe