Eurollm 1.7B

🚀 EuroLLM-1.7B

EuroLLM-1.7B 是 EuroLLM 系列的首個預訓練模型，具備多語言處理能力，可理解和生成多種歐洲及其他相關語言的文本。其指令微調版本 EuroLLM-1.7B-Instruct 在機器翻譯等任務上表現出色，能為多語言處理場景提供強大支持。

🚀 快速開始

以下是使用 EuroLLM-1.7B 進行文本生成的示例代碼：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "utter-project/EuroLLM-1.7B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

text = "English: My name is EuroLLM. Portuguese:"

inputs = tokenizer(text, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

✨ 主要特性

• 多語言支持：支持保加利亞語、克羅地亞語、捷克語、丹麥語、荷蘭語、英語、愛沙尼亞語、芬蘭語、法語、德語、希臘語、匈牙利語、愛爾蘭語、意大利語、拉脫維亞語、立陶宛語、馬耳他語、波蘭語、葡萄牙語、羅馬尼亞語、斯洛伐克語、斯洛文尼亞語、西班牙語、瑞典語、阿拉伯語、加泰羅尼亞語、中文、加利西亞語、印地語、日語、韓語、挪威語、俄語、土耳其語和烏克蘭語等多種語言。
• 高效架構：採用標準的密集 Transformer 架構，使用分組查詢注意力（GQA）、預層歸一化、RMSNorm、SwiGLU 激活函數和旋轉位置嵌入（RoPE）等技術，在推理速度和下游任務性能之間取得平衡。
• 大規模訓練：在 4 萬億個標記上進行訓練，數據來源廣泛，包括網絡數據、平行數據和高質量數據集。
• 出色性能：在機器翻譯和通用基準測試中表現優異，與同類模型相比具有競爭力。

📦 安裝指南

文檔未提及具體安裝步驟，可參考 transformers 庫的官方文檔進行安裝。

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "utter-project/EuroLLM-1.7B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

text = "English: My name is EuroLLM. Portuguese:"

inputs = tokenizer(text, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

📚 詳細文檔

模型詳情

EuroLLM 項目旨在創建一套能夠理解和生成所有歐盟語言以及一些其他相關語言文本的大語言模型（LLM）。EuroLLM-1.7B 是一個具有 17 億參數的模型，在 4 萬億個標記上進行訓練，這些標記分佈在多種語言和多個數據源中，包括網絡數據、平行數據（英語 - 其他語言和其他語言 - 英語）和高質量數據集。EuroLLM-1.7B-Instruct 則在 EuroBlocks 上進行了進一步的指令微調，這是一個專注於通用指令遵循和機器翻譯的指令微調數據集。

模型描述

EuroLLM 使用標準的密集 Transformer 架構：

• 分組查詢注意力（GQA）：使用 8 個鍵值頭，在推理時提高速度，同時保持下游任務的性能。
• 預層歸一化：採用 RMSNorm 進行預層歸一化，提高訓練穩定性，且計算速度更快。
• SwiGLU 激活函數：在下游任務中表現良好。
• 旋轉位置嵌入（RoPE）：在每一層都使用 RoPE，在允許擴展上下文長度的同時，實現了良好的性能。

在預訓練過程中，使用了 Marenostrum 5 超級計算機的 256 個 Nvidia H100 GPU，以 3072 個序列的恆定批量大小（約 1200 萬個標記）訓練模型，使用 Adam 優化器和 BF16 精度。以下是模型超參數的總結：

結果

機器翻譯

在多個機器翻譯基準測試（FLORES-200、WMT-23 和 WMT-24）上對 EuroLLM-1.7B-Instruct 進行了評估，並與 Gemma-2B 和 Gemma-7B（也在 EuroBlocks 上進行了指令微調）進行了比較。結果表明，EuroLLM-1.7B 在機器翻譯方面明顯優於 Gemma-2B，並且與 Gemma-7B 具有競爭力。

FLORES-200

WMT-23

WMT-24

通用基準測試

還將 EuroLLM-1.7B 與 TinyLlama-v1.1 和 Gemma-2B 在 3 個通用基準測試（Arc Challenge 和 Hellaswag）上進行了比較。對於非英語語言，使用了 Okapi 數據集。結果顯示，EuroLLM-1.7B 在 Hellaswag 上優於 TinyLlama-v1.1，與 Gemma-2B 相當，但在 Arc Challenge 上表現不如 Gemma-2B。這可能是由於 EuroLLM-1.7B 的參數數量較少（非嵌入參數為 11.33 億，而 Gemma-2B 為 19.81 億）。

Arc Challenge

Hellaswag

🔧 技術細節

文檔中關於模型架構和訓練的技術細節已在“模型描述”部分詳細說明。

📄 許可證

本模型採用 Apache License 2.0 許可證。

⚠️ 重要提示

EuroLLM-1.7B 未針對人類偏好進行對齊，因此模型可能會生成有問題的輸出（例如，幻覺、有害內容或虛假陳述）。

論文

論文鏈接：EuroLLM: Multilingual Language Models for Europe