Eurollm 1.7B Instruct

🚀 EuroLLM-1.7B-Instruct

EuroLLM-1.7B-Instruct是EuroLLM系列的首個指令微調模型，具備多語言處理能力，可理解和生成多種歐洲及其他相關語言的文本，在機器翻譯等任務上表現出色。

🚀 快速開始

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "utter-project/EuroLLM-1.7B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

text = '<|im_start|>system\n<|im_end|>\n<|im_start|>user\nTranslate the following English source text to Portuguese:\nEnglish: I am a language model for european languages. \nPortuguese: <|im_end|>\n<|im_start|>assistant\n'

inputs = tokenizer(text, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

✨ 主要特性

• 多語言支持：支持保加利亞語、克羅地亞語、捷克語、丹麥語、荷蘭語、英語、愛沙尼亞語、芬蘭語、法語、德語、希臘語、匈牙利語、愛爾蘭語、意大利語、拉脫維亞語、立陶宛語、馬耳他語、波蘭語、葡萄牙語、羅馬尼亞語、斯洛伐克語、斯洛文尼亞語、西班牙語、瑞典語、阿拉伯語、加泰羅尼亞語、中文、加利西亞語、印地語、日語、韓語、挪威語、俄語、土耳其語和烏克蘭語等多種語言。
• 指令微調：在EuroBlocks指令微調數據集上進行了進一步微調，專注於通用指令遵循和機器翻譯。
• 高性能表現：在機器翻譯和通用基準測試中，與其他模型相比具有競爭力。

📦 安裝指南

文檔未提及具體安裝步驟，可參考transformers庫的官方文檔進行安裝。

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "utter-project/EuroLLM-1.7B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

text = '<|im_start|>system\n<|im_end|>\n<|im_start|>user\nTranslate the following English source text to Portuguese:\nEnglish: I am a language model for european languages. \nPortuguese: <|im_end|>\n<|im_start|>assistant\n'

inputs = tokenizer(text, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

📚 詳細文檔

模型詳情

EuroLLM項目旨在創建一套能夠理解和生成所有歐盟語言以及一些其他相關語言文本的大語言模型。EuroLLM-1.7B是一個具有17億參數的模型，在4萬億個標記上進行訓練，這些標記分佈在多種語言和多個數據源中，包括網絡數據、平行數據（英語與其他語言互譯）和高質量數據集。EuroLLM-1.7B-Instruct在EuroBlocks指令微調數據集上進行了進一步的指令微調，該數據集專注於通用指令遵循和機器翻譯。

模型描述

EuroLLM使用標準的密集Transformer架構：

• 分組查詢注意力（GQA）：使用8個鍵值頭，在推理時提高速度，同時保持下游任務的性能。
• 預層歸一化：採用RMSNorm，提高訓練穩定性且速度更快。
• SwiGLU激活函數：在下游任務中表現良好。
• 旋轉位置嵌入（RoPE）：在每一層都使用，在允許擴展上下文長度的同時表現出色。

預訓練時，使用Marenostrum 5超級計算機的256個Nvidia H100 GPU，以恆定的3072個序列的批量大小訓練模型，對應約1200萬個標記，使用Adam優化器和BF16精度。以下是模型超參數的總結：

結果

機器翻譯

在多個機器翻譯基準測試（FLORES-200、WMT-23和WMT-24）中評估EuroLLM-1.7B-Instruct，並與Gemma-2B和Gemma-7B（也在EuroBlocks上進行了指令微調）進行比較。結果表明，EuroLLM-1.7B在機器翻譯方面明顯優於Gemma-2B，並且與Gemma-7B具有競爭力。

FLORES-200測試結果

WMT-23測試結果

WMT-24測試結果

通用基準測試

在3個通用基準測試（Arc Challenge和Hellaswag）中，將EuroLLM-1.7B與TinyLlama-v1.1和Gemma-2B進行比較。對於非英語語言，使用Okapi數據集。結果顯示，EuroLLM-1.7B在Hellaswag測試中優於TinyLlama-v1.1，與Gemma-2B表現相似，但在Arc Challenge測試中表現較差，這可能是由於EuroLLM-1.7B的參數數量較少（11.33億非嵌入參數，而TinyLlama-v1.1為19.81億）。

Arc Challenge測試結果

Hellaswag測試結果

偏差、風險和侷限性

EuroLLM-1.7B-Instruct未進行人類偏好對齊，因此模型可能會生成有問題的輸出（例如，幻覺內容、有害內容或虛假陳述）。

論文

論文鏈接：EuroLLM: Multilingual Language Models for Europe

🔧 技術細節

模型架構

EuroLLM使用標準的密集Transformer架構，採用分組查詢注意力（GQA）、預層歸一化（RMSNorm）、SwiGLU激活函數和旋轉位置嵌入（RoPE）等技術，以提高模型的性能和訓練穩定性。

訓練設置

預訓練時，使用Marenostrum 5超級計算機的256個Nvidia H100 GPU，以恆定的3072個序列的批量大小訓練模型，對應約1200萬個標記，使用Adam優化器和BF16精度。

📄 許可證

本模型採用Apache License 2.0許可證。