Lamate

🚀 LaMaTE

LaMaTE是一個高性能且高效的翻譯模型，它基於大型語言模型構建，能有效提升翻譯效率並降低內存消耗，在多種翻譯任務中表現出色。

🚀 快速開始

如需更詳細的使用說明，請參考 github

⚠️ 重要提示

我們的實現是基於transformers v4.39.2開發的。為獲得最佳兼容性，建議安裝此版本。

要部署LaMaTE，可使用 from_pretrained() 方法，然後使用 generate() 方法即可立即使用：

from modeling_llama_seq2seq import LlamaCrossAttentionEncDec
from transformers import AutoTokenizer, AutoConfig

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)
config = AutoConfig.from_pretrained(model_name_or_path, trust_remote_code=True)
model = LlamaCrossAttentionEncDec.from_pretrained(model_name_or_path, config=config)

prompt = "Translate the following text from English into Chinese.\nEnglish: The harder you work at it, the more progress you will make.\nChinese: ",
input_ids = tokenizer(prompt, return_tensors="pt")
outputs_tokenized = model.generate(
    **input_ids,
    num_beams=5,
    do_sample=False
)
outputs = tokenizer.batch_decode(outputs_tokenized, skip_special_tokens=True)
print(outputs) 

✨ 主要特性

• 效率提升：解碼速度提升2.4倍至6.5倍。
• 內存使用降低：將KV緩存內存消耗降低75%。
• 性能出色：在各種翻譯任務中都展現出強大的性能。

📚 詳細文檔

模型描述

LaMaTE是一個基於Llama - 3 - 8B開發的高性能、高效的翻譯模型。它利用大語言模型（LLMs）作為機器翻譯（MT）的編碼器，並搭配輕量級的解碼器。該模型集成了一個適配器，用於將大語言模型的表示與解碼器連接起來，並採用兩階段訓練策略來提升性能和效率。

引用信息

@misc{luoyf2025lamate,
      title={Beyond Decoder-only: Large Language Models Can be Good Encoders for Machine Translation}, 
      author={Yingfeng Luo, Tong Zheng, Yongyu Mu, Bei Li, Qinghong Zhang, Yongqi Gao, Ziqiang Xu, Peinan Feng, Xiaoqian Liu, Tong Xiao, Jingbo Zhu},
      year={2025},
      eprint={2503.06594},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 許可證

本項目採用MIT許可證。

📦 模型信息