Lamate

🚀 LaMaTE

LaMaTE是一个高性能且高效的翻译模型，它基于大型语言模型构建，能有效提升翻译效率并降低内存消耗，在多种翻译任务中表现出色。

🚀 快速开始

如需更详细的使用说明，请参考 github

⚠️ 重要提示

我们的实现是基于transformers v4.39.2开发的。为获得最佳兼容性，建议安装此版本。

要部署LaMaTE，可使用 from_pretrained() 方法，然后使用 generate() 方法即可立即使用：

from modeling_llama_seq2seq import LlamaCrossAttentionEncDec
from transformers import AutoTokenizer, AutoConfig

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)
config = AutoConfig.from_pretrained(model_name_or_path, trust_remote_code=True)
model = LlamaCrossAttentionEncDec.from_pretrained(model_name_or_path, config=config)

prompt = "Translate the following text from English into Chinese.\nEnglish: The harder you work at it, the more progress you will make.\nChinese: ",
input_ids = tokenizer(prompt, return_tensors="pt")
outputs_tokenized = model.generate(
    **input_ids,
    num_beams=5,
    do_sample=False
)
outputs = tokenizer.batch_decode(outputs_tokenized, skip_special_tokens=True)
print(outputs) 

✨ 主要特性

• 效率提升：解码速度提升2.4倍至6.5倍。
• 内存使用降低：将KV缓存内存消耗降低75%。
• 性能出色：在各种翻译任务中都展现出强大的性能。

📚 详细文档

模型描述

LaMaTE是一个基于Llama - 3 - 8B开发的高性能、高效的翻译模型。它利用大语言模型（LLMs）作为机器翻译（MT）的编码器，并搭配轻量级的解码器。该模型集成了一个适配器，用于将大语言模型的表示与解码器连接起来，并采用两阶段训练策略来提升性能和效率。

引用信息

@misc{luoyf2025lamate,
      title={Beyond Decoder-only: Large Language Models Can be Good Encoders for Machine Translation}, 
      author={Yingfeng Luo, Tong Zheng, Yongyu Mu, Bei Li, Qinghong Zhang, Yongqi Gao, Ziqiang Xu, Peinan Feng, Xiaoqian Liu, Tong Xiao, Jingbo Zhu},
      year={2025},
      eprint={2503.06594},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 许可证

本项目采用MIT许可证。

📦 模型信息