Lamate

🚀 LaMaTE

LaMaTEは、高性能かつ効率的な翻訳モデルです。Llama-3-8Bをベースに開発され、大規模言語モデル（LLM）を機械翻訳（MT）のエンコーダーとして利用し、軽量なデコーダーと組み合わせています。アダプターを統合することで、LLMの表現とデコーダーを橋渡しし、二段階のトレーニング戦略を採用して性能と効率を向上させています。

🚀 クイックスタート

より詳細な使い方については、githubを参照してください。

⚠️ 重要提示

当社の実装はtransformers v4.39.2で開発されています。互換性を最大限にするために、このバージョンをインストールすることをお勧めします。

LaMaTEをデプロイするには、from_pretrained()メソッドを使用してから、generate()メソッドを使用してすぐに使用できます。

from modeling_llama_seq2seq import LlamaCrossAttentionEncDec
from transformers import AutoTokenizer, AutoConfig

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)
config = AutoConfig.from_pretrained(model_name_or_path, trust_remote_code=True)
model = LlamaCrossAttentionEncDec.from_pretrained(model_name_or_path, config=config)

prompt = "Translate the following text from English into Chinese.\nEnglish: The harder you work at it, the more progress you will make.\nChinese: ",
input_ids = tokenizer(prompt, return_tensors="pt")
outputs_tokenized = model.generate(
    **input_ids,
    num_beams=5,
    do_sample=False
)
outputs = tokenizer.batch_decode(outputs_tokenized, skip_special_tokens=True)
print(outputs) 

✨ 主な機能

• 効率向上：2.4倍から6.5倍の高速デコード速度を提供します。
• メモリ使用量削減：KVキャッシュのメモリ消費を75％削減します。
• 高い性能：様々な翻訳タスクで堅牢な性能を発揮します。

📚 ドキュメント

モデル情報

参考引用

@misc{luoyf2025lamate,
      title={Beyond Decoder-only: Large Language Models Can be Good Encoders for Machine Translation}, 
      author={Yingfeng Luo, Tong Zheng, Yongyu Mu, Bei Li, Qinghong Zhang, Yongqi Gao, Ziqiang Xu, Peinan Feng, Xiaoqian Liu, Tong Xiao, Jingbo Zhu},
      year={2025},
      eprint={2503.06594},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。