ALMA 13B Pretrain

🚀 ALMA (Advanced Language Model-based trAnslator)

ALMA（高度な言語モデルベースの翻訳器）は、大規模言語モデル（LLM）をベースとした翻訳モデルです。新しい翻訳モデルパラダイムを採用しており、単一言語データでのファインチューニングから始め、高品質な並列データを用いてさらに最適化されます。この二段階のファインチューニングプロセスにより、強力な翻訳性能が保証されます。 詳細については、論文をご覧ください。

@misc{xu2023paradigm,
      title={A Paradigm Shift in Machine Translation: Boosting Translation Performance of Large Language Models}, 
      author={Haoran Xu and Young Jin Kim and Amr Sharaf and Hany Hassan Awadalla},
      year={2023},
      eprint={2309.11674},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

ALMA-R (NEW!) がリリースされました！ ALMA-RはALMAモデルをベースに構築されており、ALMAで使用されている教師ありファインチューニングではなく、提案された対照的嗜好最適化（CPO） を用いてさらにLoRAファインチューニングが行われています。CPOファインチューニングには、嗜好学習のためにトリプレット嗜好データが必要です。ALMA-Rは現在、GPT - 4やWMTの優勝者と匹敵する、あるいはそれを上回る性能を発揮することができます！

@misc{xu2024contrastive,
      title={Contrastive Preference Optimization: Pushing the Boundaries of LLM Performance in Machine Translation}, 
      author={Haoran Xu and Amr Sharaf and Yunmo Chen and Weiting Tan and Lingfeng Shen and Benjamin Van Durme and Kenton Murray and Young Jin Kim},
      year={2024},
      eprint={2401.08417},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

✨ 主な機能

モデルのリリース

論文で提示された6つの翻訳モデルをリリースしています。

• ALMA-7B：LLaMA - 2 - 7Bを200億の単一言語トークンで全重みファインチューニングし、その後、人が書いた並列データで全重みファインチューニングを行います。
• ALMA-7B-LoRA：LLaMA - 2 - 7Bを200億の単一言語トークンで全重みファインチューニングし、その後、人が書いた並列データでLoRAファインチューニングを行います。
• ALMA-7B-R (NEW!)：ALMA - 7B - LoRAに対して、対照的嗜好最適化を用いてさらにLoRAファインチューニングを行います。
• ALMA-13B：LLaMA - 2 - 7Bを120億の単一言語トークンで全重みファインチューニングし、その後、人が書いた並列データで全重みファインチューニングを行います。
• ALMA-13B-LoRA (最良のシステム)：LLaMA - 2 - 7Bを120億の単一言語トークンで全重みファインチューニングし、その後、人が書いた並列データでLoRAファインチューニングを行います。
• ALMA-13B-R (NEW!)：ALMA - 13B - LoRAに対して、対照的嗜好最適化を用いてさらにLoRAファインチューニングを行います。

モデルチェックポイント

モデルチェックポイントはhuggingfaceで公開されています。

データセットのリリース

ALMAとALMA - Rで使用されるデータセットもhuggingfaceで公開されています（NEW!）。

注意事項

ALMA-7B-Pretrain と ALMA-13B-Pretrain は翻訳モデルではありません。これらは第1段階の単一言語ファインチューニング（7Bモデルには200億トークン、13Bモデルには120億トークン）のみを経験しており、LoRAモデルと組み合わせて利用する必要があります。

💻 使用例

基本的な使用法

システムALMA - 13B - LoRAを使用した翻訳のクイックスタートです。「我爱机器翻译。」を英語に翻訳する例です。

import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM
from transformers import LlamaTokenizer

# Load base model and LoRA weights
model = AutoModelForCausalLM.from_pretrained("haoranxu/ALMA-13B-Pretrain", torch_dtype=torch.float16, device_map="auto")
model = PeftModel.from_pretrained(model, "haoranxu/ALMA-13B-Pretrain-LoRA")
tokenizer = LlamaTokenizer.from_pretrained("haoranxu/ALMA-13B-Pretrain", padding_side='left')

# Add the source setence into the prompt template
prompt="Translate this from Chinese to English:\nChinese: 我爱机器翻译。\nEnglish:"
input_ids = tokenizer(prompt, return_tensors="pt", padding=True, max_length=40, truncation=True).input_ids.cuda()

# Translation
with torch.no_grad():
    generated_ids = model.generate(input_ids=input_ids, num_beams=5, max_new_tokens=20, do_sample=True, temperature=0.6, top_p=0.9)
outputs = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)
print(outputs)

📚 ドキュメント

詳細については、GitHubリポジトリをご覧ください。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。