ALMA 7B R

🚀 ALMA-R：基於對比偏好優化的翻譯模型

ALMA-R 是在 ALMA 模型基礎上進一步發展而來的翻譯模型。它通過我們提出的對比偏好優化（Contrastive Preference Optimization, CPO）方法進行額外的 LoRA 微調，而非像 ALMA 模型那樣採用監督微調。CPO 微調需要使用我們的 三元組偏好數據 進行偏好學習。目前，ALMA-R 在性能上已經能夠與 GPT - 4 或 WMT 獲獎模型相媲美，甚至超越它們！

📄 引用信息

@misc{xu2024contrastive,
      title={Contrastive Preference Optimization: Pushing the Boundaries of LLM Performance in Machine Translation}, 
      author={Haoran Xu and Amr Sharaf and Yunmo Chen and Weiting Tan and Lingfeng Shen and Benjamin Van Durme and Kenton Murray and Young Jin Kim},
      year={2024},
      eprint={2401.08417},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

@misc{xu2023paradigm,
      title={A Paradigm Shift in Machine Translation: Boosting Translation Performance of Large Language Models}, 
      author={Haoran Xu and Young Jin Kim and Amr Sharaf and Hany Hassan Awadalla},
      year={2023},
      eprint={2309.11674},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

🚀 下載 ALMA(-R) 模型和數據集

我們發佈了論文中提到的六個翻譯模型：

• ALMA - 7B
• ALMA - 7B - LoRA
• ALMA - 7B - R（新！）：在 ALMA - 7B - LoRA 基礎上，通過對比偏好優化進行進一步的 LoRA 微調。
• ALMA - 13B
• ALMA - 13B - LoRA
• ALMA - 13B - R（新！）：在 ALMA - 13B - LoRA 基礎上，通過對比偏好優化進行進一步的 LoRA 微調（最佳模型！）

模型檢查點已在 Hugging Face 上發佈：

請注意，ALMA - 7B - Pretrain 和 ALMA - 13B - Pretrain 並非翻譯模型。它們僅經歷了第一階段的單語微調（7B 模型使用 200 億個 token，13B 模型使用 120 億個 token），需要與它們的 LoRA 模型結合使用。

ALMA 和 ALMA - R 使用的數據集也已在 Hugging Face 上發佈（新！）：

💻 使用示例

基礎用法

以下是使用我們的最佳模型（ALMA - 13B - R）進行翻譯的快速入門示例，將“我愛機器翻譯。”翻譯成英語：

import torch
from transformers import AutoModelForCausalLM
from transformers import AutoTokenizer

# Load base model and LoRA weights
model = AutoModelForCausalLM.from_pretrained("haoranxu/ALMA-13B-R", torch_dtype=torch.float16, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("haoranxu/ALMA-13B-R", padding_side='left')

# Add the source sentence into the prompt template
prompt="Translate this from Chinese to English:\nChinese: 我愛機器翻譯。\nEnglish:"
input_ids = tokenizer(prompt, return_tensors="pt", padding=True, max_length=40, truncation=True).input_ids.cuda()

# Translation
with torch.no_grad():
    generated_ids = model.generate(input_ids=input_ids, num_beams=5, max_new_tokens=20, do_sample=True, temperature=0.6, top_p=0.9)
outputs = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)
print(outputs)

更多詳細信息請查看我們的 GitHub 倉庫。

📄 許可證

本項目採用 MIT 許可證。