ALMA 7B R

🚀 ALMA-R：基于对比偏好优化的翻译模型

ALMA-R 是在 ALMA 模型基础上进一步发展而来的翻译模型。它通过我们提出的对比偏好优化（Contrastive Preference Optimization, CPO）方法进行额外的 LoRA 微调，而非像 ALMA 模型那样采用监督微调。CPO 微调需要使用我们的 三元组偏好数据 进行偏好学习。目前，ALMA-R 在性能上已经能够与 GPT - 4 或 WMT 获奖模型相媲美，甚至超越它们！

📄 引用信息

@misc{xu2024contrastive,
      title={Contrastive Preference Optimization: Pushing the Boundaries of LLM Performance in Machine Translation}, 
      author={Haoran Xu and Amr Sharaf and Yunmo Chen and Weiting Tan and Lingfeng Shen and Benjamin Van Durme and Kenton Murray and Young Jin Kim},
      year={2024},
      eprint={2401.08417},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

@misc{xu2023paradigm,
      title={A Paradigm Shift in Machine Translation: Boosting Translation Performance of Large Language Models}, 
      author={Haoran Xu and Young Jin Kim and Amr Sharaf and Hany Hassan Awadalla},
      year={2023},
      eprint={2309.11674},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

🚀 下载 ALMA(-R) 模型和数据集

我们发布了论文中提到的六个翻译模型：

• ALMA - 7B
• ALMA - 7B - LoRA
• ALMA - 7B - R（新！）：在 ALMA - 7B - LoRA 基础上，通过对比偏好优化进行进一步的 LoRA 微调。
• ALMA - 13B
• ALMA - 13B - LoRA
• ALMA - 13B - R（新！）：在 ALMA - 13B - LoRA 基础上，通过对比偏好优化进行进一步的 LoRA 微调（最佳模型！）

模型检查点已在 Hugging Face 上发布：

请注意，ALMA - 7B - Pretrain 和 ALMA - 13B - Pretrain 并非翻译模型。它们仅经历了第一阶段的单语微调（7B 模型使用 200 亿个 token，13B 模型使用 120 亿个 token），需要与它们的 LoRA 模型结合使用。

ALMA 和 ALMA - R 使用的数据集也已在 Hugging Face 上发布（新！）：

💻 使用示例

基础用法

以下是使用我们的最佳模型（ALMA - 13B - R）进行翻译的快速入门示例，将“我爱机器翻译。”翻译成英语：

import torch
from transformers import AutoModelForCausalLM
from transformers import AutoTokenizer

# Load base model and LoRA weights
model = AutoModelForCausalLM.from_pretrained("haoranxu/ALMA-13B-R", torch_dtype=torch.float16, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("haoranxu/ALMA-13B-R", padding_side='left')

# Add the source sentence into the prompt template
prompt="Translate this from Chinese to English:\nChinese: 我爱机器翻译。\nEnglish:"
input_ids = tokenizer(prompt, return_tensors="pt", padding=True, max_length=40, truncation=True).input_ids.cuda()

# Translation
with torch.no_grad():
    generated_ids = model.generate(input_ids=input_ids, num_beams=5, max_new_tokens=20, do_sample=True, temperature=0.6, top_p=0.9)
outputs = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)
print(outputs)

更多详细信息请查看我们的 GitHub 仓库。

📄 许可证

本项目采用 MIT 许可证。