Llama 3.1 Tulu 3.1 8B

🚀 Llama-3.1-Tulu-3.1-8B

Tülu 3是领先的指令跟随模型家族，提供了一个包含完全开源数据、代码和配方的后训练包，旨在为现代技术提供全面的指导。这是训练完全开源模型这一更大进程中的一步，比如我们的OLMo模型。Tülu 3不仅在聊天方面表现出色，还在各种任务（如数学、GSM8K和IFEval）中达到了先进水平。

3.1版本更新：我们的Tülu模型新版本仅在最终的强化学习（RL）训练阶段有所改进。我们从近端策略优化（PPO）切换到广义近端策略优化（GRPO，无奖励模型），并进一步调整了超参数，与原始的Tülu 3 8B模型相比，在各方面都实现了显著的性能提升，如下方对比所示：

🚀 快速开始

使用HuggingFace加载模型

若要使用HuggingFace加载模型，请使用以下代码片段：

from transformers import AutoModelForCausalLM

tulu_model = AutoModelForCausalLM.from_pretrained("allenai/Llama-3.1-Tulu-3.1-8B")

使用VLLM服务模型

作为基于Llama的基础模型，该模型可以轻松通过以下命令进行服务：

vllm serve allenai/Llama-3.1-Tulu-3.1-8B

请注意，鉴于Llama的长聊天模板，你可能需要使用--max_model_len=8192。

聊天模板

我们模型的聊天模板格式如下：

<|user|>
How are you doing?
<|assistant|>
I'm just a computer program, so I don't have feelings, but I'm functioning as expected. How can I assist you today?<|endoftext|>

或者展开换行符后的形式：

<|user|>
How are you doing?
<|assistant|>
I'm just a computer program, so I don't have feelings, but I'm functioning as expected. How can I assist you today?<|endoftext|>

该模板也嵌入在分词器中，可用于tokenizer.apply_chat_template。

系统提示

在Allen Institute for AI的演示中，我们默认使用以下系统提示：

You are Tulu 3, a helpful and harmless AI Assistant built by the Allen Institute for AI.

该模型在训练时并未考虑特定的系统提示。

✨ 主要特性

• 多任务表现出色：Tülu 3不仅适用于聊天场景，还在数学、GSM8K和IFEval等多种任务中展现出先进性能。
• 版本更新优化：3.1版本在最终的强化学习训练阶段进行了改进，从PPO切换到GRPO并调整超参数，实现了全面的性能提升。

📚 详细文档

模型描述

模型来源

• 训练仓库：https://github.com/allenai/open-instruct
• 评估仓库：https://github.com/allenai/olmes
• 论文：https://arxiv.org/abs/2411.15124
• 演示：https://playground.allenai.org/

模型家族

偏差、风险和局限性

Tülu3模型的安全训练有限，且不像ChatGPT那样在响应中自动进行循环过滤，因此该模型可能会产生有问题的输出（特别是在被明确要求时）。此外，目前尚不清楚用于训练基础Llama 3.1模型的语料库的规模和组成，但很可能包含了网络数据以及书籍和代码等技术来源。可参考Falcon 180B模型卡片获取相关示例。

性能表现

注意：请参考论文的更新版本，以获取最新的、修正后的评估结果，这些结果提高了如Qwen 2.5 Instruct等模型的得分。

超参数设置

强化学习价值优化（RLVR）的GRPO设置如下：

• 学习率：5 × 10⁻⁷
• 折扣因子（gamma）：1.0
• 小批量数（N_mb）：2
• PPO风格更新迭代次数（K）：1
• 裁剪系数（epsilon）：0.2
• 梯度范数阈值：1.0
• 学习率调度：恒定
• 生成温度：1.0
• 每个提示的样本数：16
• 每次训练迭代的唯一提示数：48
• 有效批量大小：48 * 16 = 768
• 最大令牌长度：2,048
• 最大提示令牌长度：2,048
• 无结束符（EOS）响应的惩罚奖励值：0.0
• 响应长度：2,048
• 总回合数：10,000,000（实际检查点在第1474560回合）
• KL惩罚系数（beta）：0.01
• 预热比例（omega）：0.0

学习曲线

以下是Llama-3.1-Tulu-3.1-8B的训练曲线：

以下是Llama-3.1-Tulu-3.1-8B在各步骤的核心评估分数（注意，我们将步骤1920作为最终检查点，对应回合1,474,560）：

以下是Llama-3.1-Tulu-3.1-8B在各步骤的其他评估分数（代码评估存在错误，早期分数未显示）：

复现命令

# 克隆并检出提交
git clone https://github.com/allenai/open-instruct.git
git checkout 3f37c29ddc97d2c108a7658692d2d2c3708ef182

# 运行我的精确实验启动命令
for learning_rate in 5e-7; do
for beta in 0.01; do
for nspp in 16; do
for m in half-m ; do
for kl_estimator in kl3; do
local_rollout_batch_size=8
# `half-m` 等同于将小批量数设置为2。
if [ $m == "half-m" ]; then
    local_mini_batch_size=$(($local_rollout_batch_size * $nspp / 2))
else
    local_mini_batch_size=$(($local_rollout_batch_size * $nspp))
fi
exp_name="0204_lr_scan_grpo_math_lr_${learning_rate}_${kl_estimator}_${beta}_${nspp}_${m}_${RANDOM}"
echo $exp_name:
echo --- local_mini_batch_size=$local_mini_batch_size
echo --- num_gradient_updates=$(($local_rollout_batch_size * $nspp / $local_mini_batch_size))
python open_instruct/grpo_vllm_thread_ray_gtrl.py \
    --exp_name $exp_name \
    --beta $beta \
    --local_mini_batch_size $local_mini_batch_size \
    --number_samples_per_prompt $nspp \
    --output_dir output/$exp_name \
    --local_rollout_batch_size $local_rollout_batch_size \
    --kl_estimator $kl_estimator \
    --learning_rate $learning_rate \
    --dataset_mixer_list allenai/RLVR-GSM-MATH-IF-Mixed-Constraints 1.0 \
    --dataset_mixer_list_splits train \
    --dataset_mixer_eval_list allenai/RLVR-GSM-MATH-IF-Mixed-Constraints 16 \
    --dataset_mixer_eval_list_splits train \
    --max_token_length 2048 \
    --max_prompt_token_length 2048 \
    --response_length 2048 \
    --model_name_or_path allenai/Llama-3.1-Tulu-3-8B-DPO \
    --non_stop_penalty \
    --stop_token eos \
    --temperature 1.0 \
    --ground_truths_key ground_truth \
    --chat_template_name tulu \
    --sft_messages_key messages \
    --total_episodes 10000000 \
    --penalty_reward_value 0.0 \
    --deepspeed_stage 2 \
    --per_device_train_batch_size 2 \
    --local_rollout_forward_batch_size 2 \
    --actor_num_gpus_per_node 6 \
    --num_epochs 1 \
    --vllm_tensor_parallel_size 2 \
    --lr_scheduler_type constant \
    --apply_verifiable_reward true \
    --seed 1 \
    --num_evals 30 \
    --save_freq 40 \
    --reward_model_multiplier 0.0 \
    --gradient_checkpointing \
    --with_tracking
done
done
done
done
done

📄 许可证

所有Llama 3.1 Tülu3模型均根据Meta的Llama 3.1社区许可协议发布。Llama 3.1根据Llama 3.1社区许可证授权，版权所有 © Meta Platforms, Inc. Tülu3旨在用于研究和教育目的。如需更多信息，请参阅我们的负责任使用指南。

这些模型使用了包含第三方模型生成输出的混合数据集进行微调，并受其他附加条款的约束：Gemma使用条款和Qwen许可协议（模型使用Qwen 2.5进行了改进）。

🔖 引用

如果Tülu3或任何相关材料对你的工作有帮助，请引用：

@article{lambert2024tulu3,
  title = {Tülu 3: Pushing Frontiers in Open Language Model Post-Training},
  author = {
    Nathan Lambert and 
    Jacob Morrison and 
    Valentina Pyatkin and 
    Shengyi Huang and 
    Hamish Ivison and 
    Faeze Brahman and 
    Lester James V. Miranda and 
    Alisa Liu and 
    Nouha Dziri and 
    Shane Lyu and 
    Yuling Gu and 
    Saumya Malik and 
    Victoria Graf and 
    Jena D. Hwang and 
    Jiangjiang Yang and
    Ronan Le Bras and
    Oyvind Tafjord and
    Chris Wilhelm and
    Luca Soldaini and 
    Noah A. Smith and 
    Yizhong Wang and 
    Pradeep Dasigi and 
    Hannaneh Hajishirzi
  },
  year = {2024},
  email = {tulu@allenai.org}
}