Llama 3.1 Tulu 3.1 8B

🚀 Llama-3.1-Tulu-3.1-8B

Tülu 3是領先的指令跟隨模型家族，提供了一個包含完全開源數據、代碼和配方的後訓練包，旨在為現代技術提供全面的指導。這是訓練完全開源模型這一更大進程中的一步，比如我們的OLMo模型。Tülu 3不僅在聊天方面表現出色，還在各種任務（如數學、GSM8K和IFEval）中達到了先進水平。

3.1版本更新：我們的Tülu模型新版本僅在最終的強化學習（RL）訓練階段有所改進。我們從近端策略優化（PPO）切換到廣義近端策略優化（GRPO，無獎勵模型），並進一步調整了超參數，與原始的Tülu 3 8B模型相比，在各方面都實現了顯著的性能提升，如下方對比所示：

🚀 快速開始

使用HuggingFace加載模型

若要使用HuggingFace加載模型，請使用以下代碼片段：

from transformers import AutoModelForCausalLM

tulu_model = AutoModelForCausalLM.from_pretrained("allenai/Llama-3.1-Tulu-3.1-8B")

使用VLLM服務模型

作為基於Llama的基礎模型，該模型可以輕鬆通過以下命令進行服務：

vllm serve allenai/Llama-3.1-Tulu-3.1-8B

請注意，鑑於Llama的長聊天模板，你可能需要使用--max_model_len=8192。

聊天模板

我們模型的聊天模板格式如下：

<|user|>
How are you doing?
<|assistant|>
I'm just a computer program, so I don't have feelings, but I'm functioning as expected. How can I assist you today?<|endoftext|>

或者展開換行符後的形式：

<|user|>
How are you doing?
<|assistant|>
I'm just a computer program, so I don't have feelings, but I'm functioning as expected. How can I assist you today?<|endoftext|>

該模板也嵌入在分詞器中，可用於tokenizer.apply_chat_template。

系統提示

在Allen Institute for AI的演示中，我們默認使用以下系統提示：

You are Tulu 3, a helpful and harmless AI Assistant built by the Allen Institute for AI.

該模型在訓練時並未考慮特定的系統提示。

✨ 主要特性

• 多任務表現出色：Tülu 3不僅適用於聊天場景，還在數學、GSM8K和IFEval等多種任務中展現出先進性能。
• 版本更新優化：3.1版本在最終的強化學習訓練階段進行了改進，從PPO切換到GRPO並調整超參數，實現了全面的性能提升。

📚 詳細文檔

模型描述

模型來源

• 訓練倉庫：https://github.com/allenai/open-instruct
• 評估倉庫：https://github.com/allenai/olmes
• 論文：https://arxiv.org/abs/2411.15124
• 演示：https://playground.allenai.org/

模型家族

偏差、風險和侷限性

Tülu3模型的安全訓練有限，且不像ChatGPT那樣在響應中自動進行循環過濾，因此該模型可能會產生有問題的輸出（特別是在被明確要求時）。此外，目前尚不清楚用於訓練基礎Llama 3.1模型的語料庫的規模和組成，但很可能包含了網絡數據以及書籍和代碼等技術來源。可參考Falcon 180B模型卡片獲取相關示例。

性能表現

注意：請參考論文的更新版本，以獲取最新的、修正後的評估結果，這些結果提高了如Qwen 2.5 Instruct等模型的得分。

超參數設置

強化學習價值優化（RLVR）的GRPO設置如下：

• 學習率：5 × 10⁻⁷
• 折扣因子（gamma）：1.0
• 小批量數（N_mb）：2
• PPO風格更新迭代次數（K）：1
• 裁剪係數（epsilon）：0.2
• 梯度範數閾值：1.0
• 學習率調度：恆定
• 生成溫度：1.0
• 每個提示的樣本數：16
• 每次訓練迭代的唯一提示數：48
• 有效批量大小：48 * 16 = 768
• 最大令牌長度：2,048
• 最大提示令牌長度：2,048
• 無結束符（EOS）響應的懲罰獎勵值：0.0
• 響應長度：2,048
• 總回合數：10,000,000（實際檢查點在第1474560回合）
• KL懲罰係數（beta）：0.01
• 預熱比例（omega）：0.0

學習曲線

以下是Llama-3.1-Tulu-3.1-8B的訓練曲線：

以下是Llama-3.1-Tulu-3.1-8B在各步驟的核心評估分數（注意，我們將步驟1920作為最終檢查點，對應回合1,474,560）：

以下是Llama-3.1-Tulu-3.1-8B在各步驟的其他評估分數（代碼評估存在錯誤，早期分數未顯示）：

復現命令

# 克隆並檢出提交
git clone https://github.com/allenai/open-instruct.git
git checkout 3f37c29ddc97d2c108a7658692d2d2c3708ef182

# 運行我的精確實驗啟動命令
for learning_rate in 5e-7; do
for beta in 0.01; do
for nspp in 16; do
for m in half-m ; do
for kl_estimator in kl3; do
local_rollout_batch_size=8
# `half-m` 等同於將小批量數設置為2。
if [ $m == "half-m" ]; then
    local_mini_batch_size=$(($local_rollout_batch_size * $nspp / 2))
else
    local_mini_batch_size=$(($local_rollout_batch_size * $nspp))
fi
exp_name="0204_lr_scan_grpo_math_lr_${learning_rate}_${kl_estimator}_${beta}_${nspp}_${m}_${RANDOM}"
echo $exp_name:
echo --- local_mini_batch_size=$local_mini_batch_size
echo --- num_gradient_updates=$(($local_rollout_batch_size * $nspp / $local_mini_batch_size))
python open_instruct/grpo_vllm_thread_ray_gtrl.py \
    --exp_name $exp_name \
    --beta $beta \
    --local_mini_batch_size $local_mini_batch_size \
    --number_samples_per_prompt $nspp \
    --output_dir output/$exp_name \
    --local_rollout_batch_size $local_rollout_batch_size \
    --kl_estimator $kl_estimator \
    --learning_rate $learning_rate \
    --dataset_mixer_list allenai/RLVR-GSM-MATH-IF-Mixed-Constraints 1.0 \
    --dataset_mixer_list_splits train \
    --dataset_mixer_eval_list allenai/RLVR-GSM-MATH-IF-Mixed-Constraints 16 \
    --dataset_mixer_eval_list_splits train \
    --max_token_length 2048 \
    --max_prompt_token_length 2048 \
    --response_length 2048 \
    --model_name_or_path allenai/Llama-3.1-Tulu-3-8B-DPO \
    --non_stop_penalty \
    --stop_token eos \
    --temperature 1.0 \
    --ground_truths_key ground_truth \
    --chat_template_name tulu \
    --sft_messages_key messages \
    --total_episodes 10000000 \
    --penalty_reward_value 0.0 \
    --deepspeed_stage 2 \
    --per_device_train_batch_size 2 \
    --local_rollout_forward_batch_size 2 \
    --actor_num_gpus_per_node 6 \
    --num_epochs 1 \
    --vllm_tensor_parallel_size 2 \
    --lr_scheduler_type constant \
    --apply_verifiable_reward true \
    --seed 1 \
    --num_evals 30 \
    --save_freq 40 \
    --reward_model_multiplier 0.0 \
    --gradient_checkpointing \
    --with_tracking
done
done
done
done
done

📄 許可證

所有Llama 3.1 Tülu3模型均根據Meta的Llama 3.1社區許可協議發佈。Llama 3.1根據Llama 3.1社區許可證授權，版權所有 © Meta Platforms, Inc. Tülu3旨在用於研究和教育目的。如需更多信息，請參閱我們的負責任使用指南。

這些模型使用了包含第三方模型生成輸出的混合數據集進行微調，並受其他附加條款的約束：Gemma使用條款和Qwen許可協議（模型使用Qwen 2.5進行了改進）。

🔖 引用

如果Tülu3或任何相關材料對你的工作有幫助，請引用：

@article{lambert2024tulu3,
  title = {Tülu 3: Pushing Frontiers in Open Language Model Post-Training},
  author = {
    Nathan Lambert and 
    Jacob Morrison and 
    Valentina Pyatkin and 
    Shengyi Huang and 
    Hamish Ivison and 
    Faeze Brahman and 
    Lester James V. Miranda and 
    Alisa Liu and 
    Nouha Dziri and 
    Shane Lyu and 
    Yuling Gu and 
    Saumya Malik and 
    Victoria Graf and 
    Jena D. Hwang and 
    Jiangjiang Yang and
    Ronan Le Bras and
    Oyvind Tafjord and
    Chris Wilhelm and
    Luca Soldaini and 
    Noah A. Smith and 
    Yizhong Wang and 
    Pradeep Dasigi and 
    Hannaneh Hajishirzi
  },
  year = {2024},
  email = {tulu@allenai.org}
}