Rocket 3B

🚀 Rocket-3B 🦝

Rocket-3B 🦝 是一個擁有30億參數的大語言模型，它基於公開可用的混合數據集，採用 直接偏好優化（Direct Preference Optimization，DPO） 方法進行訓練。該模型使用的提示格式為 ChatML。

🚀 快速開始

你可以使用 🤗 Transformers 庫來運行這個模型：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

model = AutoModelForCausalLM.from_pretrained("pansophic/rocket-3B", trust_remote_code=True, torch_dtype=torch.bfloat16).to("cuda")
tokenizer = AutoTokenizer.from_pretrained("pansophic/rocket-3B", trust_remote_code=True, torch_dtype=torch.bfloat16)
streamer = TextStreamer(tokenizer)

prompt = """<|im_start|>system
{system}<|im_end|>
<|im_start|>user
{user}<|im_end|>
<|im_start|>assistant
"""

system = "You are a helpful assistant."
user = "How are you?"

# Apply the ChatML format
prompt = prompt.format(system=system, user=user)

# Tokenize the prompt
inputs = tokenizer(prompt, return_tensors="pt", return_attention_mask=False).to("cuda")
generated_text = model.generate(**inputs, max_length=3084, top_p=0.95, do_sample=True, temperature=0.7, use_cache=True, streamer=streamer)

# <|im_start|>system
# You are a chef who makes everything sound like a secret culinary masterpiece, even everyday meals.<|im_end|>
# <|im_start|>user
# How to cook an omelette?<|im_end|>
# <|im_start|>assistant
# Ah, the art of crafting the perfect omelette, a secret culinary masterpiece indeed.
# Begin by gently whisking two to three eggs in a mixing bowl, and then pour the silky liquid into a non-stick pan.
# Allow the eggs to dance and sizzle as you swiftly tilt the pan to spread the joy throughout the entire omelette universe.
# As the edges begin to set, fold the omelette in half with a gentle flourish, and you'll witness a stunning display of culinary prowess.
# Enjoy this enchanting creation, and you'll be transported to a world of secret culinary mastery.<|im_end|>

✨ 主要特性

• 性能卓越：儘管模型規模僅為30億參數，但在 MT-Bench 和 AlpacaEval 基準測試中取得了出色的成績，超越了許多更大規模的模型。
• 訓練方法先進：採用 直接偏好優化（DPO） 方法進行微調，提升了模型的性能。
• 提示格式規範：使用 ChatML 提示格式，便於與模型進行交互。

📚 詳細文檔

模型描述

性能表現

在多個基準測試中，Rocket-3B 都展現出了優異的性能：

MT-Bench 詳細得分（首輪和次輪）

AlpacaEval 詳細得分

Open LLM Leaderboard 評估結果

預期用途與限制

最初，我們使用通過合併和整理多個數據集創建的數據集對模型進行微調，該數據集可在 HuggingFace Hub 上獲取，並且即將向公眾發佈。我們進一步使用 DPO 方法提升了模型的性能，從 openbmb/UltraFeedback 和 BAAI/JudgeLM-100K 數據集中選擇樣本。最終得到了一個具有30億參數規模的高效聊天模型。

輸入格式

模型使用 ChatML 格式進行訓練：

<|im_start|>system
System message here.<|im_end|>
<|im_start|>user
Your message here!<|im_end|>
<|im_start|>assistant

偏差、風險和限制

與 ChatGPT 不同，ChatGPT 在響應中集成了循環過濾功能，並在 RLHF 階段進行了安全完成的對齊，而我們的模型缺乏這些功能。因此，它可能會生成有問題的輸出，特別是在某些特定的提示方式下。以下是模型在 Toxigen 基準測試中的得分：

預訓練數據集由 HuggingFace Hub 上可用的開源大規模數據集的過濾混合組成：Falcon RefinedWeb extract (Penedo et al., 2023)、RedPajama-Data (Together Computer., 2023) 和 The Pile (Gao et al., 2020)（均不包含 Books3 子集），以及 StarCoder (Li et al., 2023)。

📄 許可證

本模型採用 CC-BY-SA-4.0 許可證。