Llama 3.3 70B Vulpecula R1

🚀 🦊 L3.3-70B-Vulpecula 🌸

这是一个由 GradientPutri 和 Sao10K 合作的项目。过去几周，我们满怀热情地投入其中，希望大家会喜欢它。尽管可能存在一些小问题，但最终的成果很不错，能输出令人满意的结果，这也是我们的主要目标。模型卡片由 GradientPutri 制作。

🚀 快速开始

本模型基于 Meta 的 Llama 3.3，使用时需遵循 Llama 3.3 社区许可协议 和 可接受使用政策。

✨ 主要特性

• 🌟 这是一个受 Deepseek - R1 启发的基于思考的模型，通过 SFT 和少量 RL 在创意写作数据上进行训练。
• 🧠 可以在助手回复前加上 <think>\n 来激活思考模式，不过即使不使用思考模式，模型也能很好地工作。
• 🚀 相较于基础模型，提升了可控性、指令角色扮演能力和创意控制能力。

📚 详细文档

📚 数据集组成

• 👾 重新制作、清理和过滤了半合成的聊天/角色扮演数据集，去除了重复内容，保证了质量和输出效果。
• 🎭 对基于人类的自然聊天/角色扮演数据集进行了清理、过滤和质量检查。
• 📝 从几个不同的大语言模型中收集了多样化的指令数据集，并清理和过滤了拒绝回复和低质量内容。
• 💭 从 Deepseek - R1 中提取了用于指令、聊天和创意任务的推理痕迹，并进行了质量过滤和清理。
• █▓▒ 本项目不需要毒性/去审查数据，模型本身已经具有足够的开放性。

总令牌数：约 2.7 亿令牌（2.1 亿可训练），训练超过 2 个周期。

🎨 格式和采样器

指令格式：Llama - 3 - Instruct

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>

{input}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

{output}<|eot_id|>
---
Note that newlines are represented within example above

✨ 采样器推荐

temperature: 0.75
min_p: 0.1
Repetition Penalty: 1.1
Presence Penalty: 1.1

⚙️ 训练细节

# Iterations
num_epochs: 2

# Batching - Global Batch 4x GPUs × Batch 2 × 4 Grad_accum = 32
gradient_accumulation_steps: 4
micro_batch_size: 2

# Optimizer
optimizer: paged_ademamix_8bit
lr_scheduler: cosine
learning_rate: 0.00002
max_grad_norm: 1
weight_decay: 0.01

📄 许可证

本模型使用 llama3.3 许可证。

⚠️ 重要提示

虽然我们无法禁止商业使用，但请注意，这是一个使用我们自己的资源、时间和精力完成的项目。我们不希望未来在进行项目模型开发时受到打击。我们恳请商业用户在部署前与我们联系，讨论使用方式和适当的归属问题。我们感谢那些通过告知我们工作的使用情况来帮助维护人工智能生态系统透明度的用户。对于任何合并或衍生作品，也希望能如此。