Llama 3.3 70B Vulpecula R1

🚀 🦊 L3.3-70B-Vulpecula 🌸

這是一個由 GradientPutri 和 Sao10K 合作的項目。過去幾周，我們滿懷熱情地投入其中，希望大家會喜歡它。儘管可能存在一些小問題，但最終的成果很不錯，能輸出令人滿意的結果，這也是我們的主要目標。模型卡片由 GradientPutri 製作。

🚀 快速開始

本模型基於 Meta 的 Llama 3.3，使用時需遵循 Llama 3.3 社區許可協議 和 可接受使用政策。

✨ 主要特性

• 🌟 這是一個受 Deepseek - R1 啟發的基於思考的模型，通過 SFT 和少量 RL 在創意寫作數據上進行訓練。
• 🧠 可以在助手回覆前加上 <think>\n 來激活思考模式，不過即使不使用思考模式，模型也能很好地工作。
• 🚀 相較於基礎模型，提升了可控性、指令角色扮演能力和創意控制能力。

📚 詳細文檔

📚 數據集組成

• 👾 重新制作、清理和過濾了半合成的聊天/角色扮演數據集，去除了重複內容，保證了質量和輸出效果。
• 🎭 對基於人類的自然聊天/角色扮演數據集進行了清理、過濾和質量檢查。
• 📝 從幾個不同的大語言模型中收集了多樣化的指令數據集，並清理和過濾了拒絕回覆和低質量內容。
• 💭 從 Deepseek - R1 中提取了用於指令、聊天和創意任務的推理痕跡，並進行了質量過濾和清理。
• █▓▒ 本項目不需要毒性/去審查數據，模型本身已經具有足夠的開放性。

總令牌數：約 2.7 億令牌（2.1 億可訓練），訓練超過 2 個週期。

🎨 格式和採樣器

指令格式：Llama - 3 - Instruct

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>

{input}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

{output}<|eot_id|>
---
Note that newlines are represented within example above

✨ 採樣器推薦

temperature: 0.75
min_p: 0.1
Repetition Penalty: 1.1
Presence Penalty: 1.1

⚙️ 訓練細節

# Iterations
num_epochs: 2

# Batching - Global Batch 4x GPUs × Batch 2 × 4 Grad_accum = 32
gradient_accumulation_steps: 4
micro_batch_size: 2

# Optimizer
optimizer: paged_ademamix_8bit
lr_scheduler: cosine
learning_rate: 0.00002
max_grad_norm: 1
weight_decay: 0.01

📄 許可證

本模型使用 llama3.3 許可證。

⚠️ 重要提示

雖然我們無法禁止商業使用，但請注意，這是一個使用我們自己的資源、時間和精力完成的項目。我們不希望未來在進行項目模型開發時受到打擊。我們懇請商業用戶在部署前與我們聯繫，討論使用方式和適當的歸屬問題。我們感謝那些通過告知我們工作的使用情況來幫助維護人工智能生態系統透明度的用戶。對於任何合併或衍生作品，也希望能如此。