Llama 3.3 70B Vulpecula R1

🚀 🦊 L3.3-70B-Vulpecula 🌸

このモデルは、GradientPutri と Sao10K の共同作業によるものです。過去数週間にわたる情熱的なプロジェクトで、完成品が皆さんに気に入っていただければ幸いです。

🚀 クイックスタート

このセクションでは、L3.3-70B-Vulpecula モデルの概要と使い方の基本を説明します。

✨ 主な機能

• 🌟 Deepseek-R1にインスパイアされた思考ベースのモデルで、SFTと少しのRLを組み合わせて創作的な文章データで学習されています。
• 🧠 アシスタントの返答を <think>\n で始めることで思考モードを有効にできますが、そうしなくても良好な結果が得られます。
• 🚀 ベースモデルに比べて操縦性、指示応答、創作コントロールが向上しています。

📦 インストール

このドキュメントには具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

このドキュメントには具体的なコード例が記載されていないため、このセクションは省略されます。

📚 ドキュメント

📜 ライセンス情報

このモデルはMetaのLlama 3.3をベースにしており、Llama 3.3 Community License Agreement と Acceptable Use Policy に従います。

⚠️ 重要提示

商用利用を禁止することはできませんが、このプロジェクトは独自のリソース、時間、労力を投入して作成されています。商用ユーザーはデプロイ前にご連絡いただき、利用方法と適切な帰属について相談していただけると幸いです。AIエコシステムの透明性を保つために、私たちの作品がどのように利用されているかを教えてくれるユーザーに感謝しています。マージや派生作品についても同様です。

🚀 モデル詳細

• 🌟 Deepseek-R1にインスパイアされた思考ベースのモデルで、SFTと少しのRLを組み合わせて創作的な文章データで学習されています。
• 🧠 アシスタントの返答を <think>\n で始めることで思考モードを有効にできますが、そうしなくても良好な結果が得られます。
• 🚀 ベースモデルに比べて操縦性、指示応答、創作コントロールが向上しています。

📚 データセット構成

• 👾 半合成のチャット/ロールプレイングデータセットで、繰り返し、品質、出力について再作成、クリーニング、フィルタリングされています。
• 🎭 人間ベースの自然なチャット/ロールプレイングデータセットで、品質についてクリーニング、フィルタリング、チェックされています。
• 📝 いくつかの異なるLLMからの多様な指示データセットで、拒否応答と品質についてクリーニング、フィルタリングされています。
• 💭 Deepseek-R1から取得した推論トレースを、指示、チャット、創作タスクに使用し、品質についてフィルタリング、クリーニングされています。
• █▓▒ 毒性/非検閲データはこのモデルの目的には必要なく、モデル自体が十分に制限されていません。

合計トークン数: ~270Mトークン (210Mトレーニング可能)、2エポック以上。

🎨 フォーマットとサンプラー

指示フォーマット: Llama-3-Instruct

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>

{input}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

{output}<|eot_id|>
---
Note that newlines are represented within example above

✨ サンプラー推奨設定

temperature: 0.75
min_p: 0.1
Repetition Penalty: 1.1
Presence Penalty: 1.1

⚙️ トレーニング詳細

# Iterations
num_epochs: 2

# Batching - Global Batch 4x GPUs × Batch 2 × 4 Grad_accum = 32
gradient_accumulation_steps: 4
micro_batch_size: 2

# Optimizer
optimizer: paged_ademamix_8bit
lr_scheduler: cosine
learning_rate: 0.00002
max_grad_norm: 1
weight_decay: 0.01

📄 ライセンス

このモデルはLlama 3.3に基づいており、Llama 3.3 Community License Agreement と Acceptable Use Policy に従います。