Arcana Qwen3 2.4B A0.6B

🚀 アルカナQwen3 2.4B A0.6B

これはMoE（Mixture of Experts）のQwen3モデルで、総パラメータ数は24億で、4つのエキスパートモデルそれぞれが6億のパラメータを持っています。すべてのエキスパートモデルは以下に示します。このモデルは、より高い効率と少ないメモリ使用量で、より正確な結果を提供することを目的としています！

"私たちは何かについては専門家である一方、他の何かについては初心者です。"

— The Imitation Game (2014)

✨ 主な機能

エキスパートモデル

主要な学習パラメータ（SFTConfig）

• per_device_train_batch_size = 2
• gradient_accumulation_steps = 4
• warmup_steps = 5
• num_train_epochs = 1
• learning_rate = 2e-5
• optim = "adamw_8bit"
• weight_decay = 0.01
• seed = 3407

コーディング

suayptalha/Qwen3-0.6B-Code-Expert

このモデルは、nvidia/OpenCodeReasoningデータセットの最初の20,000行を使って、BF16で1エポック完全にファインチューニングされました。

数学

suayptalha/Qwen3-0.6B-Math-Expert

このモデルは、unsloth/OpenMathReasoning-miniデータセット全体を使って、BF16で1エポック完全にファインチューニングされました。

医療

suayptalha/Qwen3-0.6B-Medical-Expert

このモデルは、FreedomIntelligence/medical-o1-reasoning-SFTデータセットの最初の20,000行を使って、BF16で1エポック完全にファインチューニングされました。

命令追従

Qwen/Qwen3-0.6B

Qwen/Qwen3-0.6Bモデルは、このエキスパートに直接使用され、ファインチューニングは行われていません。

ルーターモデル

ルーターモデルはこちらで見ることができます。これはdistilbert/distilbert-base-uncasedを7つの異なるデータセットで学習させたバージョンです。

💻 使用例

基本的な使用法

import torch
from huggingface_hub import snapshot_download
from transformers import AutoModelForCausalLM, AutoTokenizer

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

local_dir = snapshot_download(
    repo_id="suayptalha/Qwen3-2.4B-A0.6B",
)

model = AutoModelForCausalLM.from_pretrained(
    local_dir,
    trust_remote_code=True,
)
tokenizer = AutoTokenizer.from_pretrained(
    local_dir,
)

model.to(device)
model.eval()

prompt = "I have pain in my chest, what should I do?"
messages = [{"role": "user", "content": prompt}]

prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

with torch.no_grad():
    output_ids = model.generate(
        text=prompt,
        max_new_tokens=1024,
        temperature=0.6,
        top_p=0.95,
    )
output_text = tokenizer.decode(output_ids[0], skip_special_tokens=True)
print(output_text)

📄 ライセンス

このプロジェクトは、Apache License 2.0の下でライセンスされています。詳細については、LICENSEファイルを参照してください。

サポート