Qwen 2.5 7B DTF

🚀 unsloth/Qwen2.5-7BのDTFデータセットでの継続事前学習モデル

このモデルはunsloth/Qwen2.5-7BをDTFの投稿データセットで低ランク適応（LoRA）を用いて継続事前学習したもので、アダプターはすでにモデルに統合されています。

🚀 クイックスタート

このモデルは、DTFの投稿データセットを用いてunsloth/Qwen2.5-7Bを継続事前学習したものです。アダプターはすでにモデルに統合されています。

✨ 主な機能

• unsloth/Qwen2.5-7BモデルをDTFの投稿データセットで継続事前学習。
• アダプターがモデルに統合されているため、すぐに使用できる。

📦 インストール

インストールに関する具体的な手順は提供されていません。

💻 使用例

使用例に関する具体的なコードは提供されていません。

📚 ドキュメント

事前学習データセット

事前学習には、SubMaroon/DTF_comments_Responses_Counts の投稿が選択され、単純な df.unique で重複排除され、1000 < x < 128000トークンの長さでフィルタリングされました。学習データセットのサイズは約75Mトークンでした。

LoRAハイパーパラメータ

r=32
target_modules=[
    "q_proj", 
    "k_proj", 
    "v_proj", 
    "o_proj",
    "gate_proj",
    "up_proj",
    "down_proj",
]
lora_alpha=16
lora_dropout=0
bias="none"
use_gradient_checkpointing='unsloth'
use_rslora=True
random_state=42

学習ハイパーパラメータ

num_train_epochs=2
train_batch_size=8
gradient_accumulation_steps=16
gradient_checkpointing=False
optim="adamw_8bit"
weight_decay=4e-2
bf16=True
learning_rate=5e-5
lr_scheduler_type="cosine"
packing=True,
seed=42

学習時間

• NVidia Tesla A100 80GB: ~8.5時間
• NVidia RTX 3090ti: ~33.5時間

関連リンク

• Wandb
• GitHub: TODO

🔧 技術詳細

このモデルは、unsloth/Qwen2.5-7Bをベースモデルとして、DTFの投稿データセットを用いて低ランク適応（LoRA）を行っています。学習データセットは、特定の条件でフィルタリングされ、学習には特定のハイパーパラメータが使用されています。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。