Writing Model Qwen 7B

🚀 Writing-Model-Qwen-7b

このモデルは、文章評価タスクのために12KのSFTデータセットでQwen/Qwen2.5 - 7B - Instruct をファインチューニングしたものです。

📃 [論文] • 🚀 [GitHubリポジトリ] • 📏 [評価モデル] • ✍️ [Writer - 7B] [Writer - 32B]

📚 ドキュメント

トレーニング手順

トレーニングハイパーパラメータ

トレーニング中に使用されたハイパーパラメータは以下の通りです。

• learning_rate: 7e - 06
• train_batch_size: 1
• eval_batch_size: 8
• seed: 42
• distributed_type: multi - GPU
• num_devices: 32
• gradient_accumulation_steps: 4
• total_train_batch_size: 128
• total_eval_batch_size: 256
• optimizer: betas=(0.9, 0.999)、epsilon = 1e - 08のadamw_torchを使用。追加のオプティマイザ引数はありません。
• lr_scheduler_type: cosine
• lr_scheduler_warmup_ratio: 0.1
• num_epochs: 5

フレームワークのバージョン

• Transformers 4.46.1
• Pytorch 2.4.0+cu121
• Datasets 3.1.0
• Tokenizers 0.20.3

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。

📝 引用

@misc{wu2025writingbench,
      title={WritingBench: A Comprehensive Benchmark for Generative Writing}, 
      author={Yuning Wu and Jiahao Mei and Ming Yan and Chenliang Li and Shaopeng Lai and Yuran Ren and Zijia Wang and Ji Zhang and Mengyue Wu and Qin Jin and Fei Huang},
      year={2025},
      url={https://arxiv.org/abs/2503.05244}, 
}