Openthinker3 7B GGUF

🚀 QuantFactory/OpenThinker3-7B-GGUF

このモデルは、open-thoughts/OpenThinker3-7B を llama.cpp を使用して量子化したバージョンです。

📚 詳細ドキュメント

オリジナルモデルカード

論文 | データセット | モデル

⚠️ 重要提示

OpenThoughtsに関する論文を公開しました！こちらで論文をご覧いただけます。

OpenThinker3-7B

最先端のオープンデータ7B推論モデルです。

このモデルは、Qwen/Qwen2.5-7B-Instruct を OpenThoughts3-1.2M データセットでファインチューニングしたものです。以前のモデルである OpenThinker-7B と OpenThinker2-7B よりも著しく改善されており、DeepSeek-R1-Distill-Qwen-7B や Llama-3.1-Nemotron-Nano-8B-v1 などの他の強力な推論7Bモデルを上回っています。これは、SFTのみでトレーニングされ、RLは使用されていないにもかかわらずです。

今回は論文も公開しました！詳細については、論文 と ブログ記事 をご覧ください。OpenThinker3-32Bも近日公開予定です！

評価結果

以下の表に報告されている数値は、オープンソースツール Evalchemy で評価されたものです。表では、各列で最良値の2標準誤差以内の値を太字で表示しています。

データ

このモデルは、OpenThoughts3-1.2M データセットでトレーニングされました。

強力なモデル性能の鍵は、包括的なデータパイプラインと1000以上のアブレーション実験です。これにより、OpenThoughts3-1.2M が作成されました。これは、850,000の数学問題、250,000のコード問題、および100,000の科学問題から構成されています。推論トレースはQwQ-32Bで生成されています。

詳細情報については、OpenThoughts3-1.2M データセットページまたは 論文 を参照してください。

想定用途と制限

このモデルはApache 2.0ライセンスの下で提供されています。

トレーニング手順

このモデルは、512台のA100ノードを使用して48時間トレーニングされました。

トレーニングハイパーパラメータ

トレーニング中に使用されたハイパーパラメータは以下の通りです。

• learning_rate: 8e-05
• seed: 42
• distributed_type: multi-GPU
• num_devices: 512
• gradient_accumulation_steps: 1
• total_train_batch_size: 512
• optimizer: OptimizerNames.ADAMW_TORCHを使用し、betas=(0.9,0.999)、epsilon=1e-08、optimizer_args=追加のオプティマイザ引数なし
• lr_scheduler_type: cosine
• lr_scheduler_warmup_ratio: 0.1
• num_epochs: 5.0
• weight_decay: 0.0

フレームワークバージョン

• Transformers 4.46.1
• Pytorch 2.3.0
• Datasets 3.1.0
• Tokenizers 0.20.3

詳細情報は、リポジトリ https://github.com/open-thoughts/open-thoughts で確認できます。

リンク

• OpenThoughts論文
• OpenThoughts3-1.2MとOpenThinker3-7Bのブログ記事
• Open ThoughtsのGitHubリポジトリ
• OpenThoughts3-1.2Mデータセット
• OpenThinker3-7Bモデル - このモデル

引用

@misc{guha2025openthoughtsdatarecipesreasoning,
  title={OpenThoughts: Data Recipes for Reasoning Models}, 
  author={Etash Guha and Ryan Marten and Sedrick Keh and Negin Raoof and Georgios Smyrnis and Hritik Bansal and Marianna Nezhurina and Jean Mercat and Trung Vu and Zayne Sprague and Ashima Suvarna and Benjamin Feuer and Liangyu Chen and Zaid Khan and Eric Frankel and Sachin Grover and Caroline Choi and Niklas Muennighoff and Shiye Su and Wanjia Zhao and John Yang and Shreyas Pimpalgaonkar and Kartik Sharma and Charlie Cheng-Jie Ji and Yichuan Deng and Sarah Pratt and Vivek Ramanujan and Jon Saad-Falcon and Jeffrey Li and Achal Dave and Alon Albalak and Kushal Arora and Blake Wulfe and Chinmay Hegde and Greg Durrett and Sewoong Oh and Mohit Bansal and Saadia Gabriel and Aditya Grover and Kai-Wei Chang and Vaishaal Shankar and Aaron Gokaslan and Mike A. Merrill and Tatsunori Hashimoto and Yejin Choi and Jenia Jitsev and Reinhard Heckel and Maheswaran Sathiamoorthy and Alexandros G. Dimakis and Ludwig Schmidt},
  year={2025},
  eprint={2506.04178},
  archivePrefix={arXiv},
  primaryClass={cs.LG},
  url={https://arxiv.org/abs/2506.04178}, 
}

情報テーブル