Olmo 2 Instruct Math 32B

🚀 TNG Technology ConsultingによるOLMo - 2モデルのファインチューニング

TNG Technology Consultingは、AMDのMI300X GPUとOpen R1データセットを使用して、320億パラメータのOLMo - 2大規模言語モデルをファインチューニングしました。この取り組みは、モデルの推論能力の向上に焦点を当てています。

📄 ライセンス

このプロジェクトはApache - 2.0ライセンスの下で提供されています。

📦 モデル情報

🔧 技術詳細

TNG Technology Consultingは、AMDのMI300X GPUを利用してOLMo - 2モデルのファインチューニングを行いました。MI300Xアクセラレータは、マルチチップモジュールアーキテクチャと大きなメモリ帯域幅を備えており、モデルの訓練要件を効率的に処理することができます。また、Hugging Faceによって作成されたOpen R1データセットは、詳細な推論トレースを持つ数学的問題の包括的なコレクションを提供し、このファインチューニングの取り組みに理想的な基盤となりました。この共同作業は、オープンソースイニシアチブと高度なハードウェアがAI研究の進歩に果たす可能性を強調しています。