Chameleon 7B Mgpt

🚀 カメレオン-7bチェックポイント

このモデルは、Lumina-mGPTリポジトリのスクリプトconvert_chameleon_weights_to_hf.pyを使用して変換されたカメレオン-7bチェックポイントです。このリリースは、Lumina-mGPTのトレーニングの初期化を容易にすることを目的としています。このモデルを使用する前に、Hugging Faceで入手可能な公式のカメレオンチェックポイントへのアクセス許可を取得していることを確認してください。このモデルの使用はユーザーの自己責任です。

📚 ドキュメント

公式chameleon-7Bリリースとの違い

このモデルは公式のchameleon-7Bリリースとほぼ同じですが、qk-normの実装に重要な違いがあります。

理由は不明ですが、34Bのカメレオンモデルでは、トレーニング中に8ウェイのモデル並列化が採用されており、モデル並列ランク間で同じであることが期待されるqk-norm層の重みが異なっていることがわかりました（詳細はこちらを参照）。より直感的に言うと、これは7Bモデルの場合、アテンションヘッドを1つのグループに、34Bモデルの場合、8つのグループに分割できることを意味します。これらのグループ内ではqk-normパラメータが同じですが、グループ間では異なります。

この問題を軽減するために、transformersではqk-normパラメータをnum_heads * head_dimの形状にコピーする実装を開発しました。しかし、これはLumina-mGPTのようにカメレオンモデルをさらにファインチューニングする場合、qk-normパラメータがさらに発散し、2つのアテンションヘッド間でパラメータが異なる程度になり、理想的ではありません。

この問題を解決するために、我々は実装を少し変更して、qk-normパラメータをmodel_parallel_size x head_dimの形状にしました。ここで、model_parallel_sizeは7Bモデルの場合は1、34Bモデルの場合は8です。そして、順伝播時にrepeat_interleaveを通じてnum_heads * head_dimに拡張されます。この変更により、qk-normパラメータは既存のグループ内で常に一致することが保証されます。

⚠️ 重要提示

このモデルの使用はユーザーの自己責任です。使用する前に、公式のカメレオンチェックポイントへのアクセス許可を取得してください。

📄 ライセンス

元のドキュメントにライセンス情報は記載されていません。