Chameleon 7B Mgpt

🚀 變色龍-7B模型檢查點

本項目提供了變色龍-7B（Chameleon-7b）模型的檢查點，該檢查點是通過 Lumina-mGPT 倉庫中的 convert_chameleon_weights_to_hf.py 腳本轉換而來。此版本旨在方便啟動 Lumina-mGPT 訓練。在使用該模型前，請確保您已獲得訪問 Hugging Face 上官方變色龍檢查點的許可。使用此模型需用戶自行承擔風險。

📚 詳細文檔

與官方變色龍-7B版本的差異

本模型與官方變色龍-7B版本幾乎相同，但在 qk-norm 實現上有一個重要差異： 由於未知原因，在34B的變色龍模型訓練過程中採用了8路模型並行，qk-norm層中的權重（本應在模型並行的各個進程中保持一致）卻出現了差異（詳情見 此處）。更直觀地說，這意味著對於7B模型，注意力頭可分為1組；對於34B模型，可分為8組。在每組內，qk-norm參數相同，但組間不同。

為緩解這一問題，transformers 開發了一種實現方法，將qk-norm參數複製成 num_heads * head_dim 的形狀。然而，這意味著如果我們要進一步微調變色龍模型（如Lumina-mGPT的情況），qk-norm參數會進一步發散，甚至每兩個注意力頭之間的參數都會不同，這並不理想。

為解決此問題，我們對實現進行了微調，使qk-norm參數的形狀變為 model_parallel_size x head_dim，其中 model_parallel_size 對於7B模型為1，對於34B模型為8，並在正向傳播時通過 repeat_interleave 將其擴展為 num_heads * head_dim。這一修改確保了qk-norm參數在現有組內始終保持一致。

⚠️ 重要提示

使用此模型前，請確保您已獲得訪問 Hugging Face 上官方變色龍檢查點的許可。使用此模型需用戶自行承擔風險。