Acip Llama1 7b

🚀 ACIPをjeffwan/llama-7b-hfに適用

このモデルはACIPプロジェクトの一部で、jeffwan/llama-7b-hf の圧縮可能なバージョンを提供します。詳細については、コードリポジトリ をご覧ください。

[ 🤖 GitHub | 📄 Paper | 🌐 Website ]

🚀 クイックスタート

from_pretrained を使ってACIPモデルをロードするだけです。

from transformers import AutoModel

model = AutoModel.from_pretrained("MerantixMomentum/acip_llama1_7b", trust_remote_code=True)

これにより、任意の圧縮率に剪定できる完全にパラメータ化されたACIPモデルがダウンロードされ、作成されます。 例えば、

model.prune_model_by_score(size_ratio=0.4)

は、パラメータ数で測定した元のサイズの40%に model を剪定します。つまり、60%の圧縮率です。 ACIPの独特な機能は、この操作が可逆であるということです。つまり、好きなだけ model.prune_model_by_score を再実行して、異なるサイズでモデルを評価できます。最後に、特定の比率を「確定」して、

model.compress()

を実行すると、圧縮可能な線形層のすべての剪定マスク値が破棄されます。 これでモデルは実際に圧縮され、メモリ使用量が大幅に減少するはずです（このステップはACIPモデルを再ロードしない限り可逆ではありません）。 必要に応じて、

model.quantize()

を実行して、さらにメモリを節約することもできます（bitsandbytes を使った4ビット量子化のみテストしていますが、これをカスタマイズすることもできます）。

🚀 以上です！これで、🤗 transformers の他の因果言語モデルと同じように、圧縮されたモデルを推論または微調整に使用できます。

注意: パラメータ size_ratio は1.0から0.0の範囲で、圧縮後のモデルサイズを示します。例えば、0.4はモデルが元のパラメータ数の40%しか持たないことを意味し、1.0はまったく圧縮されていないことを意味します。あるいは、prune_model_by_score で compression_rate を設定することもでき、これは size_ratio = 1.0 - compression_rate と同等です。

📦 インストール

このモデルを実行するために必要な依存関係は、torch、transformers、peft です。モデルを量子化する場合は、オプションとして bitsandbytes も必要です。 pipでインストール可能な依存関係の正確なバージョンは、requirements.txt を参照してください（新しいバージョンでも動作するはずです）。

📄 ライセンス

ライセンスはベースモデルの jeffwan/llama-7b-hf から引き継がれています。

📚 ドキュメント

このモデルを使用または参照する際は、論文 を引用してください。

@article{mxm2025acip,
  title={Choose Your Model Size: Any Compression by a Single Gradient Descent}, 
  author={M. Genzel, P. Putzky, P. Zhao, S. Schulze, M. Mollenhauer, R. Seidel, S. Dietzel, T. Wollmann},
  year={2025},
  journal={Preprint arXiv:2502.01717}
}