Acip Llama2 13b

🚀 ACIPをmeta-llama/Llama-2-13b-hfに適用

このモデルはACIPプロジェクトの一部で、meta-llama/Llama-2-13b-hf の圧縮可能なバージョンを提供します。詳細については、コードリポジトリ をご覧ください。

🚀 クイックスタート

from_pretrained を使ってACIPモデルをロードするだけです。

from transformers import AutoModel

model = AutoModel.from_pretrained("MerantixMomentum/acip_llama2_13b", trust_remote_code=True)

これにより、任意の圧縮率に剪定できる完全にパラメータ化されたACIPモデルがダウンロードされ、作成されます。 例えば、

model.prune_model_by_score(size_ratio=0.4)

このコードは、パラメータ数で測定した元のサイズの40%に model を剪定します。つまり、60%の圧縮率です。 ACIPの独特な機能は、この操作が可逆であるということです。つまり、好きなだけ model.prune_model_by_score を再実行して、異なるサイズでモデルを評価することができます。最後に、特定の比率を「確定」して、

model.compress()

このコードを実行すると、圧縮可能な線形層のすべての剪定マスク値が破棄されます。 これでモデルは実際に圧縮され、メモリ使用量が大幅に減少するはずです（このステップは、ACIPモデルを再ロードしない限り可逆ではありません）。 もし望むなら、

model.quantize()

を実行して、さらにメモリを節約することもできます（私たちは bitsandbytes を使った4ビット量子化のみをテストしていますが、これをカスタマイズすることもできます）。

🚀 以上です！これで、🤗 transformers の他の因果言語モデルと同じように、圧縮されたモデルを推論または微調整に使用することができます。

⚠️ 重要提示

パラメータ size_ratio は1.0から0.0の範囲で、圧縮後のモデルサイズを示します。例えば、0.4はモデルが元のパラメータ数の40%しか持たないことを意味し、1.0はまったく圧縮されていないことを意味します。あるいは、prune_model_by_score で compression_rate を設定することもできます。これは size_ratio = 1.0 - compression_rate と等価です。

📦 インストール

私たちのハブからACIPモデルを実行するには、最小限の依存関係、つまり torch、transformers、peft、およびオプションでモデルを量子化する場合は bitsandbytes が必要です。 正確なバージョンを指定したpipインストール可能な依存関係については、requirements.txt を参照してください（新しいバージョンでも動作するはずです）。

📄 ライセンス

このモデルは、llama2ライセンスの下でリリースされています。

🔖 引用

このモデルを使用または参照する場合は、論文 を引用してください。

@article{mxm2025acip,
  title={Choose Your Model Size: Any Compression by a Single Gradient Descent}, 
  author={M. Genzel, P. Putzky, P. Zhao, S. Schulze, M. Mollenhauer, R. Seidel, S. Dietzel, T. Wollmann},
  year={2025},
  journal={Preprint arXiv:2502.01717}
}