Acip Llama31 8b

🚀 ACIPをmeta-llama/Llama-3.1-8Bに適用

このモデルはACIPプロジェクトの一部で、meta-llama/Llama-3.1-8Bの圧縮可能なバージョンを提供します。詳細については、コードリポジトリをご覧ください。

🚀 クイックスタート

from_pretrainedを使用してACIPモデルをロードするだけです。

from transformers import AutoModel

model = AutoModel.from_pretrained("MerantixMomentum/acip_llama31_8b", trust_remote_code=True)

これにより、任意の圧縮率に剪定できる完全にパラメータ化されたACIPモデルがダウンロードされ、作成されます。 例えば、

model.prune_model_by_score(size_ratio=0.4)

このコードは、modelを元のパラメータ数の40%に剪定します。つまり、60%の圧縮率です。 ACIPの独特な機能として、この操作は可逆的であり、異なるサイズでモデルを評価するためにmodel.prune_model_by_scoreを何度でも再実行できます。最後に、

model.compress()

このコードを実行すると、圧縮可能な線形層のすべての剪定マスク値が破棄されます。 これでモデルは実際に圧縮され、メモリ使用量が大幅に減少するはずです（このステップはACIPモデルを再ロードしない限り可逆的ではありません）。 必要に応じて、

model.quantize()

を実行して、さらにメモリを節約することもできます（bitsandbytesを使用した4ビット量子化のみをテストしていますが、これをカスタマイズすることもできます）。

🚀 以上です！これで、🤗 transformersの他の因果言語モデルと同様に、圧縮されたモデルを推論または微調整に使用できます。

注意: size_ratioパラメータは1.0から0.0の範囲で、圧縮後のモデルサイズを示します。例えば、0.4はモデルが元のパラメータ数の40%しか持たないことを意味し、1.0は全く圧縮されていないことを意味します。あるいは、prune_model_by_scoreでcompression_rateを設定することもでき、これはsize_ratio = 1.0 - compression_rateと等価です。

📦 インストール

私たちのハブからACIPモデルを実行するには、最小限の依存関係、つまりtorch、transformers、peft、およびオプションでモデルを量子化する場合はbitsandbytesが必要です。 正確なバージョンが指定されたpipでインストール可能な依存関係については、requirements.txtを参照してください（新しいバージョンでも動作するはずです）。

📄 ライセンス

このモデルはllama3.1ライセンスの下で公開されています。

📚 ドキュメント

このモデルを使用または参照する際には、論文を引用してください。

@article{mxm2025acip,
  title={Choose Your Model Size: Any Compression by a Single Gradient Descent}, 
  author={M. Genzel, P. Putzky, P. Zhao, S. Schulze, M. Mollenhauer, R. Seidel, S. Dietzel, T. Wollmann},
  year={2025},
  journal={Preprint arXiv:2502.01717}
}

📋 モデル情報