Acip Qwen25 7b

🚀 ACIPをQwen/Qwen2.5-7Bに適用

このモデルはACIPプロジェクトの一部で、Qwen/Qwen2.5-7B の圧縮可能なバージョンを提供します。詳細については、コードリポジトリ をご覧ください。

[ 🤖 GitHub | 📄 Paper | 🌐 Website ]

🚀 クイックスタート

from_pretrained を使ってACIPモデルを読み込むだけです。

from transformers import AutoModel

model = AutoModel.from_pretrained("MerantixMomentum/acip_qwen25_7b", trust_remote_code=True)

これにより、任意の圧縮率に剪定できる完全にパラメータ化されたACIPモデルがダウンロードされ、作成されます。 例えば、

model.prune_model_by_score(size_ratio=0.4)

このコードは、パラメータ数で測定した元のサイズの40%に model を剪定します。つまり、60%の圧縮率です。 ACIPの独特な機能は、この操作が可逆であるということです。つまり、異なるサイズでモデルを評価するために、いつでも model.prune_model_by_score を再実行できます。最後に、特定の比率を「確定」して、

model.compress()

を実行すると、圧縮可能な線形層のすべての剪定マスク値が破棄されます。 これでモデルは実際に圧縮され、メモリ使用量が大幅に減少するはずです（このステップはACIPモデルを再読み込みしない限り可逆ではありません）。 必要に応じて、

model.quantize()

を実行して、さらにメモリを節約することもできます（私たちは bitsandbytes を使った4ビット量子化のみをテストしていますが、これをカスタマイズすることもできます）。

🚀 以上です！これで、🤗 transformers の他の因果言語モデルと同じように、圧縮されたモデルを推論または微調整に使用できます。

⚠️ 重要提示

パラメータ size_ratio は1.0から0.0の範囲で、圧縮後のモデルサイズを示します。たとえば、0.4はモデルが元のパラメータ数の40%しか持たないことを意味し、1.0は全く圧縮されていないことを意味します。あるいは、prune_model_by_score で compression_rate を設定することもでき、これは size_ratio = 1.0 - compression_rate と同等です。

📦 インストール

私たちのハブからACIPモデルを実行するには、最小限の依存関係、つまり torch、transformers、peft が必要です。モデルを量子化する場合は、オプションで bitsandbytes も必要です。 正確なバージョンが指定されたpipでインストール可能な依存関係については、requirements.txt を参照してください（新しいバージョンでも動作するはずです）。

📄 ライセンス

このモデルはApache-2.0ライセンスの下でリリースされています。

📚 ドキュメント

このモデルを使用または参照する際には、論文 を引用してください。

@article{mxm2025acip,
  title={Choose Your Model Size: Any Compression by a Single Gradient Descent}, 
  author={M. Genzel, P. Putzky, P. Zhao, S. Schulze, M. Mollenhauer, R. Seidel, S. Dietzel, T. Wollmann},
  year={2025},
  journal={Preprint arXiv:2502.01717}
}