Longclip SAE ViT L 14

🚀 Long-CLIP ViT-L/14 微調整: SAEを用いた敵対的トレーニング

このプロジェクトは、Long-CLIP ViT-L/14 をSAE（Sparse autoencoder）を用いて敵対的にトレーニングするものです。Long-CLIPは、元のCLIPモデルの入力トークン制限を超えた長文入力に対応したモデルです。

📦 データセットとモデル情報

✨ 主な機能

SAEを用いた敵対的トレーニング

• SAE（Sparse autoencoder）を用いたトレーニングを行っています。すべてのトレーニング情報とコードはこちらで確認できます。

Long-CLIPのダウンロード

• このLong-CLIPのテキストエンコーダを直接ダウンロードできます。また、HunyuanVideoと組み合わせて使用するのに最適なLong-CLIPです。

必要なノード

• zer0int/ComfyUI-HunyuanVideo-Nyanノードを使用する必要があります。このノードを使用することで、LLMとCLIPの影響力を調整できます。

支援

• ☕ コーヒーを請べる

📚 詳細ドキュメント

元のCLIPモデルの制限

元のCLIPモデルは最大77トークンの入力をサポートしていますが、有効な長さは約20トークンです。詳細は元のLong-CLIP論文を参照してください。

HunyuanVideoのデモ

69トークン、通常シーン

• レンズ: 16mm。絞り: f/2.8。カラーグレーディング: 青緑のモノクロ。照明: 逆光のシルエットを伴うローキー。背景: 夜のゴシック様式の大聖堂、ステンドグラスの窓が割れている。カメラアングル: 忍者の肩越し、屋根に着地する空中の飛び越しを追跡。

52トークン、OOD（Out-of-Distribution）シーン

• この超現実的な悪夢ドキュメンタリーでは、人間の顔を持つ大きなクモが食堂で平穏に朝食を楽しんでいます。クモはクモの体を持っていますが、前面に女性の顔があり、クモの脚の先には通常の人間の手があります。

画像とビデオ