Flux.1 Heavy 17B

🚀 クイックスタート

このモデルは、VRAMを大量に消費することができ、40GBのA100でOOM（Out of Memory）を引き起こすことができます。これは、独自の12BパラメータのFlux.1-devモデルを17Bに自己マージしたものです。

モデル情報

✨ 主な機能

マージ方法

このモデルのマージは、70B -> 120BのLLMマージと同様に行われ、レイヤーを繰り返してグループで織り交ぜました。

最終モデルの統計情報:
 p layers: [    32]
 s layers: [    44]
 n params: [17.17B]

トレーニング

マージ後にいくつかのトレーニングを行い、モデルが被った大規模な損傷を回復しようとしましたが、適切にトレーニングできるハードウェアがないため、これは主に概念実証です。しかし、これは自己マージであっても、まとまった画像を生成する最初のオープンソースの17B画像モデルかもしれません。

トレーニングによるテキストの回復を見ることができます。最も左の画像はステップ0のベースマージです。

📦 インストール

Diffusers

推論パイプラインで動作するはずです。from_single_fileでは、カスタムレイヤー数を渡す必要があります。

model = FluxTransformer2DModel.from_single_file("flux.1-heavy-17B.safetensors", num_layers=32, num_single_layers=44)

Comfy

"Load Diffusion Model"ノードを介して通常通りロードしてください。Windowsでは、80GB以上のシステムRAMが必要です。

推論には約35 - 40GBのVRAMが必要です。テキストエンコーダをオフロートし、VAEデコード中にアンロードすることを想定しています。システムRAMが十分にあれば、部分的なオフロードも機能します。

トレーニング

ostris/ai-toolkitでそのまま動作するようです。少なくとも、ローカルフォルダのconfig -> process -> model -> name_or_pathを指定したときは動作しました。

💻 使用例

推論

このモデルを使用して画像を生成するには、上記のインストール方法に従ってモデルをロードし、適切な入力テキストを提供して推論を実行します。

トレーニング

ostris/ai-toolkitを使用してトレーニングを行うことができます。

📚 ドキュメント

Q&A

このモデルを使用すべきですか？

自分が持っているVRAMを使い切りたい、またはこれをトレーニングして使えるものにしたい場合を除き、使用する必要はありません。

マージスクリプトはどこにありますか？

3 - 4つのスクリプトと、いくつかのバイアスに対する疑わしい手動編集の混乱したものです。このようにレイヤーを重ねて配置すれば、再現できます。ただし、後半の単一レイヤーはそのままにしておいてください。

マージされた（トレーニング前の）重みは、このリポジトリのrawフォルダにあります。必要な場合は、FluxTransformer2DModelでfrom_single_file -> save pretrainedを使用できます。

GGUF? FP8?

このモデルをBF16精度で実行することが、すべての種類のリソースを同時に使い切る体験をするためには必須です。

（私は再びRunPodのクレジットがなくなってしまったので、アップロードできません）

設定？LoRA互換性？

通常のFluxと同じ設定を使用してください。LoRAは少なくともいくつかの効果があるようですが、ブロックが一致しないため、素晴らしく機能することは期待しないでください。

このモデルはまとまった画像を生成しますか？

はい、しかしテキストと一般的なプロンプトの遵守は疑わしい場合があります。テキストの失敗モードの例：

表紙画像は選りすぐりのものですか？

もちろんです。

📄 ライセンス

このモデルは、flux-1-dev-non-commercial-licenseの下で提供されています。