Onimai Characters

🚀 お兄ちゃんはおしまい! キャラクターのテキスト・トゥ・イメージモデル

このモデルは、テキスト・トゥ・イメージ技術を用いて、「お兄ちゃんはおしまい!」のキャラクターを生成するために訓練されています。アニメスタイルの画像生成に特化しており、様々なシーンやスタイルでキャラクターを生成できます。

🚀 クイックスタート

このモデルは、DiffuserとSafetensorsの両方の形式で共有されています。トリガーワードとして、6人のキャラクターを以下のように指定できます。

• OyamaMahiro
• OyamaMihari
• HozukiKaede
• HozukiMomiji
• OkaAsahi
• MurosakiMiyo

TenkawaNayutaもタグ付けされていますが、10枚未満の画像に登場するため、良い結果は期待できません。また、モデルには3種類の異なるスタイルが訓練されています。

• aniscreen
• edstyle
• megazine

通常通り、複数のキャラクターを含む画像を生成できますが、4人以上のキャラクターを含む画像を生成するのは難しいです。なお、このモデルはclip skip 1で訓練されています。

✨ 主な機能

• 多様なキャラクター生成：「お兄ちゃんはおしまい!」の6人の主要キャラクターを生成できます。
• 複数のスタイル対応：アニメスクリーンショット、エンディングスタイル、マンガ表紙スタイルなど、複数のスタイルでキャラクターを生成できます。
• 異なる形式の共有：DiffuserとSafetensorsの両方の形式でモデルを共有しているため、様々な環境で利用できます。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

トリガーワードを使用して、特定のキャラクターを生成することができます。例えば、以下のようなプロンプトを使用して、OyamaMahiroを生成できます。

OyamaMahiro

高度な使用法

複数のキャラクターやスタイルを組み合わせて、より複雑な画像を生成することができます。例えば、以下のようなプロンプトを使用して、OyamaMahiroとOyamaMihariをaniscreenスタイルで生成できます。

OyamaMahiro, OyamaMihari, aniscreen

📚 ドキュメント

生成例

通常の生成例

2023.02.19更新後のLora生成例

2023年2月19日の更新で、同じデータセットで訓練された2つのLoraチェックポイントがlorasサブフォルダに追加されました。最初のものはすでに動作するようです。キャラクターは学習されていますが、残念ながらスタイルや服装は学習されていません。このLoraはACertaintyをベースに訓練されており、OrangeやAnythingではうまく動作しますが、MyneFactoryBaseや独自のモデルなど、さらに訓練されたモデルではあまりうまく動作しません。Loraが正しく転送される条件はまだわかっていません。

Loraの次元は32、アルファは1、学習率は1e-4で訓練されています。以下はいくつかの生成例です。

P.S. より複雑なシーンや、スタイルや服装に忠実な画像が必要な場合は、フルモデルの使用をおすすめします。モデルをマージすることで、スタイルを変更することもできます。

その他の生成例

データセットの説明

データセットは、こちらのワークフローを用いて準備されています。以下の構成で21412枚の画像が含まれています。

• 2133枚の「お兄ちゃんはおしまい!」の画像（4種類に分けられています）
  • 最初の6話からの1496枚のアニメスクリーンショット（aniscreenスタイル用）
  • アニメのエンディングの70枚のスクリーンショット（edstyleスタイル用、上記の1496枚には含まれていません）
  • 528枚のファンアート（またはおそらくいくつかの公式アート）
  • 39枚のマンガ表紙のスキャン（megazineスタイル用、なぜこの名前を選んだのか聞かないでください、悪い名前ですがうまく動作することがわかりました）
• 19279枚の正則化画像。アニメスタイルでできるだけ多様な画像を意図しています（すなわち、写実的な画像は使用されていません）

なお、このモデルは、異なる概念間のバランスを取るために特定の重み付け方式で訓練されており、すべての画像が同じ重みを持つわけではありません。画像ごとの繰り返しを適用した後、1エポックあたり約145K枚の画像が得られます。

訓練

訓練はEveryDream2トレーナーを用いて、ACertaintyをベースモデルとして行われました。以下の設定が使用されました。

• 解像度: 512
• コサイン学習率スケジューラ、学習率: 2.5e-6
• バッチサイズ: 8
• 条件付きドロップアウト: 0.08
• モデルのスケジューラのconfig.jsonで、ベータスケジューラをscaler_linearからlinearに変更
• clip skip: 1

私は2エポック訓練しましたが、デフォルトのリリースモデルは上記の通り22828ステップ訓練されています。

🔧 技術詳細

このモデルは、テキスト・トゥ・イメージ技術を用いて、「お兄ちゃんはおしまい!」のキャラクターを生成するために訓練されています。具体的には、ACertaintyをベースモデルとして、EveryDream2トレーナーを用いて訓練されています。データセットは、アニメスクリーンショット、エンディングスタイル、ファンアート、マンガ表紙のスキャンなど、様々なソースから収集された画像で構成されています。訓練時には、特定の重み付け方式を用いて、異なる概念間のバランスを取っています。

📄 ライセンス

このモデルは、CreativeML OpenRAIL-Mライセンスの下で公開されています。