Dantaggen Delta Rev2

🚀 DanTagGen - delta (rev2)

DanTagGen（Danbooruタグジェネレータ）は、p1atdevのDartプロジェクトにインスパイアされて開発されました。ただし、アーキテクチャ、データセット、形式、トレーニング戦略は異なっています。

✨ 主な機能

バージョン間の違い

• alpha: 200万件のデータセットで事前学習、バッチサイズが小さい。能力に制限があります。
• beta: 530万件のデータセットで事前学習、バッチサイズが大きい。より安定しており、少量の情報でも良好な性能を発揮します。
• delta: 720万件のデータセットで事前学習、バッチサイズが大きい。若干のアンダーフィットですが、多様性に優れています。品質タグが導入されています。
  • rev2: deltaから再開、同じデータセット、さらに2エポック学習。

モデルアーキテクチャ

このバージョンのDTGは、4億パラメータのLLaMAアーキテクチャでゼロから学習されています（個人的にはNanoLLaMAと呼んでいます）。LLaMAアーキテクチャであるため、理論的には任意のLLaMA推論インターフェースで使用できます。

このリポジトリでは、変換されたFP16 ggufモデルと量子化された8ビット/6ビットggufモデルも提供しています。基本的には、llama.cppまたはllama-cpp-pythonを使用してこのモデルを実行することをおすすめします。非常に高速です。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

prompt = f"""
quality: {quality or '<|empty|>'}
rating: {rating or '<|empty|>'}
artist: {artist.strip() or '<|empty|>'}
characters: {characters.strip() or '<|empty|>'}
copyrights: {copyrights.strip() or '<|empty|>'}
aspect ratio: {f"{aspect_ratio:.1f}" or '<|empty|>'}
target: {'<|' + target + '|>' if target else '<|long|>'}
general: {", ".join(special_tags)}, {general.strip().strip(",")}<|input_end|>
"""

例えば：

quality: masterpiece
rating: safe
artist: <|empty|>
characters: <|empty|>
copyrights: <|empty|>
aspect ratio: 1.0
target: <|short|>
general: 1girl, solo, dragon girl, dragon horns, dragon tail<|input_end|>

これを入力すると、以下のような出力が得られるでしょう：

rating: safe
artist: <|empty|>
characters: <|empty|>
copyrights: <|empty|>
aspect ratio: 1.0
target: <|short|>
general: 1girl, solo, dragon girl, dragon horns, dragon tail<|input_end|>open mouth, red eyes, long hair, pointy ears, tail, black hair, chinese clothes, simple background, dragon, hair between eyes, horns, china dress, dress, looking at viewer, breasts

📚 ドキュメント

データセットとトレーニング

HakuPhiで実装したトレーナーを使用してトレーニングを行いました。720万件のデータで合計12エポック学習し、このモデルはおよそ100～150億トークンを学習しています。

データセットは、私のDanbooru SQLiteデータベースを使用してHakuBooruでエクスポートされました。各レーティングのfav_countのパーセンタイルを使用してデータをフィルタリングしています（200万件 = 上位25％、530万件 = 上位75％）。

ユーティリティ

• HFスペース: https://huggingface.co/spaces/KBlueLeaf/DTG-demo
• DTG + Kohaku XL Epsilonのデモ: https://huggingface.co/spaces/KBlueLeaf/This-Cute-Dragon-Girl-Doesnt-Exist
• SD-WebUI拡張: https://github.com/KohakuBlueleaf/z-a1111-sd-webui-dtg
• ComfyUIノード: https://github.com/toyxyz/a1111-sd-webui-dtg_comfyui

📄 ライセンス

このモデルはCC-BY-SA-4.0ライセンスの下で提供されています。