Canopus LoRA Flux Typography ASCII
C
Canopus LoRA Flux Typography ASCII
由prithivMLmods開發
基於LoRA微調的擴散模型,專注於生成字體藝術和ASCII藝術風格的黑白肖像圖像。
下載量 17
發布時間 : 10/17/2024
模型概述
該模型通過LoRA技術在FLUX.1基礎模型上微調,能夠生成以文字覆蓋面部特徵的黑白肖像圖像,具有強烈的視覺對比效果和藝術風格。
模型特點
文字藝術生成
能夠生成面部由文字構成的藝術肖像,文字隨面部輪廓自然分佈
高對比度效果
生成圖像具有強烈的黑白對比,突出文字與面部剪影的視覺衝擊
多種字體風格支持
支持蠟筆風格、手寫風格等多種字體效果
LoRA微調技術
基於LoRA技術實現高效微調,保留基礎模型能力的同時增加特定風格
模型能力
文本生成圖像
藝術風格轉換
字體藝術生成
ASCII藝術生成
使用案例
數字藝術創作
藝術肖像生成
生成以文字構成面部的黑白藝術肖像
具有強烈視覺對比的文字藝術圖像
字體藝術設計
創作融合文字與圖像的字體藝術作品
具有層次感和藝術感的文字圖像
創意設計
前衛視覺設計
為平面設計項目提供獨特的視覺元素
具有動感和抽象效果的設計素材
🚀 Canopus-LoRA-Flux-Typography-ASCII
Canopus-LoRA-Flux-Typography-ASCII 是一款專注於排版與 ASCII 藝術風格圖像生成的模型。它基於特定的基礎模型進行訓練,能根據輸入的提示詞生成具有獨特風格的圖像。不過,該模型目前仍處於訓練階段,可能存在一些瑕疵。
🚀 快速開始
環境設置
import torch
from pipelines import DiffusionPipeline
base_model = "black-forest-labs/FLUX.1-dev"
pipe = DiffusionPipeline.from_pretrained(base_model, torch_dtype=torch.bfloat16)
lora_repo = "prithivMLmods/Canopus-LoRA-Flux-Typography-ASCII"
trigger_word = "Realism" # 若不使用觸發詞,可留空。
pipe.load_lora_weights(lora_repo)
device = torch.device("cuda")
pipe.to(device)
運行應用
app.py
import gradio as gr
gr.load("models/prithivMLmods/Canopus-LoRA-Flux-Typography-ASCII").launch()
pythonproject.py
from fastapi import FastAPI
from fastapi.middleware.cors import CORSMiddleware
import gradio as gr
def image_generator(prompt):
pass
interface = gr.Interface(fn=image_generator, inputs="text", outputs="image")
app = FastAPI()
app.add_middleware(
CORSMiddleware,
allow_origins=["*"],
allow_credentials=True,
allow_methods=["*"],
allow_headers=["*"],
)
app = gr.mount_gradio_app(app, interface, path="/")
✨ 主要特性
- 獨特風格:專注於排版與 ASCII 藝術風格,能生成具有深度和藝術感的黑白圖像。
- 可擴展性:基於 LoRA 技術,可在基礎模型上進行靈活調整和擴展。
📦 安裝指南
安裝過程主要是通過 Python 代碼加載基礎模型和 LoRA 權重,具體步驟如下:
import torch
from pipelines import DiffusionPipeline
base_model = "black-forest-labs/FLUX.1-dev"
pipe = DiffusionPipeline.from_pretrained(base_model, torch_dtype=torch.bfloat16)
lora_repo = "prithivMLmods/Canopus-LoRA-Flux-Typography-ASCII"
trigger_word = "Realism" # 若不使用觸發詞,可留空。
pipe.load_lora_weights(lora_repo)
device = torch.device("cuda")
pipe.to(device)
💻 使用示例
基礎用法
使用以下提示詞觸發圖像生成:
Typography, ASCII Art : A black and white monochrome photograph of a man's face. The man's head is covered in words, including "Portrait by Ralph Ueltzhoeffer" in the lower right corner of the frame. The background of the photograph is black, creating a stark contrast with the man's silhouette. The text is written in a crayon type type, adding a touch of depth to the image.
高級用法
嘗試不同的提示詞組合,如:
Typography, ASCII Art: A grayscale, monochrome portrait of a woman’s face. The face is constructed entirely from delicate, hand-drawn lines of text. Phrases like "Echoes of Silence" appear throughout the image, with the text written in a rough, handwritten font style. The woman's expression is serene, while the background remains pitch black to amplify the contrast between the text and the face. The words fade in and out of her silhouette, blending seamlessly with the contours of her features, creating an almost ethereal, abstract effect.
📚 詳細文檔
模型描述
prithivMLmods/Canopus-LoRA-Flux-Typography-ASCII
圖像生成參數如下:
參數 | 值 |
---|---|
LR Scheduler | constant |
Noise Offset | 0.03 |
Optimizer | AdamW |
Multires Noise Discount | 0.1 |
Network Dim | 64 |
Network Alpha | 32 |
Epoch | 15 |
Save Every N Epochs | 1 |
Noise Offset | 0.03 |
Multires Noise Iterations | 10 |
Repeat & Steps | 23 & 1K+ |
標註方式:wd-v1-4-vit-tagger-v2
訓練使用的總圖像數:30+ [高分辨率] 及更多
觸發提示詞
以下是一些觸發圖像生成的提示詞示例:
- Typography, ASCII Art : A black and white monochrome photograph of a man's face. The man's head is covered in words, including "Portrait by Ralph Ueltzhoeffer" in the lower right corner of the frame. The background of the photograph is black, creating a stark contrast with the man's silhouette. The text is written in a crayon type type, adding a touch of depth to the image.
- Typography, ASCII Art: A grayscale, monochrome portrait of a woman’s face. The face is constructed entirely from delicate, hand-drawn lines of text. Phrases like "Echoes of Silence" appear throughout the image, with the text written in a rough, handwritten font style. The woman's expression is serene, while the background remains pitch black to amplify the contrast between the text and the face. The words fade in and out of her silhouette, blending seamlessly with the contours of her features, creating an almost ethereal, abstract effect.
- Typography, ASCII Art: A black-and-white monochrome image of a man in profile, with his face outlined by intricately layered words. The words "Time Stands Still" and "Art by David Carson" are woven into the contours of his features. The text is styled in a distressed, stencil-like typeface, giving the piece a raw, edgy feel. The background is entirely black, making the white text stand out, with some words blending softly into the edges of the man's silhouette, creating a haunting, dreamlike effect. The typography adds texture, merging with the photograph to form a striking visual portrait.
觸發參數
參數 | 值 |
---|---|
Prompt | Typography, ASCII Art : A black and white monochrome photograph of a man's face. The man's head is covered in words, including "Portrait by Ralph Ueltzhoeffer" in the lower right corner of the frame. The background of the photograph is black, creating a stark contrast with the man's silhouette. The text is written in a crayon type type, adding a touch of depth to the image. |
Sampler | euler |
觸發詞
使用 Typography
和 ASCII Art
觸發圖像生成。
下載模型
該模型的權重以 Safetensors 格式提供。 點擊下載(在“文件與版本”選項卡中)
🔧 技術細節
該模型基於 black-forest-labs/FLUX.1-dev
基礎模型,使用 LoRA 技術進行微調。在訓練過程中,採用了特定的圖像標註方式 wd-v1-4-vit-tagger-v2
,並設置了一系列的圖像生成參數,如學習率調度器、噪聲偏移等,以確保生成的圖像具有獨特的排版與 ASCII 藝術風格。
📄 許可證
該模型使用 creativeml-openrail-m
許可證。
⚠️ 重要提示
該模型仍處於訓練階段,這不是最終版本,可能包含瑕疵,在某些情況下表現不佳。
💡 使用建議
嘗試不同的提示詞組合,以獲得不同風格的圖像。同時,可根據實際需求調整圖像生成參數。
Stable Diffusion V1 5
Openrail
穩定擴散是一種潛在的文本到圖像擴散模型,能夠根據任何文本輸入生成逼真的圖像。
圖像生成
S
stable-diffusion-v1-5
3.7M
518
Stable Diffusion Inpainting
Openrail
基於穩定擴散的文本到圖像生成模型,具備圖像修復能力
圖像生成
S
stable-diffusion-v1-5
3.3M
56
Stable Diffusion Xl Base 1.0
SDXL 1.0是基於擴散的文本生成圖像模型,採用專家集成的潛在擴散流程,支持高分辨率圖像生成
圖像生成
S
stabilityai
2.4M
6,545
Stable Diffusion V1 4
Openrail
穩定擴散是一種潛在文本到圖像擴散模型,能夠根據任意文本輸入生成逼真圖像。
圖像生成
S
CompVis
1.7M
6,778
Stable Diffusion Xl Refiner 1.0
SD-XL 1.0優化器模型是Stability AI開發的圖像生成模型,專為提升SDXL基礎模型生成的圖像質量而設計,特別擅長最終去噪步驟處理。
圖像生成
S
stabilityai
1.1M
1,882
Stable Diffusion 2 1
基於擴散的文本生成圖像模型,支持通過文本提示生成和修改圖像
圖像生成
S
stabilityai
948.75k
3,966
Stable Diffusion Xl 1.0 Inpainting 0.1
基於Stable Diffusion XL的潛在文本到圖像擴散模型,具備通過遮罩進行圖像修復的功能
圖像生成
S
diffusers
673.14k
334
Stable Diffusion 2 Base
基於擴散的文生圖模型,可根據文本提示生成高質量圖像
圖像生成
S
stabilityai
613.60k
349
Playground V2.5 1024px Aesthetic
其他
開源文生圖模型,能生成1024x1024分辨率及多種縱橫比的美學圖像,在美學質量上處於開源領域領先地位。
圖像生成
P
playgroundai
554.94k
723
Sd Turbo
SD-Turbo是一款高速文本生成圖像模型,僅需單次網絡推理即可根據文本提示生成逼真圖像。該模型作為研究原型發佈,旨在探索小型蒸餾文本生成圖像模型。
圖像生成
S
stabilityai
502.82k
380
精選推薦AI模型
Llama 3 Typhoon V1.5x 8b Instruct
專為泰語設計的80億參數指令模型,性能媲美GPT-3.5-turbo,優化了應用場景、檢索增強生成、受限生成和推理任務
大型語言模型
Transformers 支持多種語言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一個基於SODA數據集訓練的超小型對話模型,專為邊緣設備推理設計,體積僅為Cosmo-3B模型的2%左右。
對話系統
Transformers 英語

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基於RoBERTa架構的中文抽取式問答模型,適用於從給定文本中提取答案的任務。
問答系統 中文
R
uer
2,694
98