Altdiffusion

🚀 AltDiffusion

AltDiffusion是一個多模態模型，支持中英文雙語輸入。它基於Stable Diffusion訓練，在中英文對齊方面表現出色，能生成高質量的圖像。

🚀 快速開始

模型信息

模型權重

第一次運行AltDiffusion模型時會自動從 這裡 下載如下權重：

運行環境

支持通過 Gradio Web UI 運行AltDiffusion：

模型參數

✨ 主要特性

• 雙語支持：支持中英文輸入，實現多語言文本到圖像的生成。
• 高性能：在中英文對齊方面表現出色，保留了原版Stable Diffusion的大部分能力，部分場景表現更優。
• 多場景適用：可用於生成各種風格和主題的圖像，如幻想、寫實、藝術等。

📦 安裝指南

運行Diffusers示例前，需要安裝以下依賴：

pip install git+https://github.com/huggingface/diffusers.git torch transformers accelerate sentencepiece

💻 使用示例

基礎用法

🧨Diffusers示例

from diffusers import AltDiffusionPipeline, DPMSolverMultistepScheduler
import torch

pipe = AltDiffusionPipeline.from_pretrained("BAAI/AltDiffusion", torch_dtype=torch.float16, revision="fp16")
pipe = pipe.to("cuda")

pipe.scheduler = DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)

prompt = "黑暗精靈公主，非常詳細，幻想，非常詳細，數字繪畫，概念藝術，敏銳的焦點，插圖"
# or in English:
# prompt = "dark elf princess, highly detailed, d & d, fantasy, highly detailed, digital painting, trending on artstation, concept art, sharp focus, illustration, art by artgerm and greg rutkowski and fuji choko and viktoria gavrilenko and hoang lap"

image = pipe(prompt, num_inference_steps=25).images[0]
image.save("./alt.png")

Transformers示例

import os
import torch
import transformers
from transformers import BertPreTrainedModel
from transformers.models.clip.modeling_clip import CLIPPreTrainedModel
from transformers.models.xlm_roberta.tokenization_xlm_roberta import XLMRobertaTokenizer
from diffusers.schedulers import DDIMScheduler, LMSDiscreteScheduler, PNDMScheduler
from diffusers import StableDiffusionPipeline
from transformers import BertPreTrainedModel,BertModel,BertConfig
import torch.nn as nn
import torch
from transformers.models.xlm_roberta.configuration_xlm_roberta import XLMRobertaConfig
from transformers import XLMRobertaModel
from transformers.activations import ACT2FN
from typing import Optional


class RobertaSeriesConfig(XLMRobertaConfig):
    def __init__(self, pad_token_id=1, bos_token_id=0, eos_token_id=2,project_dim=768,pooler_fn='cls',learn_encoder=False, **kwargs):
        super().__init__(pad_token_id=pad_token_id, bos_token_id=bos_token_id, eos_token_id=eos_token_id, **kwargs)
        self.project_dim = project_dim
        self.pooler_fn = pooler_fn
        # self.learn_encoder = learn_encoder

class RobertaSeriesModelWithTransformation(BertPreTrainedModel):
    _keys_to_ignore_on_load_unexpected = [r"pooler"]
    _keys_to_ignore_on_load_missing = [r"position_ids", r"predictions.decoder.bias"]
    base_model_prefix = 'roberta'
    config_class= XLMRobertaConfig
    def __init__(self, config):
        super().__init__(config)
        self.roberta = XLMRobertaModel(config)
        self.transformation = nn.Linear(config.hidden_size, config.project_dim)
        self.post_init()
        
    def get_text_embeds(self,bert_embeds,clip_embeds):
        return self.merge_head(torch.cat((bert_embeds,clip_embeds)))

    def set_tokenizer(self, tokenizer):
        self.tokenizer = tokenizer

    def forward(self, input_ids: Optional[torch.Tensor] = None) :
        attention_mask = (input_ids != self.tokenizer.pad_token_id).to(torch.int64)
        outputs = self.base_model(
            input_ids=input_ids,
            attention_mask=attention_mask,
        )
        
        projection_state = self.transformation(outputs.last_hidden_state)
        
        return (projection_state,)

model_path_encoder = "BAAI/RobertaSeriesModelWithTransformation"
model_path_diffusion = "BAAI/AltDiffusion"
device = "cuda"

seed = 12345
tokenizer = XLMRobertaTokenizer.from_pretrained(model_path_encoder, use_auth_token=True)
tokenizer.model_max_length = 77

text_encoder = RobertaSeriesModelWithTransformation.from_pretrained(model_path_encoder, use_auth_token=True)
text_encoder.set_tokenizer(tokenizer)
print("text encode loaded")
pipe = StableDiffusionPipeline.from_pretrained(model_path_diffusion,
                                               tokenizer=tokenizer,
                                               text_encoder=text_encoder,
                                               use_auth_token=True,
                                               )
print("diffusion pipeline loaded")
pipe = pipe.to(device)

prompt = "Thirty years old lee evans as a sad 19th century postman. detailed, soft focus, candle light, interesting lights, realistic, oil canvas, character concept art by munkácsy mihály, csók istván, john everett millais, henry meynell rheam, and da vinci"
with torch.no_grad():
    image = pipe(prompt, guidance_scale=7.5).images[0]  
    
image.save("3.png")

高級用法

您可以在predict_generate_images函數里通過改變參數來調整設置，具體信息如下：

注意：模型推理要求一張至少10G以上的GPU。

📚 詳細文檔

• Diffusers文檔：您可以在 此處 查看文檔頁面。
• 代碼示例：我們的代碼示例已放到colab上，歡迎使用。

🔧 技術細節

AltDiffusion模型基於Stable Diffusion，使用了名為AltCLIP的雙語CLIP模型作為支持。通過訓練，模型在中英文對齊方面表現出色，能夠根據不同的文本輸入生成高質量的圖像。

📄 許可證

該模型通過 CreativeML Open RAIL-M license 獲得許可。作者對您生成的輸出不主張任何權利，您可以自由使用它們並對它們的使用負責，不得違反本許可中的規定。該許可證禁止您分享任何違反任何法律、對他人造成傷害、傳播任何可能造成傷害的個人信息、傳播錯誤信息和針對弱勢群體的任何內容。您可以出於商業目的修改和使用模型，但必須包含相同使用限制的副本。有關限制的完整列表，請閱讀許可證 。

引用

AltCLIP相關

@article{https://doi.org/10.48550/arxiv.2211.06679,
  doi = {10.48550/ARXIV.2211.06679},
  url = {https://arxiv.org/abs/2211.06679},
  author = {Chen, Zhongzhi and Liu, Guang and Zhang, Bo-Wen and Ye, Fulong and Yang, Qinghong and Wu, Ledell},
  keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences},
  title = {AltCLIP: Altering the Language Encoder in CLIP for Extended Language Capabilities},
  publisher = {arXiv},
  year = {2022},
  copyright = {arXiv.org perpetual, non-exclusive license}
}

AltDiffusion相關

@misc{ye2023altdiffusion,
      title={AltDiffusion: A Multilingual Text-to-Image Diffusion Model}, 
      author={Fulong Ye and Guang Liu and Xinya Wu and Ledell Wu},
      year={2023},
      eprint={2308.09991},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

更多生成結果

中英文對齊能力

英文提示

prompt: dark elf princess, highly detailed, d & d, fantasy, highly detailed, digital painting, trending on artstation, concept art, sharp focus, illustration, art by artgerm and greg rutkowski and fuji choko and viktoria gavrilenko and hoang lap

中文提示

prompt: 黑暗精靈公主，非常詳細，幻想，非常詳細，數字繪畫，概念藝術，敏銳的焦點，插圖

中文表現能力

提示

prompt: 帶墨鏡的男孩肖像，充滿細節，8K高清

提示

prompt: 帶墨鏡的中國男孩肖像，充滿細節，8K高清

長圖生成能力

提示

prompt: 一隻帶著帽子的小狗 

原版 stable diffusion

AltDiffusion

注: 此處長圖生成技術由右腦科技(RightBrain AI)提供。