🚀 GGUF量化和fp8缩放版本的LTX - Video
本项目提供了LTX - Video的GGUF量化和fp8缩放版本,可用于文本到视频、图像到视频、视频到视频等多种转换任务,为视频生成提供了更多选择和可能性。
🚀 快速开始
一次性设置
- 将ltx - video - 2b - v0.9.1 - r2 - q4_0.gguf([1.09GB](https://huggingface.co/calcuis/ltxv - gguf/blob/main/ltx - video - 2b - v0.9.1 - r2 - q4_0.gguf))拖到 > ./ComfyUI/models/diffusion_models
- 将t5xxl_fp16 - q4_0.gguf([2.9GB](https://huggingface.co/calcuis/ltxv - gguf/blob/main/t5xxl_fp16 - q4_0.gguf))拖到 > ./ComfyUI/models/text_encoders
- 将ltxv_vae_fp32 - f16.gguf([838MB](https://huggingface.co/calcuis/ltxv - gguf/blob/main/ltxv_vae_fp32 - f16.gguf))拖到 > ./ComfyUI/models/vae
直接运行(无需安装方式)
- 运行主目录中的.bat文件(假设你使用下面的gguf - node 包)
- 将工作流json文件(如下)拖到 > 你的浏览器
工作流
- [gguf](https://huggingface.co/calcuis/ltxv - gguf/blob/main/workflow - ltxv - gguf.json)的示例工作流(见上面的演示)
- 原始[safetensors](https://huggingface.co/calcuis/ltxv - gguf/blob/main/workflow - ltxv - safetensors.json)的示例工作流
✨ 主要特性
- 支持多种输入类型,包括文本到视频、图像到视频、视频到视频。
- 提供了不同量化和缩放版本,可根据需求选择。
- 可以混合使用不同的模型文件和vae,测试最佳组合。
- 新增了一组增强的vae(从fp8到fp32),低内存版本的gguf vae也可直接使用。
- 支持使用diffusers🧨库和gguf - connector两种方式运行。
📦 安装指南
按照“快速开始”中的“一次性设置”步骤,将相应的文件拖到指定目录即可完成安装。
💻 使用示例
基础用法
使用diffusers🧨库运行的示例代码如下:
import torch
from transformers import T5EncoderModel
from diffusers import LTXPipeline, GGUFQuantizationConfig, LTXVideoTransformer3DModel
from diffusers.utils import export_to_video
model_path = (
"https://huggingface.co/calcuis/ltxv-gguf/blob/main/ltx-video-2b-v0.9-q8_0.gguf"
)
transformer = LTXVideoTransformer3DModel.from_single_file(
model_path,
quantization_config=GGUFQuantizationConfig(compute_dtype=torch.bfloat16),
torch_dtype=torch.bfloat16,
)
text_encoder = T5EncoderModel.from_pretrained(
"calcuis/ltxv-gguf",
gguf_file="t5xxl_fp16-q4_0.gguf",
torch_dtype=torch.bfloat16,
)
pipe = LTXPipeline.from_pretrained(
"callgg/ltxv-decoder",
text_encoder=text_encoder,
transformer=transformer,
torch_dtype=torch.bfloat16
).to("cuda")
prompt = "A woman with long brown hair and light skin smiles at another woman with long blonde hair. The woman with brown hair wears a black jacket and has a small, barely noticeable mole on her right cheek. The camera angle is a close-up, focused on the woman with brown hair's face. The lighting is warm and natural, likely from the setting sun, casting a soft glow on the scene. The scene appears to be real-life footage"
negative_prompt = "worst quality, inconsistent motion, blurry, jittery, distorted"
video = pipe(
prompt=prompt,
negative_prompt=negative_prompt,
width=704,
height=480,
num_frames=25,
num_inference_steps=50,
).frames[0]
export_to_video(video, "output.mp4", fps=24)
高级用法
使用gguf - connector运行:
ggc vg
此命令用于文本到视频(t2v)面板。
ggc v1
📚 详细文档
评测
q2_k
gguf速度非常快,但不可用;仅用于测试。
- 令人惊讶的是,
0.9_fp8_e4m3fn
和0.9 - vae_fp8_e4m3fn
效果相当不错。
- 可以混合搭配使用不同的模型文件和vae,测试最佳组合。
- 可以选择使用t5xxl缩放的safetensors或t5xxl gguf(更多t5xxl的量化版本可在这里找到)作为文本编码器。
- 此包中新增了一组增强的vae(从fp8到fp32);低内存版本的gguf vae也可直接使用;为新功能升级你的节点:gguf vae loader。
- gguf - node可用(详情见这里),用于运行新功能(以下要点可能与模型没有直接关系)。
- 你可以使用新节点通过comfyui制作自己的
fp8_e4m3fn
缩放的safetensors和/或将其转换为gguf。
参考
- 基础模型来自[lightricks](https://huggingface.co/Lightricks/LTX - Video)
- comfyui来自comfyanonymous
- comfyui - gguf来自[city96](https://github.com/city96/ComfyUI - GGUF)
- gguf - comfy [包](https://github.com/calcuis/gguf - comfy/releases)
- gguf - connector([pypi](https://pypi.org/project/gguf - connector))
- gguf - node([pypi](https://pypi.org/project/gguf - node)|仓库|包)
📄 许可证
本项目使用其他许可证,详情请见LICENSE。