2025年—Comfy UI 和 Stable Diffusion底层原理

article/2025/6/23 1:16:01

为什么要先讲SD原理 ?

  • 逻辑理解: ComfyUI是节点式操作,需要自行搭建工作流,理解原理才能灵活定制工作流
  • 学习效率: 基础原理不懂会导致后续学习吃力,原理是掌握ComfyUI的关键
  • 核心价值: ComfyUI最有价值的功能就是自主搭建工作流,这需要深入理解SD原理

Stable Diffusion 扩散算法

  • 基本概念: SD基于扩散算法(diffusion)生成图像,中文译为"稳定的扩散"
  • 核心过程:
    • 正向扩散: 生噪过程,增加噪点
    • 反向扩散: 去噪过程,消除噪点
  • 实现方式: 先将图片铺满噪点,然后根据步数逐步降噪,最终得到目标图像
  • 关键结论: 图像生成是从噪点到清晰图片的渐进过程

工作流示例

我们现在用一个实例来走一遍AI生图的流程。比如说我们要让AI生成一个美丽的女孩。

我们把关键词"beautiful girl"输入给计算机的时候,计算机无法理解"beautiful girl"。人类语言与计算机语言需要转换,就像中英文交流需要翻译。这就需要一个翻译:CLIP。

CLIP

CLIP是Text Encoder(文本编码器)的一种,其作用是将文本信息("beautiful girl")数字化,根据模型训练经验识别特征(大眼睛、好身材等)。将人类语言翻译为计算机能理解的数字化描述(函数/向量)。CLIP使AI能捕捉文本含义,是SD工作流的关键组件。

Latent Space(潜空间)

刚才被CLIP编译完的数字化信息会进入到 Latent Space(潜空间)。我们所使用的调度器,采样器,CFG Scale都是在潜空间里进行工作的。

在 ComfyUI 中,Latent Space 是连接文本、模型和生成图像的桥梁。它的核心价值在于:

高效性:压缩表示降低计算成本。

灵活性:支持多种潜在空间操作和扩展。

模块化:与 ComfyUI 的节点式工作流完美契合,便于可视化调试。

我们这里说一下其节省计算成本的作用,例如我要生成一张512x512的图片。

在Latent Space(潜空间)内,数据会被压缩:

Latent Space(潜空间)中有U-Net(作用是给图片去噪),其可以对随机种子生成噪声图进行引导。

VAE解码器

到这一步,图片其实已经被生成出来了,只不过此时的图片是一张被压缩的,数字化的(一堆向量和参数)的图片,我们人类还无法看懂。

我们需要解码器对图片进行解压,解码器的作用是将计算机数据转变为人类可视图像

以上就是文生图的大致工作流程,下图为Comfy UI的工作流节点


http://www.hkcw.cn/article/XTlseKGBYC.shtml

相关文章

分糖果 两次遍历处理左右

这个题目本来打算两次遍历来写,但是细节处理上出了问题,我想的是距离两个1的距离最大值,但是其实并不是这样的,只有值递增的时候才能递增 题目地址 class Solution:def candy(self, ratings: List[int]) -> int:n len(ratings…

【设计模式-3.6】结构型——桥接模式

说明:本文介绍结构型设计模式之一的桥接模式 定义 桥接模式(Bridge Pattern)又叫作桥梁模式、接口(Interface)模式或柄体(Handle and Body)模式,指将抽象部分与具体实现部分分离&a…

vite构建工具

文章目录 1. 什么是构建工具2. webpack的缺点在哪?3. 区分vite脚手架和vite5. vite预加载5.1 包的加载5.2. vite依赖预构建 7. vite配置文件处理8. vite环境变量和模式8.1 环境变量8.2 模式 1. 什么是构建工具 在开发项目中,我们可能会使用到vue、react…

警方通报“男子拖拽6岁女童进小巷” 嫌疑人已被拘留将追责

6月3日,湖南娄底市公安局娄星分局通报了一起事件。5月20日下午,嫌疑人刘某某酒后行至娄底市娄星区涟滨中街附近,拖拽一名六岁女童进入居民区巷子。幸好被居民及时制止并报警。接警后,民警迅速赶到现场将刘某某控制。经侦查,刘某某涉嫌寻衅滋事已被拘留,将依法追究其刑事责…

下一个假期连休8天要等4个月 国庆中秋合并放

今天是端午节假期的最后一天。很多人关心下一次休假是什么时候。根据国务院办公厅关于2025年部分节假日安排的通知,下一轮节假日将在4个月后的国庆节和中秋节。这两个节日合并放假8天。责任编辑:zx0001

成品油价将迎年内第11次调价 或迎来小幅上涨

成品油价将迎年内第11次调价 或迎来小幅上涨!油价最新消息:2025年6月1日星期日,距离油价调整窗口开启只剩下两天。预计油价将小幅上涨,虽然涨幅不大,但对车主来说能省一点是一点,请相互转告。在本轮计价周期中,开局时油价每吨上涨140元,但由于国际油价下跌的影响,到第…

C. Basketball Exercise

time limit per test 2 seconds memory limit per test 256 megabytes Finally, a basketball court has been opened in SIS, so Demid has decided to hold a basketball exercise session. 2⋅n2⋅n students have come to Demids exercise session, and he lined up th…

【含文档+PPT+源码】基于微信小程序的旅游论坛系统的设计与实现

项目介绍 本课程演示的是一款基于微信小程序的旅游论坛系统的设计与实现,主要针对计算机相关专业的正在做毕设的学生与需要项目实战练习的 Java 学习者。 1.包含:项目源码、项目文档、数据库脚本、软件工具等所有资料 2.带你从零开始部署运行本套系统 …

基于Android的医院陪诊预约系统

博主介绍:java高级开发,从事互联网行业六年,熟悉各种主流语言,精通java、python、php、爬虫、web开发,已经做了六年的毕业设计程序开发,开发过上千套毕业设计程序,没有什么华丽的语言&#xff0…

随机性的起源

文章目录 随机性的起源模型权重初始化主要影响常见做法代码示例 数据采集与重排(加载与打乱)例子注意事项代码示例 非确定性算法Dropout带来的随机性代码示例不同运行时的算法卷积操作的实现差异例子解决方法小结 硬件与驱动程序随机性与生成式AI生成式A…

12.1 GUI 事件处理

Swing简介 不同于 AWT 使用重量级组件(每个组件对应有一个本地窗口系统资源),Swing 提供了轻量级组件,它们不是直接映射到本地窗口系统组件上,而是绘制出来的。因此,Swing 组件可以在不同的平台上保持一致的…

冲入起火麦地抢收司机称举手之劳 网友赞救火英雄

冲入起火麦地抢收司机称举手之劳 网友赞救火英雄!6月1日,一段视频在网上引起广泛关注。视频中,远处麦田浓烟滚滚,火焰借风力蔓延。这时,一台收割机朝着浓烟方向驶去,在麦田中快速开辟出一条隔火带。视频中,收割机司机的妻子大声呼喊:“别离火那么近!往外走点!”她还对…

稳定币概念集体大涨 政策利好密集释放

受全球多地稳定币监管政策进展提振,相关概念股近日表现活跃。截至发稿,连连数字(02598.HK)、OSL集团(00863.HK)分别上涨57.88%、3.10%。香港特别行政区政府5月30日在宪报刊登《稳定币条例》,标志着该条例正式生效,进一步完善了香港的数字资产监管框架。此前5月21日,香港立…

从0开始学vue:pnpm怎么安装

一、什么是 pnpm? pnpm(Performant npm)是新一代 JavaScript 包管理器,优势包括: 节省磁盘空间:通过硬链接和符号链接实现高效存储安装速度更快:比 npm/yarn 快 2-3 倍内置工作区支持&#xf…

【笔记】在 MSYS2 MINGW64 环境中安装常用开发依赖包

📝 在 MSYS2 MINGW64 环境中安装常用开发依赖包 ✅ 目标说明 在 MSYS2 的 MINGW64 工具链环境中,安装 Python 开发所需的基础依赖库和工具。 这些包括: 编译工具(GCC)Python 包管理器(pip、setuptools、wh…

基于springboot的家政服务预约系统

博主介绍:java高级开发,从事互联网行业六年,熟悉各种主流语言,精通java、python、php、爬虫、web开发,已经做了六年的毕业设计程序开发,开发过上千套毕业设计程序,没有什么华丽的语言&#xff0…

“对等关税”要黄了吗 特朗普政府上诉反击

近期,美国政坛围绕关税的斗争不断升级。5月28日,美国国际贸易法院裁定特朗普利用《国际紧急经济权力法》越权加征关税无效。这意味着特朗普今年2月对中国、墨西哥和加拿大征收的关税将被视为违法。对此,特朗普团队随即提出上诉。5月29日,美国联邦巡回上诉法院批准特朗普政府…

警方通报男子将女童拖进小巷 嫌疑人已被拘留

6月3日,湖南娄底市公安局娄星分局通报了一起事件。5月20日下午,嫌疑人刘某某(男,38岁)酒后在娄底市娄星区涟滨中街附近拖拽一名6岁女童进入居民区巷子。幸亏居民及时制止并报警。警方迅速赶到现场将刘某某控制。经侦查,刘某某涉嫌寻衅滋事已被拘留,并将依法追究其刑事责…

郑钦文晋级法网8强,发文晒满背泥泞照祝大小朋友勇敢追梦

法网女单第四轮,郑钦文总比分2-1战胜萨姆索诺娃。赛后郑钦文发文送出儿童节祝福:人都应该有梦,有梦就别怕痛,是一颗宝石就该闪烁祝所有的大朋友小朋友们节日快乐,勇敢追梦。其中有一张照片郑钦文满背泥泞,心疼又佩服!责任编辑:zx0002

国足将于5日迎18强赛“生死战” 背水一战求生机

中国青年报报道,北京时间今天中午,国足一行从上海驻地出发前往印尼雅加达,备战2026美加墨世界杯亚洲区18强赛小组赛第9轮客场赛事。除因伤无法随队出征的前锋刘若钒外,25名球员将乘坐傍晚航班前往印尼。这场关键比赛将于6月5日21时45分在雅加达格罗拉蓬卡诺体育场举行,如果…