来源：新智元
【导读】全面兼容Stable Diffusion生态，LCM模型成功实现5-10倍生成速度的提升，实时AI艺术时代即将到来，所想即所得！
Latent Consistency Models（潜一致性模型）是一个以生成速度为主要亮点的图像生成架构。
和需要多步迭代传统的扩散模型（如Stable Diffusion）不同，LCM仅用1 - 4步即可达到传统模型30步左右的效果。
由清华大学交叉信息研究院研究生骆思勉和谭亦钦发明，LCM将文生图生成速度提升了5-10倍，世界自此迈入实时生成式AI的时代。
LCM-LoRA: https://huggingface.co/papers/2311.05556
项目主页：https://latent-consistency-models.github.io/
Stable Diffusion杀手：LCM
在LCM出现之前, 不同团队在各种方向探索了五花八门的SD1.5和SDXL替代方案。
这些项目各有特色，但都存在着不兼容LoRA和不完全兼容Stable Diffusion生态的硬伤。按发布时间顺序，比较重要的项目有：
模型名称 |
介绍 |
生成速度 |
训练难度 |
SD生态兼容性 |
DeepFloyd IF |
高质量、可生成文字，但架构复杂 |
更慢 |
更慢 |
不兼容 |
Kandinsky 2.2 |
比SDXL发布更早且质量同样高；兼容ControlNet |
类似 |
类似 |
不兼容模型和LoRA，兼容ControlNet等部分插件 |
Wuerstchen V2 |
质量和SDXL类似 |
2x - 2.5x |
更容易 |
不兼容 |
SSD-1B |
由Segmind蒸馏自SDXL，质量略微下降 |
1.6x |
更容易 |
部分兼容 |
PixArt-α |
华为和高校合作研发，高质量 |
类似 |
SD1.5十分之一 |
兼容ControlNet等部分插件 |
LCM (SDXL, SD1.5) |
训练自DreamShaper、SDXL，高质量、速度快 |
5x -10x |
更容易 |
部分兼容 |
LCM-LoRA |
体积小易用，插入即加速；牺牲部分质量 |
5x -10x |
更容易 |
兼容全部SD大模型、LoRA、ControlNet，大量插件 |
这时，LCM-LoRA出现了：将SD1.5、SSD1B、SDXL蒸馏为LCM的LoRA，将生成5倍加速生成能力带到所有SDXL模型上并兼容所有现存的LoRA，同时牺牲了小部分生成质量; 项目迅速获得了Stable Diffusion生态大量插件、发行版本的支持。
LCM同时也发布了训练脚本，可以支持训练自己的LCM大模型（如LCM-SDXL）或LCM-LoRA，做到兼顾生成质量和速度。只要一次训练，就可以在保持生成质量的前提下提速5倍。
至此，LCM生态体系具备了完整替代SD的雏形。
截止至2023/11/22，已支持LCM的开源项目：
Stable Diffusion发行版
WebUI（原生支持LCM-LoRA，LCM插件支持LCM-SDXL）、ComfyUI、Fooocus（LCM-LoRA）、DrawThings
小模型
LCM-LoRA兼容其他LoRA，ControlNet
AnimateDiff WebUI插件
计划中添加支持的项目：
WebUI主分支持
训练脚本Kohya SS
LCM-SDXL、LCM-DreamShaper专属的ControlNet
LCM-AnimateDiff
随着生态体系的逐渐发展，LCM有潜力作为新一代图像生成底层完整替代Stable Diffusion。
未来展望
自Stable Diffusion发布至今，生成成本被缓慢优化，而LCM的出现使得图像生成成本直接下降了一个数量级。每当革命性的技术出现，都会带来重塑产业的大量机会。LCM至少能在图像生成成本消失、视频生成、实时生成三大方面给产业格局带来重大变化。
1. 图像生成成本消失
To C产品端，免费替代收费。受高昂的GPU算力成本限制，以Midjourney为代表的大量文生图服务选择免费增值作为商业模型。LCM使手机客户端、个人电脑CPU、浏览器（WebAssembly）、更容易弹性扩容的CPU算力都可能在未来满足图像生成的算力需求。简单的收费文生图服务如Midjourney会被高质量的免费服务替代。
To B服务端，减少的生成算力需求会被增长的训练算力需求替代。
AI图片生成服务对算力的需求在峰值和谷底涨落极大，购买服务器闲置时间通常超过50%。这种特点促进了大量函数计算GPU（serverless GPU）如美国Replicate、中国阿里云的蓬勃发展。
硬件虚拟化方面如国内的瑞云、腾讯云等也在浪潮中推出了图像模型训练相关虚拟桌面产品。随着生成算力下放到边缘、客户端或更容易扩容的CPU算力，AI生图将普及到各类应用场景中，图像模型微调的需求会大幅上涨。在图像领域，专业、易用、垂直的模型训练服务会成为下一阶段云端GPU算力的主要消费者。
2. 文生视频
文生视频目前极高的生成成本制约了技术的发展和普及，消费级显卡只能以缓慢的速度逐帧渲染。以AnimateDiff WebUI插件为代表的一批项目优先支持了LCM，使得更多人能参与到文生视频的开源项目中。更低的门槛必然会加速文生视频的普及和发展。
3分钟快速渲染：AnimateDiff Vid2Vid + LCM
3. 实时渲染
速度的增加催生了大量新应用，不断拓展着所有人的想象空间。
RT-LCM与AR
以RealTime LCM为先导，消费级GPU上第一次实现了每秒10帧左右的实时视频生成视频，这在AR领域必然产生深远的影响。
目前高清、低延时捕捉重绘视线内整个场景需要极高算力，所以过去AR应用主要以添加新物体、提取特征后低清重绘部分物体为主。LCM使得实时重绘整个场景成为可能，在游戏、互动式电影、社交等场景中都有无限的想象空间。
未来游戏场景不需新建，带上AR眼镜，身处的街道立刻转换为霓虹闪烁的赛博朋克未来风格供玩家探索；看未来的互动式恐怖电影时带上AR眼镜，家中熟悉的一切可以无缝融入场景，吓人的东西就藏在卧室门后。虚拟和现实将无缝融合，真实和梦境让人愈发难以区分。而这一切底层都可能会有LCM的身影。
RT-LCM视频渲染
交互方式 - 所想即所得（What you imagine is what you get）
由Krea.ai、ilumine.ai首先产品化的实时图像编辑UI再次降低了创作的门槛、扩大了创意的边界，让更多人在精细控制的基础上获得了最终画作的实时反馈。
Krea.ai实时图像编辑
实时图像编辑
建模软件 + LCM探索了3D建模的新方向，让3D建模师在所见即所得基础上更进一步，获得了所想即所得的能力。
LCM实时空间建模渲染
手是人类最没用的东西，因为手永远跟不上脑子的速度。所见即所得（What you see is what you get）太慢，所想即所得（What you imagine is what you get）会成为未来的创意工作的主流。
LCM第一次让展示效果跟上了灵感创意产生的速度。新的交互方式持续涌现，AIGC革命的终点是将创意的成本、技术门槛降低至无限接近于0。不分行业，好的创意将会从稀缺变为过剩。LCM将我们向未来又推进了一步。
欢迎对LCM有兴趣的朋友们加入LCM中文群: https://wx.hlcode.com.cn/?id=NKVa55S
参考资料：
https://latent-consistency-models.github.io/
人工智能产业链联盟高端社区
相关阅读
【碳中和】珍藏版！22个国内外“碳中和”相关报告合集！
【工业机器人】全球工业机器人详细产业链梳理！
【智能制造】智能制造50大产业链全景图
【智能工厂】智能工厂如何快速落地
【工业技术】航空制造推动新概念机器人发展（上）
【工业技术】航空制造推动新概念机器人发展（下）
【新基建+人工智能生态】全网最火“新基建”生态图谱—人工智能篇（含40个细分领域厂商）
【AI】一文读懂人脸识别技术
【AI】解析 | 人工智能发展及技术架构
【报告】中国人工智能厂商全景报告（附PDF下载）
【AI】（收藏）从 A-Z 全面盘点人工智能专业术语梳理！
【AI】计算机视觉入门大全：基础概念、运行原理、应用案例详解
【AI】一文读懂机器学习、数据科学、人工智能、深度学习和统计学之间的区别
【智能仓储】一文带你彻底搞懂智能仓储！
【深度学习】12张高清思维导图，总结深度学习
【神经网络】给初学者们讲解人工神经网络（ANN）
人工智能的基础--知识分类
【AI产业链】120图勾勒全球AI产业完整图谱!
【AI】一文读懂人工智能产业链
【AI】中国人脸识别产业链全景图！
【AI】史上最全的人工智能（AI）产业链地图！
【芯片】国产芯片大全：70个细分领域代表企业
人工智能产业链深度透析—基础层
人工智能产业链深度透析-技术层
人工智能全产业链深度透析--（综合）
人工智能产业链深度透析—产业应用医疗篇
朱松纯 | 人工智能的现状、任务、构架与统一（上）
朱松纯 | 人工智能的现状、任务、构架与统一（中）
朱松纯 | 人工智能的现状、任务、构架与统一（下）
【AI】美国国家人工智能研发战略规划2019
【智慧农业】2018中国农牧家禽行业智慧养殖白皮书
【智慧农业】2019年智慧农业市场调研及前景研究报告（附PDF下载）
【智能家居】我国智能锁产业现状及未来发展趋势分析
【知识图谱】详解知识图谱关键技术与应用、AI图谱技术在知乎的应用实践、如何构建多快好省的“知识图谱即服务”
荐：
【中国风动漫】《姜子牙》刷屏背后，藏着中国动画100年内幕
【中国风动漫】除了《哪吒》，这些良心国产动画也应该被更多人知道！
【中国风动漫】《雾山五行》大火，却很少人知道它的前身《岁城璃心》一个拿着十米大刀的男主夭折！
声明
免责声明：部分文章和信息来源于互联网，不代表本订阅号赞同其观点和对其真实性负责。如转载内容涉及版权等问题，请立即与小编联系（微信号：913572853），我们将迅速采取适当的措施。本订阅号原创内容，转载需授权，并注明作者和出处。如需投稿请与小助理联系（微信号：AI480908961）
编辑：Zero
推荐关注↓↓↓