腾讯人工智能团队联合香港中文大学提出了一种名为BrushNet的创新图像修复模型。BrushNet是一种可插拔双分支模型,能够将像素级掩码图像特征嵌入任何预训练的扩散模型中,从而实现语义一致且质量增强的图像修复效果，可以实现高质量且自然连贯的重绘
BrushNet的核心创新点在于将掩码图像特征和噪声潜在向量分为两个独立分支进行处理。这种分支分离极大地减轻了模型的学习负担,使得模型能够以层级方式精细地融入掩码图像的关键信息
在模型架构方面,BrushNet首先对掩码进行下采样以匹配潜在向量大小,然后将掩码图像输入VAE编码器对潜在空间的分布进行校准。之后,噪声潜在向量、掩码图像潜在向量和下采样掩码被级联作为BrushNet的输入。从BrushNet提取的特征通过零卷积块层层叠加到预训练的UNet中。在去噪后,生成图像与掩码图像使用模糊掩码进行混合
研究人员在多个基准测试上评估了BrushNet,结果表明它在图像质量、掩码区域保留和文本一致性等7个关键指标上都显著优于现有模型
为促进基于分割的修复模型训练和评估,该团队还提出了BrushData和BrushBench数据集。BrushData在Laion-Aesthetic数据集基础上增加了分割掩码注释;而BrushBench则包含600张带有人工掩码和文本说明的图像,涵盖自然场景、绘画作品等多种类型,有助于公平评估不同类别的修复效果
除了出色的修复质量,BrushNet还展现了极佳的可拔插性和灵活控制性。研究人员将BrushNet集成到多个由Stable Diffusion 1.5微调的社区模型中,展现了出色的跨域修复效果。同时,BrushNet还允许通过控制因子来调节修复的精细程度,实现从精细到粗糙控制的无缝过渡
结语
在产品展示、虚拟试穿或背景替换中非常有用
blog：
https://tencentarc.github.io/BrushNet/
⭐星标AI寒武纪，好内容不错过⭐
用你的赞和在看告诉我～
即插即用👇👇