图像修复与扩展:填充缺失区域与扩展画布
什么是图像修复与扩展?
图像修复(Inpainting)与扩展(Outpainting)是数字图像处理与生成式AI领域的核心技术。修复指智能填充图像内的缺失、损坏或不需要的区域,使结果看起来自然连贯;扩展则是在图像边界之外生成新内容,扩大画布的同时保持原图风格与语义一致。这两项技术广泛应用于老照片修复、水印去除、构图调整、创意视觉设计等场景。
图像修复的核心方法
传统算法:从纹理合成到扩散模型
-
基于样本的纹理合成
早期方法从图像已知区域采样小块纹理,拼贴到缺失区域。如Photoshop的“内容识别填充”就基于PatchMatch算法,它快速寻找最佳匹配块并融合边缘,擅长重复纹理但难以处理复杂结构。 -
偏微分方程与扩散模型
通过计算周边像素的梯度信息,将平滑信息向内扩散。例如,Navier-Stokes方程方法能保持边缘连续性,适合小面积划痕修复,但大面积缺失时会产生模糊。 -
深度学习方法
卷积神经网络(CNN)通过编码器-解码器结构直接预测缺失像素。代表性模型有Context Encoder、Partial Convolution(部分卷积)和Gated Convolution。这些方法能理解图像语义,补全人脸、物体等复杂内容。现代工具如Stable Diffusion Inpainting模型更进一步,利用扩散模型根据文本提示或周围上下文生成高保真内容。
实操步骤:使用AI工具进行智能修复
此处以Stable Diffusion WebUI中的Inpaint功能为例:
-
上传图像并绘制蒙版
在img2img标签页中选择Inpaint子标签。上传原始图像,用画笔工具在需要修复的区域涂黑(蒙版)。 -
设置去噪强度与蒙版模式
- 去噪强度(Denoising strength):建议0.75-0.85,值越高生成的内容与原始区域融合度越低,但创意性更强。
- 蒙版模式:选择
Inpaint masked(仅重绘蒙版区域)或Inpaint not masked(重绘非蒙版区域,用于背景替换)。
-
调整上下文与分辨率
- Mask blur:设置4-8像素使蒙版边缘羽化,过渡更自然。
- Masked content:选
original会在修复时参考原图该区域的颜色纹理;选latent noise则完全重生成新内容。 - Inpaint area:选择
Whole picture(生成后整体融合)或Only masked(仅处理蒙版区域,尺寸较小时速度更快)。
-
编写提示词并生成
根据想修复的内容输入正向提示词(如“a clear blue sky”),负面提示词(如“blurry, watermark”)。勾选Restore faces可借助人脸修复模型优化面部。批量生成后挑选最佳结果。 -
精细化后处理
若修复区域仍有接缝,可降低去噪强度后再次小范围修复,或使用图像处理软件中的修复画笔工具做局部微调。
图像扩展:突破画布边界
扩展的原理与挑战
图像扩展(Outpainting)需要模型根据已有图像内容推测画布外的合理延伸。这比修复更具挑战性,因为模型必须理解全局构图、透视关系和场景逻辑。传统算法几乎无法完成,而扩散模型通过“上下文窗口”逐步外推,是目前最主流方法。
使用扩散模型进行Outpainting
以Stable Diffusion WebUI为例:
-
进入Outpainting专用脚本
在img2img标签页选择Script下拉菜单中的Outpainting mk2或Poor man's outpainting。mk2版本支持更智能的渐变扩张。 -
调整画布扩展方向与像素
设置上下左右各扩展多少像素(如向右扩展512像素以获得16:9横幅)。Outpainting mk2会生成一个新的更大画布,原图居中。 -
设置生成参数
- 采样步数:20-30步即可。
- 去噪强度:一般用0.8-0.95,因大部分区域是凭空生成。
- CFG Scale:5-8,保持与原图风格一致。
- 蒙版模糊:边界处需适当模糊(16-32像素),避免生硬线条。
-
编写全局提示词
描述整个场景,如“a vast meadow under sunset, cinematic lighting”,帮助模型统一生成与原图风格匹配的内容。也可以在“Stable Diffusion checkpoint”中选择匹配原画风的模型。 -
逐步扩展避免畸变
若一次性扩展幅度太大,容易产生重复纹理或透视崩塌。建议每次扩展画布置的20%-30%,多次迭代生成。例如,原始图片512×512,第一次向右扩展128像素,第二次再扩展128像素,使模型逐步适应。 -
后期融合
生成后检查接缝处,如有不自然过渡,可将原图与扩展图导入Photoshop,用蒙版轻轻擦出融合区域,或使用Inpaint功能对边界做局部修复。
实用场景与最佳实践
老照片修复
去除折痕、污渍并补全撕裂缺失的边角。先用传统修图工具清理灰尘,再用AI修复大面积缺损,最后用扩展功能重建缺失的背景,如完整的人物肩膀或建筑边缘。
构图重铸
为肖像照扩展出上半身,或为产品图添加环境背景。先在扩展区域生成粗稿,再整体进行高分辨率放大(Upscale),保证细节一致性。
创意合成
将小幅纹理扩展成无缝图案,或将名画边角延伸,创作现代延展作品。利用Outpainting的“无限画布”概念,可多次向外迭代,生成连续的叙事画卷。
避免常见问题
- 重复纹理:若生成区出现明显重复,降低去噪强度或增加采样步数,并尝试切换模型。
- 边界接缝:提高蒙版模糊值,或使用
Euler a采样器,其随机性有助于自然过渡。 - 人脸修复失效:当修复或扩展区域含人脸时,单独启用
Restore faces,或使用专门的Inpaint模型(如Realistic Vision Inpainting)。
工具选择指南
| 工具 | 适合场景 | 优势 |
|---|---|---|
| Photoshop (内容识别填充) | 小面积杂物去除、简单纹理修复 | 可控性强,无需网络,支持交互调整 |
| Stable Diffusion WebUI | 大面积缺失、语义级修复、创意扩展 | 开源免费,生态丰富,可自定义模型 |
| Lama Cleaner | 快速对象移除 | 简化操作,内置多种AI模型,一键擦除 |
| DALL·E 2 (Editor) | 在线快速修复与扩展 | 云端处理,提示词引导创意生成 |
开始动手:从一小块水印去除练起,逐步尝试为照片扩展更广阔的天地。图像修复与扩展不仅是技术操作,更是重新构思视觉叙事的起点。