针对当前图像修复领域存在的缺乏对图像损失区域深层结构的合理性推理问题,以及如何生成更加准确清晰的纹理信息提出一种基于边缘条件的多特征融合图像修复方法——MEGAN(multi-feature fusion network model based on edge condition)...针对当前图像修复领域存在的缺乏对图像损失区域深层结构的合理性推理问题,以及如何生成更加准确清晰的纹理信息提出一种基于边缘条件的多特征融合图像修复方法——MEGAN(multi-feature fusion network model based on edge condition)。模型采用两阶段生成思想,使用边缘生成对抗网络修复缺损图像的边缘信息;用完整的边缘信息帮助纹理细节网络生成完整图像。在生成器结构上添加门控卷积以减少无效像素对修复过程的干扰,带门控的多扩张卷积块(gated multi-extension convolution block,GM block)实现对待修复图像的多尺度特征提取。多尺度谱归一化马尔可夫判别器在促进生成图像的结构一致性和细节表现力的同时严格控制梯度变化幅度,从而提高模型精度,稳定训练。在celebA和Places2数据集上的测试结果显示,MEGAN在生成合理的图像结构和准确清晰的细节纹理上明显优于主流的图像修复算法。展开更多
文摘针对当前图像修复领域存在的缺乏对图像损失区域深层结构的合理性推理问题,以及如何生成更加准确清晰的纹理信息提出一种基于边缘条件的多特征融合图像修复方法——MEGAN(multi-feature fusion network model based on edge condition)。模型采用两阶段生成思想,使用边缘生成对抗网络修复缺损图像的边缘信息;用完整的边缘信息帮助纹理细节网络生成完整图像。在生成器结构上添加门控卷积以减少无效像素对修复过程的干扰,带门控的多扩张卷积块(gated multi-extension convolution block,GM block)实现对待修复图像的多尺度特征提取。多尺度谱归一化马尔可夫判别器在促进生成图像的结构一致性和细节表现力的同时严格控制梯度变化幅度,从而提高模型精度,稳定训练。在celebA和Places2数据集上的测试结果显示,MEGAN在生成合理的图像结构和准确清晰的细节纹理上明显优于主流的图像修复算法。
