dehazing

FFA-Net: Feature Fusion Attention Network for Single Image Dehazing

1.增加像素注意力,让网络更加关注厚雾和高频纹理区域。

2.

 

FD-GAN: Generative Adversarial Networks with Fusion-discriminator for Single Image Dehazing

1.开发了一种新的融合鉴别器,它将高频和低频信息作为额外的先验和约束来进行去雾处理。高频和低频可以帮助鉴别器区分模糊和无模糊图像在纹理和主要颜色上的差异。为了提取低频信息,我们对图像采用高斯滤波去除高频细节。对于高频分量,我们在图像上应用拉普拉斯算子,之后对边缘和纹理进行强调。

LOSS

1.像素损失

2. SSIM loss(图像结构相似性)

3.Perceptual loss(特征空间的相似性)

4. 对抗损失(产生更真实图像)

5.总损失

实验结果:

 

Domain Adaptation for Image Dehazing

领域适应:通过对现有工作进行特征级或像素级调整,以减少领域之间的差异。

特征相关度适应:最小化或最大化特征差异,或在特征空间中使用对抗学习策略,来对齐源域与目标域之间的特征分布。

像素级自适应:通过图像到图像的迁移学习或风格迁移,增减目标域的数据来处理领域移动问题。

1.单纯在合成数据上训练的去雾模型由于区域漂移,不能很好地应用于真实的模糊图像,因此使用cycle-GAN对数据集进行增强。然后使用标准的编码-解码结构和跳连进行半监督的去雾训练。

2. 由于深度信息与雾霾公式高度相关,我们将其纳入到生成器GS R中,以在真实情况下生成类似雾霾分布的图像。并使用空间特征变换(SFT)层,将深度信息融入转换网络。

SFT:

使用perceptual loss和adversarial loss极大地改善了重建图像的感知质量。然而,生成的纹理趋于单调且不自然。

    作者探讨了纹理不自然的一个重要原因是由于,对于不用HR片段其对应的LR片段可能会很相同,这就导致在上采样的时,模型很难区分当前图像的片断属于哪一个类别,从而导致合成的图像的纹理不真实(比如将草的纹理贴在墙上)。因此使用空间特征变换(SFT)来转换网络的某些中间层的特征,改变SR网络的性能。SFT层以语义分割概率图为条件,生成一对调制参数,用来在空间上对网络的特征图应用仿射变换。将额外的图像先验(比如语义分割概率图)有效地结合到网络中去,恢复出与所属语义类别特征一致的纹理。

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注