基于小波变换的遥感影像融合与评价

摘要：阐述了小波变换的Mallat算法，同时对遥感影像融合的分析与评价进行了深入的探讨，提出了综合利用三类统计参数进行评价的方法。经实验，评价结果与理论分析结果和目视效果相吻合，说明这些参数可以作为遥感影像融合的客观效果评价准则。 关键词：小波变换 影像融合 统计参数 影像评价 图像融合是以图像为主要研究内容的数据融合技术，是把多个不同模式的图像传感器获得的同一场景的多幅图像或同一传感器在不同时刻获得的同一场景的多幅图像合成为一幅图像的过程。由于不同模式的图像传感器的成像机处理不同，工作电磁波的波长不同，所以不同图像传感器获得的同一场景的多幅图像之间具有信息的冗余性和互补性，经图像融合技术得到的合成图像则可以更全现、更精确地描述所研究的对象。正是由于这一特点，图像融合技术现已广泛地应用于军事、遥感、计算机视觉、医学图像处理等领域。 在众多的图像融合技术中，基于小波变换的图像融合方法已成为现今研究的一个热点。这类算法主要是利用人眼对局部对比度的变化比较敏感这一事情，根据一定的融合规则，在多幅原图像中选择出最显著的特征，例如边缘、线段等，并将这些特征保留在最终的合成图像中。在一幅图像的小波变换中，绝对值较大的小波系数对应于边缘这些较为显著的特征，所以大部分基于小波变换的图像融合算法主要研究如何选择合成图像中的小波系数，也就是三个方面上的高频系数，从而达到保留图像边缘的目的。虽然小波系数（高频系数）的选择对于保留图像的边缘等特性具有非常主要的作用，同时尺度系数（低频系数）决定了图像的轮廓，因此正确地选择尺度系数对提高合成图像的视觉效果具有举足轻重的作用。通过基于小波变换图像融合中小波基的选取或融合规则及融合算子的不同选择，可得到满意的融合图像。 1 基于小波变换的图像融合算法 在现实中，图像中的物体是以不同的尺度出现的。以一条边缘为例，它可能是一条从黑到白的陡峭边缘，也可能是一条跨越相当距离的缓变边缘。图像表示和分析中的多分辨率方法就是基于这种考虑。 Mallat在Burt和Adelson图像分解与重构金字塔算法（即高斯-拉普拉斯金字塔算法）的启发下，基于小波变换的多分辨率分析，提出了Mallat算法。 对于二维的情况，设Vj2(jεZ)是空间L2（R2）的一个可分离多分辨率分析，对每一个εZ,尺度函数系 构成Vj2(jεZ)的规范正交基，小波函数 εZ2构成L2（R2）的规范正交基。则对于二维图像f(x,y) εVj2，可用它在Vj2空间的投影Ajf(x,y)表示： 小波变换等介于用低通滤器和高通滤波器对图像信号进行滤波处理。若Hr,Gr和Hc,Gc分别表示镜像共轭滤波器H和G分别作用在行和列上，这样小波变换可以简单表示如下： 其中H*，G*为H，G的共轭转置矩阵。 对于一幅二维图像，式（4）中算子Hr,Hc是一个低通滤波器，它过滤出图像的低频分量，因此Cj+1显示了Cj低频分量，即图像的低频部分。算子Hr,Gc相当于二维低通滤波器，它对列作平滑，检测行的差异，因此Dj1+1显示了Cj的垂直方向的高频分量，即图像的水平边缘。算子GrHc对行作平滑，即图像的垂直边缘。算子GrGc是两个方面的高频滤波，检测对角边缘。由此看出，对一幅影像进行小波变换，就是将其分解到不同频率下的不同特征域上。 把待融合的原始图像进行小波变换后，图像被分解到不同的频率区域上，图像的融合处理就要在每一频率段上分别采用不同的算法进行图像的融合。对于图像可以进行层小波变换，每一层的小波变换只需对上一层的小波变换后的低频分量进行变换。这样就形成了小波变换的金字塔结构。 由于图像融合的最高层需要对数据进行选取或均衡，因此最高层的低频部分所用的融合算子是融合图像的细节取舍的最关键一步，对图像高频算子的合理选取可以起到增强图像边缘、突出边缘的作用。一般，最高层的低频部分采用比较算子，高频部分采用简单的加权算子，其他各层均采用简单的加权算子。 2 小波特性分析与图像融合规则 2.1 融合方法的理论根据 通过数值分布统计，信源图像A和B经过小波分解后的子图像具有如下特性：（1）原图像中区域的数据变化幅度与在子图像中相应区域的数据变化幅度一致；（2）对于同一目标或物体的不同信源图像，其低频图像相应区域的数据值相同或相近，而高频子图像却有显著差别。小波变换的上述特性，为有效融合方法的选择提供了理论依据。 2.2 图像融合规则及融合因子 采用武汉市某地区的两幅TM遥感图像进行融合实验。设A、B分别为两幅原始图像，F为融合的图像。在图像融合过程中，融合规则及融合算子的选择是图像融合中至今未解决的问题。 （1） 融合规则一：对于边缘分量，即小波分解中的高频分量LHj,HLi,HHi，取两幅图像相应系数矩阵中对应项的最大值（i=1,2,3,...,N）；对于低频分量LL，由于这部分对恢复图像质量影响很大，采用： F(j,k)=(A(j,k)+K%26;#215;B(j,k)) %26;#215;α-|A(j,k)-K%26;#215;B(j,k)| %26;#215;β计算。其中K、α、β为加权因子。前半部分A（j,k）+K%26;#215;B(j,k) %26;#215;α表示取两幅图像的加权均值，影响融合后图像的能量，对融合后图像的高度起决定作用；后半部分|A(j,k)-K%26;#215;B(j,k)| %26;#215;β表示取两幅图像的加权差值，包含两幅图像的模糊信息。因子K调节两幅图像的战优比例，使两幅亮度不同的图像达到均衡。随着α因子的增大，图像加亮；随着因子β增大，图像的边缘加强。对于不同的图像，适当调整K、α、β,可以消减模糊边缘并确保在消减时不过度地丧失边缘信息。对其他高频成分，取两组系数的最大值，可以得到最强的边缘信息，从而得到质量良好的输出图像。 （2） 融合规则二：分别计算两幅图像小波分解后的高频子图像上每个像素的局部平均梯度，以将像素的局部平均梯度作为准则，确定融合后的高频子图像上的像素值。设A(x,y)和(x,y)分别为可见光和红外图像，不同分辨率高频子图像分别为： Ajk(x,y)和Bjk(x,y)(k=1,2,3;j为尺度参数) 不同分辨率的高频子图像的梯度图像为GAjk(x,y)和GBjk(x,y)，若GAjk(x,y)≥GBjk(x,y),则小波分解后的高频信息为： 3 融合结果的定量评价 融合后的图像，可以用目视判读。优点是直接、简单，可根据图像处理后的对比做出定性评价；缺点是主观性较强。一般地，对于遥感影像融合的效果评价，应综合考虑空间细节信息的增强域光谱信息的保持，可用三类统计参数进行分析与评价：第一类反映亮度信息，如均值、方差、平均梯度；第二类反映空间细节信息，如方差、信息熵、交叉熵；第三类反映光谱信息，如扭曲程度、偏差指数、相关系数。为了客观定量评价融合效果，对融合图像可以用均值、标准方差、熵、交叉熵、扭曲程度、偏差指数和相关系数进行定量描述。 （1） 均值为图像中像素的灰度平均值，对人眼反映为平均亮度。如果均值适中，则视觉效果良好。方差反映了灰度相对于灰度均值的离散情况，方差越大，则灰度级分布越分散。此时，图像中所有灰度级出现的概率越趋于相等，从而包含了信息量越趋于最大。 （2） 图像住处熵是衡量图像信息丰富的一个重要指标，根据Shannon信息论的原理，图像的熵定义为：EN= 其中pi为达度等于i的像素数与总的像素数的比。通过对图像信息熵的比较可以对比出图像的细节表现能力。熵的大小，反应了图像携带的信息量的多少。融合图像的熵值越大，说明融合图像携带的信息量越大。如果图像中所有灰度级出现概率趋于相等，则包含的信息量趋于最大。 （3） 图像交叉熵直接反映了两幅图像对应像素的差异，可以用来确定各种融合效果的优劣，交叉熵值越小，说明融合结果图像与两幅原始图像的差异越小。令P={p1,p2,p3...pm},Q={q1,q1,q3...qm},则P与Q的交叉熵定义为：CEN=-∑piln(pi/qi)，设CEN1和CEN2为融合前两幅影像与融合结果图像的交叉熵，则融合图像与两幅原始图像的总体交叉熵为： 下面用n表示图像大小，K表示多光谱图像中的光谱分量的个数，K表示第K个光谱分量，V(k) i,j、V(k)I,j分别为第K个光谱分量在原始图像与融合图像(I,j)点的颜色灰度值。 （4） 扭曲程度。图像光谱扭曲程度直接反映了多光谱图像的光谱失真程度。第K个光谱分量的光谱据曲定义为： （5） 偏差指数。偏差指数用比较融合影像和低分辨率多光谱影像偏离程度。第K个光谱分量的偏差指数定义为： （6） 相关系数。图像的相关系数反映了两幅图像的相关程度。通过比较融合增强前后的图像相关系数可以看出多光谱图像的光谱信息改变程度。第K个光谱分量融合前后的相关系数定义为： 其中e-(k)、e(k)分别为第K个光谱分量融合前后的平均灰度值。平均相关系数定义为： 4 实验结果与分析 实验彩的两幅源图像为武汉某地区在2003年所摄取的同一地区TM4、TM5波段遥感影像，大小均为289X289，所图1所示。它们在TM七个波段的影像中的信息熵和标准方差是最大的，影像最清晰，质量最好。从视觉上看，TM4影像光线较暗，影像很模糊。而TM5影像比TM4影像要清晰，地物的轮廓反映较突出，河中孤岛的轮廓较清晰，信息量很丰富，图像质量要比TM4影像好。表1中的均值、方差、信息熵的定量统计数值也说明了这点。 对于这两幅影像分别采用基于像元的加权融合、基于主分量变换（K-L）的融合、小波变换规则一和规则二融合，融合后的影像如图2所示。从融合结果图可以看出，无论是空间分辨率，还是图像的清晰程度，这几种融合方法的结果图都比两幅原始影像提高很多。图2(a)中影像模糊，地物的轮廓不突出，光线很暗，对河中孤岛的反映很清晰，这种简单的处理会引起信息的失真，造成边缘模糊。图2（b）中影像比图2(a)清晰，光线要亮，对细节部分的体现更明显，尤其对糊中养鱼网箱的体现，但很难识别河中的孤岛。图2(c)中影像的信息有较大提高，光线较明亮，影像中的地物清晰可见，道路、网箱、孤岛的轮廓非常清晰，容易辨识。图2(d)中的影像视觉效果最佳，整幅影像的地物清晰，层次分明，信息量丰富，孤岛、道路和湖中的网箱非常清晰。 利用原始影像与融合影像的亮度分量统计得到均值、方差、信息熵、交叉熵。对于光谱信息，利用影像的RGB三个光谱分量统计得到各光谱分量的扭曲程度、偏差指数和相关系数，并计算了平均扭曲程度、平均偏差指数和平均相关系数。通过对两幅原始影像和融合后的影像进行统计，其性能统计参数如表1所示。 表1 各影像的性能统计参数 影像 均值 方差 熵 交叉熵 扭曲程度 偏差指数 相关系数 R G B 平均 R G B 平均 R G B 平均 TM4 86.7 32.4 4.5 　 　 　 　 　 　 　 　 　 　 　 　 　 TM5 88.8 33.8 4.8 　 　 　 　 　 　 　 　 　 　 　 　 　 融合（a) 97.6 34.1 5.0 4.9 20.5 14.2 11.1 15.3 0.22 0.15 0.12 0.16 0.88 0.84 0.86 0.86 融合（b) 98.4 36.8 5.2 4.6 23.4 15.6 13.6 17.5 0.25 0.18 0.17 0.20 0.81 0.76 0.78 0.78 融合（c） 99.2 39.5 5.4 4.4 26.4 22.3 18.6 24.8 0.29 0.24 0.24 0.26 0.59 0.65 0.65 0.63 融合（d） 99.8 41.8 6.1 3.8 30.1 25.8 26.4 27.4 0.32 0.30 0.28 0.30 0.50 0.51 0.52 0.51 从表1可看出，这四种融合方法中反映影像亮度信息的均值是递增的；反映空间信息细节的参数，如方差和信息熵呈现递增的趋势，交叉熵呈递减的趋势；反映光谱信息的参数如各个光谱的扭曲程度与偏差指数是递增的，而各个光谱的相关系数递减，平均扭曲程度、平均偏差指数和平均相关系数也有类似的变化趋势。在这几种融合方法中，最后一种方法得到的图像交叉熵最小，熵值最大，使得图像的信息量增加，与原图像差异最小，图像微小细节反差和纹理变化特征的表达能力大大增强，图像的清晰度得到了很大幅度提高。这些统计参数的变化趋势与各种融合方法的理论分析结果一致，与人的视觉效果的变化一致。 对于多光谱遥感影像的融合处理，若用一般的图像融合方法和规则或者融合算子选择不同，就很难难获得满意的融合效果。通过对几种融合规则的融合结果比较，提出了规则二的融合方法，其算法简单，稳定性好，图像增强效果明显。实验结果表明，该融合规则取得了良好的效果。同时，对比融合图像统计参数表明，它们的变化趋势与目视结果是一致的。说明这些参数可以作为多光谱影像融合的客观效果评价准则，统计特性法是一种客观、实用的分析与评价方法。