超分辨率图像重建技术于1960年代由Harris和Goodman以单张图像复原的概念和方法最先提出[1] [2]。1980年代初,Tsai和Huang首先提出了基于序列或多帧图像的超分辨率重建问题,并且给出了基于频域的逼近的方法[3]。从1980年代后期开始,随着计算机技术以及相关优化理论的不断发展,人们在超分辨率图像重建方法的研究上取得了众多突破性进展。60137
目前,图像的超分辨方法从原理上可以分为基于重建的方法和基于学习的方法。其中基于重建的方法又可大体分为频域法和空域法两类。
频域方法是最早出现的超分辨率图像处理方法,它实际上是在频域内处理图像的内插问题,其观察模型是基于傅里叶变换的移位特性。频域法便于理解,运算速度较快,也非常容易进行并行处理,并具有直观的去变形超分辨率机制。但这类方法的缺点也是很明显的。其所依赖的理论前提过于理想化,无法有效地应用于各种场合,仅能局限于全局平移运动与线性空间不变降质模型,并且此类方法包含空域先验知识的能力不足。
空域方法是指在图像像素的尺度范围上,利用对像素点的变换与约束进而提高图像质量的方法。此方法有较广的适用范围,具有很强的包含空域先验约束的能力,主要包括迭代反投影方法(IBP)[4]、凸集投影法(POCS)[5]、最大后验概率估计(MAP)[6] [7]、混合MAP/POCS方法以及自适应滤波方法[8]、基于非均匀采样的插值法[9]、基于最优化技术的方法等。但是,迭代反投影方法和非均匀样本内插方法结合先验知识的能力很弱,在增强图像超分辨率效果方面显现出了一定的不足论文网。而MAP超分辨率图像重建算法的框架模型是直接考虑先验知识的,使用MAP作为先验知识模型能够提供非常方便、直观并且符合实际的成像模型;此外,利用MAP这样的框架还可以进行运动估计与超分辨重建的同时求解。在POCS算法中,超分辨率解空间中可行解的限制条件被定义为约束集,每个限制条件都定义为向量空间里的凸集合。这些限制条件能为超分辨率解提供所需要的特性,比如正定、能量有界、数据可靠和平滑等,求解的过程就是从多个约束集合的交集中求解高分辨率图像,该方法实现简单,可处理复杂的退化模型[5]。因此,当前研究和应用较多的是最大后验概率估计方法和凸集投影方法。
基于学习的方法是最近几年超分辨率算法研究的热点问题。该方法最早是由卡耐基—梅隆实验室的Baker S[10]在2000年提出的。基于学习的方法是利用已知的训练图像集,求解出测试样本的patch与训练图像集patches之间的邻域关系,得到最优的权值约束,从中获取先验信息并逼近测试样本的高分辨率图像。当低分辨率图像所提供的信息无法满足高分辨率需求时,基于学习的方法能够得到更丰富的图像高层信息,因此较其他方法而言具有很大优势,在图像超分辨率的各类应用中可能会得到较为理想的结果,为在大抽取率情况下恢复出必要的高频信息提供了新的思路。虽然基于学习的超分辨率重建方法起步较晚,但是其发展迅速,因而具有广阔的应用前景与重大的现实意义。