随着科学技术的飞速发展,现代战争已经发展到了在陆、海、空、天四维空间中进行全面较量的阶段,多传感器技术在军事等各领域中的应用都非常广泛,多传感器如目标探测识别系统中的CCD摄像头、红外热像仪和多传感头等。在现代高技术条件下的局部战争中,夜视观察能力已经成为军队战斗力的重要影响因素之一。利用多传感器图像融合技术使得夜视系统对目标跟踪识别的准确率大大提高。所以图像融合技术是我们所研究的重点方向。红外与微光图像融合是现今图像融合中研究较为深入的一个方向。但是,对于同一场景,如果我们使用相同或者不同的传感器或成像设备,各传感器或成像设备的成像机制不同,同时在不同的条件下(如天气,温度,湿度,照度,摄像位置和角度等不同),它们工作时通过的光路不同或者是成像分辨率不同或图像的平台校准不一致等原因,我们获取的两幅或多幅图像一般会有所不同,就会使图像融合无法进行,这就需要我们对不同传感器接受到的多源视频图像进行配准,只有当我们精确到像素级的配准时,才可以保证良好的图像融合效果。
1.1 图像配准研究现状及方法
1.2 FPGA的应用优势
实时数据处理系统需具有能够处理大量数据的运算能力,以保证系统的实时性。当前,设计人员经常采用哈佛结构的DSP芯片作为数字信号处理的处理器。它具有处理速度高、成本和功耗低的特点。因此,DSP芯片以其适应于高速数字信号处理的内部结构,在图像处理领域发挥着重要的作用。但是在实时图像处理中,DSP仍有它的瓶颈。实时图像要求每秒输出数十张的画面,通常为24-30。实时图像处理的数据量非常大,因此它既要求DSP有高速的数据处理能力,也需要能快速的传输数据。对于DSP芯片而言,其片内的存储空间相当有限,必须通过外扩存储器的办法来缓存待处理的数据,这样必然会增加DSP读取数据的时间,同时也削弱了DSP高速运算能力。而且,DSP只有一个CPU进行运算,如果需要对图像进行模板操作,将会非常的耗费资源并且难于保证实时性。当然,有设计人员提出了采用DSP阵列的方法来实现并行算法,提高运算能力、改善实时性。相比DSP,基于LUT(查找表)的FPGA(现场可编程门阵列),没有固定的硬件结构。它具有丰富的可编程逻辑资源,存储块和DSP模块供调用,有非常大的设计自由度。利用FPGA高速,并行计算的特点,我们通过采用流水线的处理方式,能够很大程度上提高系统的实时性,从而满足实时图像的要求。源]自{751·~论\文}网·www.751com.cn/
本文在Altera公司的CycloneIV系列的型号为EP4CE115的FPGA芯片上面硬件实现了图像的仿射变换。经实验验证,能够满足实时图像处理的要求。
1.3 本文的主要内容
本文针对目前国内外的研究热点图像融合,寻找一种合适的图像仿射变换方法来进行图像融合前的图像配准。同时自己开发出一套FPGA的硬件平台,使该仿射变换算法程序能在该FPGA上稳定地进行实时图像处理。本设计采用传统的双线性插值算法并利用FPGA运算速度快,存储空间大,成本、功耗小等特点来满足图像的实时处理,利用Altera公司的Quartus II软件,采用VHDL和Block相结合的方式实现双线性插值算法,优化系统的成像质量。本文主要完成了以下几方面的工作:
(1)一系列图像仿射变换算法的研究、筛选和优化。研究了传统的二阶和一些高阶算法,针对它们处理图像的优缺点,筛选出适合在FPGA上运行的双线性插值算法,并在Quartus II 上实现。