设A和B是两个随机变量，它们的联合概率密度函数为 ，它们的联合熵定义为：
  （3-4）
联合熵是两个随机变量相关性的度量。当两个随机变量独立时，它们的联合
熵为：
   （3-5）
3.2  互信息量
互信息量的概念源于信息论，最早在1995年被用于图像配准，并取得了激动人心的结果。目前，互信息量被认为是最准确和鲁棒的回溯性图像配准的度量之一。两个随机变量之间的相关熵，就称为互信息。
大多数有关信息论的文章都有对于互信息的论述，但是互信息的定义可以有不同的表述方法，在此列出三种文献常用的互信息定义方法。每一种定义都可以写为另外两种定义方式。但是，每一种定义方式应用到两幅图像的配准中的方式都不同。(1)第一种定义方式很好的解释了“互信息”的概念：对于两幅图像A和B，互信息定义为：I (A, B )=H (B )—H (B /A)，其中，H (B)表示图像B的Shannon熵，其值由图像B的灰度值概率分布计算得到。H (B /A)是由条件概率p (b /a)计算得到的条件熵；(2)第二种定义方式与熵的联系最为紧密：I (A, B )=H (B )+H (A) -H (B ,A)；(3)第三种定义方式与Kulliback-Leibler距离有关： ，可以解释为图像灰度值的联合概率分布p (a ,b)和将两幅图像视作独立变量时的联合概率p (a )p (b)的距离。
图3-1 互信息示意图
3.3 归一化互信息
尽管互信息测度成功的应用于医学图像配准中，但当两幅图像中的重叠部分减少时，参与统计互信息的像素个数减少导致互信息值减少，而且误配数量的增加可能导致互信息值增大。因此互信息值达到最大并不能保证得到正确的配准结果。基于此，Studholme[21]等和Maes[22]等分别提出了两种归一化互信息的表现形式：

近年来归一化信息被广泛的应用于图像配准中，特别对于刚性配准，比传统的互信息更稳健，配准精度更高[23]。
3.4 互信息的计算
互信息的计算方法最常用的是直方图[24]和Parzen[25]窗。Parzen窗法更接近于互信息量的统计属性，可以更精确的计算互信息量，但计算本身复杂。而直方图法计算简单，从直观的角度提出了以频率代替概率来进行密度估计，用直方图估计概率密度分布有时会陷于二进制问题。但却因它的简单高效应用最广。联合直方图用两文随机变量(A, B)的样本 构造估计联合概率密度的二文联合直方图，样本集是取自两个随机变量的联合分布区。
二文联合直方图的X -Y轴代表随机变量A, B的取值。本文中，以图像为研究对象，随机变量A, B是图像的灰度，2D联合直方图的X -Y是离散的图像灰度值，取值范围[0,255]，h (x ,y)是两幅图像重叠部分的灰度值为(x ,y)的体素的总个数。在实际计算工程中，对于离散的数字图像，采用归一化估计两个随机变量的联合概率分布：
  （3-8）
及边缘概率分布：

两个随机变量的互信息量为：
   （3-11）
基于互信息相似性测度的配准方法一般首先对浮动图像F做几何变换T，由于变换后像素的坐标不会和原来的采样网格完全重合，一般还需要对图像进行插值处理，然后利用互信息测度产生一个目标函数。当两幅图像完全对准的时候，配准参数在此目标函数的最大值处获得，这时配准就成为一个多元参数的寻优过程（详细流程见图3-2），可以表示为：
 图3-2 基于互信息的图像配准一般流程
3.5  优化算法
图像配准的本质就是对变换模型进行参数搜索过程，最优化过程在配准过程中具有非常重要的地位，图像配准优化算法的选取直接关系到配准结果的精度和速率。常用的优化算法有Powell算法、模式搜索法、遗传算法和蚁群算法等。本文我们采用改进的powell优化方法。 双谱图像配准技术研究+powell算法(6):http://www.751com.cn/tongxin/lunwen_2637.html