第41卷 第4期 2011年4月 激光与红外 LASER & INFRARED Vo1.41.No.4 April,2011 文章编号:1001-5078(2011)04-0470-04 ・图像与信号处理・ 结合相位和SIFT特征相关的图像自动配准算法 马超杰 ,关 平 ,李瑞旺 (1.指挥学院作战指挥系,天津300350;2.电子工程学院安徽省红外与低温等离子体重点实验室,安徽合肥230037) 摘 要:提出一种鲁棒性较好的图像配准算法解决乱序输入图像序列自动拼接问题。首先为 输入图像建立多分辨率金字塔,在较低分辨率图像层上进行相位相关区域搜索;接着对得到的 相关区域进行SIFF特征相关验证,得到图像序列的配准关系和透视变换矩阵的初步估计;然 后结合估计参数对原始图像的SIFT特征再次进行相关匹配,最终实现图像序列变换参数的精 确求解。该算法结合相位相关和SIFF特征相关两种配准算法的优点并应用由粗到精的匹配 策略提高了图像配准的速度和稳定性。 关键词:图像自动配准;相位相关;SIFT特征;对数极坐标变换 中图分类号:TP391 文献标识码:A Image automatic mosaic method based on phase and SIFT feather correlation MA Chao-jie ,GUAN Ping ,LI Rui.wang (1.Combat Command Department of CAPF Command Institution,Tianjin 300350,China; 2.Key Lab of Infrared and Low Temperature Plasma of Anhui Province,Electronic Engineering Institute,Heoif 230037,China) Abstract:In this paper,a robust image alignment algorithm is presented for solving disorder sequential images mosaic problem.Firstly,input images multi—resolution pyramids are constructed,and phase-correlation sub area pairs are searched in the low resolution layer.Then,these area pairs sIPr feathers are cross—correlated to verify the matching situation,input images matching relation and each projective transformation matirx are initially estimated.Finally,the matched original images SIFI"feathers are cross—correlated again for exactly solving the transformation parameters. Phase.correlation method and SIFT feather correlation method are combined in this algorithm。and the multi—resolution method is also applied.So,the velocity and stability of image alignment operation are optimized by this algorithm. Key words:image automatic mosaic;phase correlation;SIFT feather;log—polar coordinate transformation 1 引 言 快速估计出图像间匹配关系及相应缩放、旋转和平 图像配准是图像拼接重要核心技术之一。目前 配准算法大致分为灰度特征匹配和频域特征匹配两 类¨ J。图像灰度特征多采用Harris、SUSAN、MS— 移(RST)参数,但参数精度受限于坐标变换精度…。 本文结合相位相关和SIFT特征相关两种图像 ER和SIFT等特征点来描述,其中sIPr 3 虽具有较 好的鲁棒性,但计算量较大且基于局部灰度分布的 圈有属性无法避免误匹配。图像频域特征匹配应用 配准算法的优点,设计出一种针对乱序输入图像序 列的高效稳定图像序列自动配准算法。 基金项目:安徽省红外与低温等离子体重点实验室基金(No. 2007A011011F)资助。 作者简介:马超杰(1981一),男,博士研究生,主要研究方向为 光电工程。E・mail:coolwinterman@163.con 收稿日期:2010—10—30;修订日期:2010-12-14 图像频谱相位相关特性推测图像间平移关系,随后 开发出的结合对数极坐标变换的扩展相位相关可以 激光与红外No.4 201l 马超杰等结合相位和SIFT特征相关的图像自动配准算法 47l 2基于相位相关的图像匹配算法 分辨率的图像,s ( ,Y),其中i为图像序列, 为分辨 率因子。然后应用高斯核G( ,Y, )卷积,建立多 尺度高斯金字塔图像L ( ,Y,or )和多尺度高斯差 分(DoG)金字塔图像D:( ,Y,17" )。接着在图像空 间和尺度相邻空间的27个像素内进行极值点检测。 最后精确求出特征点位置和尺度。将DoG空间函 数D( ,),, )在局部极值点附近泰勒展开至2次 相位相关在频域利用图像频域整体结构信息得 到一个比较可信的粗匹配结果,并且对于图像色调 改变、加性噪声污染、目标区域部分遮挡等情况具有 很强的鲁棒性和比较强的实用性 。 设,l( ,y)为参考图,,2( ,Y)为经仿射变换 (0o,c,(a,b))后图像。F (U, )和 (u, )分别 为对应的二维傅里叶变换。表达关系如下所示: 项,设导函数为0,得特征点偏移量 和对应极值 ,2( ,Y)=,l(CXCOSOo+cysinOo—a,一cxsinOo+ cycosO0—6) (1) ( , ): F (—ucos0o+rsin0o—, -usin0o+ ̄cos0o) C (2) 结合P=、// + ,0=arctan(u/v)对数极坐标 变换,将函数所在的空间由笛卡儿空间( ,Y)投影 到对数一极坐标空间(1og(r),0): I F2(pcosO,psinO)l= IFl(pcos(0一Oo)/c,psin(0一 )/c)J (3) 记 ( ,0)=I F (pcosO,psin0)l i=1 or 2, = logo, =logc,将函数图像的旋转角度和缩放因子变 为对数一极坐标空间的加减运算: ( , )=M ( 一 。,0—6}0) (4) 因此,图像间的仿射变换参数求解转化为两次 图像平移参数求解。若M2 (u, )记为 :(u, )的 共轭功率谱,从而两幅对数一极坐标图像互功率 谱为: 兰: 兰! 一 J('qo+vOo) fs、 IMl(“, ) ( , )f。 对式(5)右边傅里叶逆变换得到(a,b)处的一 个单位脉冲函数,其位置反映了图像间的相对平移 量,即图像间相应的旋转角度 和缩放因子C。然 后将变换图像经过旋转和缩放的逆变换与参考图再 进行相位相关计算便可求出平移参数(a,b)。 实际情况中由于非重叠区域干扰使得正确匹配 峰值的尖锐性有所降低,我们通过子区域搜索策略 提高重叠区域在运算面积中的比例,有效提升了相 关峰锐度,实现图像序列匹配关系快速判断。 3基于SIFT特征的图像匹配算法 SIFT算法从空间域和尺度域两个角度进行特 征分析,主要分为以下3个步骤 : (1)检测和定位尺度空间极值点 首先将初始图像 ( ,Y)重采样得到一组不同 D(X): D( ):D+ + o ̄_P Dx (6) OD D一 +寺 (7) 去除两类非稳极值点:一类是I ( )f≤0.03 的弱特征点;另一类是根据特征点Hessian矩阵特 征值的比值判断得到的边缘响应点。 (2)确定特征点主方向并生成特征点描述向量 首先在特征点为中心的邻域窗口内应用梯度方 向直方图统计邻域内像素的梯度方向,根据直方图 最高峰值点和超过峰值80%能量的峰值确定特征 点主方向和辅方向。然后将坐标轴旋转为特征点主 方向并以特征点为中心选取16×16窗口区域建立 具有旋转不变性的特征点描述向量:按照4×4方式 将窗口平分为l6个子图像块,在每一个子块内计算 等间隔量化8方向的梯度方向累加直方图,长度归 一化后即得到稳定性较好的SIFT特征点描述向量。 (3)特征点对匹配 以特征点描述向量间的欧氏距离作为匹配相似 度准则进行匹配判断。建立k—d树提高匹配点对 搜索速度,找出每个特征点两个最近邻特征点及相 应欧氏距离,如果比值小于规定阈值(一般设为 0.6)视为匹配成功,否则视为不匹配。 SIFT算法通过多种尺度空间图像分析和应用 特征点主方向建立特征描述向量两种策略实现具有 较大变换参数图像对的匹配,但在增加匹配成功率 的同时也引起计算量的急剧增加。结合相位相关匹 配得到的图像间初始缩放和旋转变换参数,可以为 sIFTr计算中尺度空间选择和特征点匹配范围约减 提供初始估计。尺度空间参数根据图像间初始缩放 参数进行适当选择,避免了单一SIFT算法在所有尺 度空间上的计算,从而有效降低非相关特征点的计 算。特征点匹配根据图像间初始变换参数估计出正 472 激光与红外 第41卷 序列建立正确的匹配关系并得到匹配率较高的 SIT特征点对;以特征点对的对称投影位置误差最 F小化为目标函数,应用RANSAC算法 进一步剔除 误匹配点对,求出透视变换矩阵;将低分辨率图像求 出的变换矩阵作为初步估计,对原始图像再次进行 SIFT特征相关匹配,结合RANSAC和LM非线性优 化算法 估计出最优透视变换矩阵,最后将正确匹 『。 。 。 i“ 一。] L. 0 o 1 J ‰ 初 建 始 立 图 仿射参数估计 初始 输 多 像 入 分 对 图像 图 辨 两 透视 像 两 变换 序 选 列 择 参数 求解 图1 图像配准算法流程图 Fig.1 image alignment algorithm diagram 首先为输入图像序列建立多分辨率金字塔,在 较低分辨率的图像层上进行相位相关区域搜索;对 于相关性能良好的图像对应用SIFT特征相关进行 匹配验证,其汁算区域根据初始变换参数裁剪、SITF 计算参数根据缩放比自适应调整、SIFT特征点匹配 搜索 域根据初始变换预测,从而为乱序输入图像 配的所有图像逐一变换得到图像拼接全景图。 5试验结果 试验数据是数码相机拍摄的9张分辨率为 1024 X768的数码照片。为了验证算法的实用性 能,照片为手持拍摄且拍摄位置具有一定平移,排列 顺序随机打乱如图2所示。应用Matlab进行算法 测试 。 __ _ _●■ 幽2随机输入的数码照片序列 Fig.2 random ordered images sequence 为了说明本文算法的配准流程,选取输入序列 的前三幅图像进行配准区域搜索测试。首先选用高 斯金字塔方法对图像进行欠采样处理,在分辨率为 256×192的图像层上选用128 X 128分辨率的子图 像区域进行相位相关区域搜索。搜索区域的尺度及 位置选择方法根据图像间重合区域的比率进行设 定,这里以图像纵向主轴为中心并根据对称性原则 每蝠图像等间隔选择3个128×128的子图像作为 候选区域进行相位相关测试。图3(a)一图3(c)所 示为其中的三个样本选择方法示意图。重合比率较 高子图像对具有相对较高的峰值,例如子图像图3 (b)图3(c)相位相关结果图3(e)的相关峰尖锐且 峰值约为0.16,而子图像图3(a)图3(o)不是同一 区域的图像,其相位相关结果图3(d)没有明显的相 关峰。根据子图像相关结果对相关性能良好的子图 像对进行SIFT特征相关验证,从而估计出与本图像 重合率较高的所有候选图像。 激光与红外N0.4 2011 马超杰等结合相位和SIFT特征相关的图像自动配准算法473 图。本文算法自动区分出输入图像的相对关系,建 立对应景物的全景图,并排除了一幅干扰图像,达到 乱序输入图像序列自动配准的要求。 6结论 应用本文提出的算法多种图像序列进行自动配 准测试,均得到了满意的结果。该算法相对于基本 SIFT特征匹配算法有效减少了运算量,同时应用相 位相关方法进行变换参数的初步估计实现了匹配关 (a) (b) (c) 系的双重验证。所以,该算法兼顾图像自动匹配的 __ 一一 _ __,、一 __ — 一 (d) (e) 图3 图像子区域搜索及相位相关结果示意图 Fig.3 sub—image searching and phase correlation result 用RANSAC方法对图3(b)图3(c)对应原图像 SIFT匹配特征点对进行分析,如图4所示,只留下 正确匹配特征点对进行透视变换矩阵估计和优化。 图4正确匹配的图像SIFT特征点对 g.4 matching pairs of SITF points 依据同样方法求出输入图像序列中所有正确匹 配图像对的变换矩阵,最终得到图5所示拼接全景 (a) (b) 图5图像自动配准及拼接结果图 Fig.5 image auto—alignment and mosaic result 速度和稳定性,具有较强的使用和推广价值。 参考文献: Richard Szeliski.Image alignment and stitching:A Tutori- al,Technical Report[R].MSR-TR-2004:92. l2] Yu Hongsheng,Jin Weiqi.Evolvement of research on techniques of digital image mosaics from video sequence [J].Laser&Infrared,2009,39(10):1040—1045.(in Chinese) 余宏生,金伟其.基于视频序列的数字图像拼接技术 研究进展[J].激光与红外,2009,39(10): 1040—1045. [3] David G Lowe.Distinctive image features from scale—in- variant keypoints[J].International Journal of Computer Vision,2004,60(2):91—110. [4] G Wolber,S Zokai.Image registration using log-polar transform[C].Proceedings of IEEE International Confer— ence on Image Processing,Canada,Sep,2000. [5] Ma Chaojie,et a1.Image automatic mosaic method based on image inherent characteristic[J].Laser&Infrraed, 2008,38(11):1151—1155(in Chinese) 马超杰,等.基于图像内在特征的图像自动拼接方法 [J].激光与红外,2008,38(11):1152—1155. [6] Chen Jie,et a1.Method of infrared and visible image regis— tration based on similar triangles matching[J].Laser& Ifnrared,2010,40(2):215—218.(in Chinese) 陈洁,等.基于相似三角形匹配的红外与可见光图像 配准方法[J].激光与红外,2010,40(2):215—218. [7] K Levenberg.A method for the solution of certain nonlin— ear problems in.1east squqres[J].Quart.App1.Math., 1944,(2):164—166. [8] Rafael C Gonzalez,et a1.Digital image processing using matlab[M].Beijing:Publishing House of Electro—nics In. dustry,2003.