360度视频序列全景图拼接系统的设计与实现( 二 )


2) 在旋转后的图像中 , 以关键的中心取 16×16 的邻域窗口 , 即为关键点的邻域窗口 , 每个小格代表关键点邻域窗口中的一个像素 , 箭头的长度为像素的模值 , 箭头的方向为像素的方向 , 这个方向是旋转后的像素方向 。
3) 将 16×16 的矩形窗口均匀分为 16 个 4×4 个子区域 , 采用高斯模糊的方法 , 然后计算每个区域中 8 个方向的梯度累加值 。
4) 得到特征点描述子特征向量 , 为 4×4×8=128 维向量 。 经过以上的变换 , SIFT 特征向量已经剔除了尺度变换、旋转变化的影响 , 接着将特征点描述子进行归一化处理进一步减少光照的影响 。 此外 , 为了减少大梯度值的影响 , 为其设定一个阈值为 0.2 , 如果向量中某一维的值大于 0.2 , 则将其重置为 0.2 , 并重新进行归一化处理 。
3.3 RANSAC算法
SIFT 算法将待匹配的特征点用 BBF 方法找到 k 个最近邻 , 然后利用最近邻比率方法判断特征点的匹配度 。 最近邻比率方法广泛用于基于特征的图像匹配 , 该方法简单方便并且比较稳定 , 但匹配的准确率往往不够理想 。 需通过其他方法提高 SIFT 特征点的匹配精度 。
RANSAC 算法是一种鲁棒参数估计方法 , 它通过迭代的方法对一组观测数据集进行数学模型拟合 , 然后采用随机抽样验证去除噪声点 。 其优点是可靠性强、精度高、鲁棒性强 , 对图像噪声和提取不准确的特征点有强健的承受能力 , 并具有较好的剔除误匹配点的能力 , SIFT 匹配对通过 RANSAC 几何校验之后可以有效滤除错误匹配 , 从而使得结合 RANSAC 的 SIFT 的性能更加优良 , 应用更为广泛 。
3.4 图像融合
图像融合是采用某种算法对两幅或多幅图像进行综合处理,最终形成一幅新的图像 。 根据融合处理所处的阶段不同,图像的融合处理通常可以在三个不同层次上进行像素级图像融合、特征级图像融合以及决策级图像融合 。
像素级图像融合方法可大体分为七类加权融合和主成分分析图像融合方法、假彩色图像融合方法、基于马尔可夫随机场的图像融合方法、基于调制的图像融合方法、基于统计的图像融合方法、基于神经网络的图像融合方法以及基于多分辨率分解的图像融合方法 。
其中最直接的融合方法就是对源图像进行加权平均作为融合结果 。 加权平均运算提高了融合图像的信噪比,但削弱了图像的对比度,在一定程度上使得图像中的边缘、轮廓变模糊了 。 这种方法具有算法简单、融合速度快的优点,适用于序列图像的融合 。
4 系统的设计与实现
4.1 需求分析
本系统主要为用户提供视频转制全景图的功能 , 同时还包括对全景图的管理功能、展示功能以及分享功能 。
图3–1系统用例图
1.新建任务
用户上传自拍的视频进行全景图制作 。
2.任务管理
用户可以进入任务列表页面查看任务状态 , 任务完成后可以对其进行查看、共享、转载、删除等操作 。
在进行中的任务分为以下状态:进行中、已成功、失败等状态
共享操作可以将全景图添加到分享页面
转载操作可以获得全景图转载代码 , 通过复制、粘贴代码可以将全景图片嵌入其他页面
删除操作可以删除需要删除的全景图
3.分享
默认情况下 , 全景图片对其他用户不可见 , 可以将图片添加到共享页面供其他用户使用 , 也可以取消共享 。

推荐阅读