sift是什么意思

Sift算法是David Lowe于1999年提出的局部特征描述子，并于2004年进行了更深入的发展和完善。Sift特征匹配算法可以处理两幅图像之间发生平移、旋转、仿射变换情况下的匹配问题，具有很强的匹配能力。这一算法的灵感也十分的直观，人眼观测两张图片是否匹配时会注意到其中的典型区域（特征点部分），如果我们能够实现这一特征点区域提取过程，再对所提取到的区域进行描述就可以实现特征匹配了。sift算法的应用SIFT算法目前在军事、工业和民用方面都得到了不同程度的应用，其应用已经渗透了很多领域，典型的应用如下：物体识别；机器人定位与导航；图像拼接；三维建模；手势识别；视频跟踪；笔记鉴定；指纹与人脸识别；犯罪现场特征提取。

SIFT算法主要分为四个步骤：1、尺度空间极值检测（Scale-space extrema detection）：通过使用高斯差分函数来搜索所有尺度上的图像位置，识别出其中对于尺度和方向不变的潜在兴趣点。2、关键点定位（Keypoint localizatio）：在每个候选位置上，利用一个拟合精细的模型确定位置、和尺度，关键点的选择依赖于它们的稳定程度。3、方向匹配（Orientation assignment，为每个关键点赋予方向）：基于局部图像的梯度方向，为每个关键点位置分配一个或多个方向，后续所有对图像数据的操作都是基于相对关键点的方向、尺度和位置进行变换，从而获得了方向于尺度的不变性。4、关键点描述符（Keypoint descriptor）：在每个关键点领域内，以选定的尺度计算局部图像梯度，这些梯度被变换成一种表示，这种表示允许比较大的局部形状的变形和光照变化。

SIFT特征 (Scale-invariant feature transform，尺度不变特征转换) 是一种计算机视觉的算法，用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量。此算法由 David Lowe 在1999年所发表，2004年完善总结。其应用范围包含物体辨识、机器人地图感知与导航、影像缝合、3D模型建立、手势辨识、影像追踪和动作比对。此算法有其专利，专利拥有者为 英属哥伦比亚大学。局部影像特征的描述与侦测可以帮助辨识物体，SIFT 特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关。 对于光线、噪声、些微视角改变的容忍度也相当高。基于这些特性，它们是高度显著而且相对容易撷取，在母数庞大的特征数据库中，很容易辨识物体而且鲜有误认。使用 SIFT特征描述对于部分物体遮蔽的侦测率也相当高，甚至只需要3个以上的SIFT物体特征就足以计算出位置与方位。在现今的电脑硬件速度下和小型的特征数据库条件下，辨识速度可接近即时运算。SIFT特征的信息量大，适合在海量数据库中快速准确匹配。

SIFT具有尺度不变性和旋转不变性。具体分为： 尺度规范化的Laplacian of Gaussian(LoG)算子具有尺度不变性。在具体实现中，可用Difference of Gaussian(DoG)算子近似LoG算子，在构建的尺度空间中检测稳定的特征点。 因此尺度空间的构架包含： sigma越大丢失的高频越多 每个像素要和周围的26个像素比较，确定它是当前尺度下，相邻频率信息的一个峰值。 为什么要精确定位，因为我们这个不论是x、y、sigma方向上都是离散的，要在连续的变化上求得极值点。 DoG函数D(X)=D(x,y,σ)在尺度空间的的Taylor展开式为： 令D(X)导数为0，得到极值点的偏移量： 若X^=(x,y,σ)T在任意一个维度大于0.5，说明极值点精确位置距离另一个点更近，应该改变当前关键点的位置，定位到新点后执行相同操作，若迭代5次仍不收敛，则认为该检测点不为关键点。精确关键点处函数值为： |D(X^)|过小易受噪声点的干扰而变得不稳定，若其小于某个阈值(例如0.03或者0.04/S)，则将该极值点删除。 为了得到稳定的特征点，只是删除DoG响应值低的点是不够的。由于DoG对图像中的边缘有比较强的响应值，而一旦特征点落在图像的边缘上，这些点就是不稳定的点。一方面图像边缘上的点是很难定位的，具有定位歧义性；另一方面这样的点很容易受到噪声的干扰而变得不稳定。 一个平坦的DoG响应峰值往往在横跨边缘的地方有较大的主曲率，而在垂直边缘的方向有较小的主曲率。而主曲率可以通过2×2的Hessian矩阵H求出 D 的主曲率和H的特征值成正比，令α为较大特征值，β为较小特征值，且α/β=r，则 (r+1)2/r在两个特征值相等时最小，随着r的增大而增大，r值越大，说明两个特征值的比值越大，正好对应边缘的情况。因此，设定一个阈值rt，若满足 则认为该关键点不是边缘，否则予以剔除。 好了，到这一步，我们已经完成了特征点的筛选，并且通过高斯金字塔的设计实现了尺度不变性。接下来，就该去搞定旋转不变性了。 这里的旋转不变性跟咱们角点自带的旋转不变性有一些不同。Harris的角点不变性靠的是旋转后，该是角点的地方还是角点，所以对于整张图对应的所有角点这个尺度看，它是具备旋转不变性的。但是SIFT中，我们希望给每个特征点赋值一个方向，这样，对于单个特征点来说，不管是如何缩放、旋转，这个方向作为它的一个属性都不会变。 为了使特征描述子具有旋转不变性，需要利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数。对于在DoG金字塔中检测出的关键点，在其所在高斯金字塔图像的3σ邻域窗口内计算每个像素的梯度幅值和方向，公式如下： L为关键点所在尺度空间的灰度值，m(x,y)为梯度幅值，θ(x,y)为梯度方向。对窗口内的像素的模值m(x,y)按σ=1.5σoct、邻域窗口为3σ=3×1.5σoct的高斯分布加权。 在完成关键点的梯度计算后，使用直方图统计邻域内像素的梯度和方向，梯度直方图将梯度方向(0,360u2218)分为36柱(bins)，如下图所示，直方图的峰值所在的方向代表了该关键点的主方向。 梯度方向直方图的峰值代表了该特征点处邻域梯度的主方向，为了增强鲁棒性，保留峰值大于主方向峰值80%的方向作为该关键点的辅方向，因此，在相同位置和尺度，将会有多个关键点被创建但方向不同，可以提高特征点匹配的稳定性。 至此，将检测出的含有位置、尺度和方向的关键点即是该图像的SIFT特征点。 是用128维向量对每个关键点进行描述。 通过上面的步骤，对于每一个关键点，拥有三个信息：位置、尺度以及方向。接下来就是为每个关键点建立一个描述符，用一组向量将这个关键点描述出来，使其不随各种变化而改变，比如光照变化、视角变化等等。这个描述子不但包括关键点，也包含关键点周围对其有贡献的像素点，并且描述符应该有较高的独特性，以便于提高特征点正确匹配的概率。 SIFT描述子是关键点邻域高斯图像梯度统计结果的一种表示。通过对关键点周围图像区域分块，计算块内梯度直方图，生成具有独特性的向量，这个向量是该区域图像信息的一种抽象，具有唯一性。 特征描述子与特征点所在的尺度有关，因此，对梯度的求取应在特征点对应的高斯图像上进行。将关键点附近的邻域划分为d*d(Lowe建议d=4)个子区域，每个子区域做为一个种子点，每个种子点有8个方向。每个子区域的大小与关键点方向分配时相同。 每一个小格都代表了特征点邻域所在的尺度空间的一个像素 ，箭头方向代表了像素梯度方向，箭头长度代表该像素的幅值。然后在4×4的窗口内计算8个方向的梯度方向直方图。绘制每个梯度方向的累加可形成一个种子点。 这样两幅图的特征坐标系都是以关键点的方向为准了，旋转不变性。 如上统计的4 4 8=128个梯度信息即为该关键点的特征向量。特征向量形成后，为了去除光照变化的影响，需要对它们进行归一化处理，对于图像灰度值整体漂移，图像各点的梯度是邻域像素相减得到，所以也能去除。 描述子向量门限。非线性光照，相机饱和度变化对造成某些方向的梯度值过大，而对方向的影响微弱。因此设置门限值(向量归一化后，一般取0.2)截断较大的梯度值。然后，再进行一次归一化处理，提高特征的鉴别性。 按特征点的尺度对特征描述向量进行排序 对两幅图像中检测到的特征点，可采用特征向量的欧式距离作为特征点相似性的度量，取图像1中某个关键点，并在图像2中找到与其距离最近的两个关键点，若最近距离与次近距离的比值小于某个阈值，则认为距离最近的这一对关键点为匹配点。降低比例阈值，SIFT匹配点数量会减少，但相对而言会更加稳定。阈值ratio的取值范围一般为0.4~0.6。 SIFT是一种检测、描述、匹配图像局部特征点的算法，通过在尺度空间中检测极值点，提取位置、尺度、旋转不变量，并抽象成特征向量加以描述，最后用于图像特征点的匹配。SIFT特征对灰度、对比度变换、旋转、尺度缩放等保持不变性，对视角变化、仿射变化、噪声也具有一定的鲁棒性。但其实时性不高，对边缘光滑的目标无法准确提取特征点 旋转不变性是计算关键点方向并旋转得到的；尺度不变性是图像下采样获得高斯金字塔得到的。

SIFT是一种基于特征的配准方法。SIFT特征匹配算法是 DavidG.Lowe在2004年总结了现有的基于不变量技术的特征检测方法的基础上，提出的一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的特征匹配算法。该算法匹配能力较强，能提取稳定的特征，可以处理两幅图像之间发生平移、旋转、仿射变换、视角变换、光照变换情况下的匹配问题，甚至在某种程度上对任意角度拍摄的图像也具备较为稳定的特征匹配能力，从而可以实现差异较大的两幅图像之间的特征的匹配.Mikolajczyk和Schmid针对不同的场景，对光照变化、图像几何变形、分辨率差异、旋转、模糊和图像压缩等6种情况，就多种最具代表性的描述子(如SIFT，矩不变量，互相关等10种描述子)进行了实验和性能比较，结果表明，在以上各种情况下，SIFT描述子的性能最好。

从理论上说，SIFT是一种相似不变量，即对图像尺度变化和旋转是不变量。然而，由于构造SIFT特征时，在很多细节上进行了特殊处理，使得SIFT对图像的复杂变形和光照变化具有了较强的适应性，同时运算速度比较快，定位精度比较高。如：在多尺度空间采用DOG算子检测关键点，相比传统的基于LOG算子的检测方法，运算速度大大加快；关键点的精确定位不仅提高了精度，而且大大提高了关键点的稳定性；在构造描述子时，以子区域的统计特性，而不是以单个像素作为研究对象，提高了对图像局部变形的适应能力；对于16*16的关键点邻域和4*4的子区域，在处理梯度幅度时都进行了类似于高斯函数的加权处理，强化了中心区域，淡化了边缘区域的影响，从而提高了算法对几何变形的适应性；该方法不仅对通用的线性光照模型具有不变性，而且对复杂的光照变化亦具有一定的适应性。关于这部分内容的细节，可参看文献“Distinctive Image Features from Scale-Invariant Keypoints”SIFT算法的特点： SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性； 独特性（Distinctiveness）好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配； 多量性，即使少数的几个物体也可以产生大量的SIFT特征向量； 高速性，经优化的SIFT匹配算法甚至可以达到实时的要求； 可扩展性，可以很方便的与其他形式的特征向量进行联合。

SIFT特征不只具有尺度不变性，即使改变图像的旋转角度，亮度或拍摄视角，仍然能够得到好的检测效果。 这是一个初始化操作，尺度空间理论目的是模拟图像数据的多尺度特征。高斯卷积核是实现尺度变换的唯一线性核，于是一副二维图像的尺度空间定义为： 下图所示不同σ下图像尺度空间： 关于尺度空间的理解说明：2kσ中的2是必须的，尺度空间是连续的。在 Lowe的论文中 ，将第0层的初始尺度定为1.6（最模糊），图片的初始尺度定为0.5（最清晰）. 在检测极值点前对原始图像的高斯平滑以致图像丢失高频信息，所以 Lowe 建议在建立尺度空间前首先对原始图像长宽扩展一倍，以保留原始图像信息，增加特征点数量。尺度越大图像越模糊。 图像金字塔的建立：对于一幅图像I,建立其在不同尺度(scale)的图像，也成为子八度（octave），这是为了scale-invariant，也就是在任何尺度都能够有对应的特征点，第一个子八度的scale为原图大小，后面每个octave为上一个octave降采样的结果，即原图的1/4（长宽分别减半），构成下一个子八度（高一层金字塔）。 注意：使用Difference of Gaussian图像的极大极小值近似寻找特征点计算简单，是尺度归一化的LoG算子的近似 为了寻找尺度空间的极值点，每一个采样点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。 一个点如果在DOG尺度空间本层以及上下两层的26个领域中是最大或最小值时，就认为该点是图像在该尺度下的一个特征点,如图所示。 整个高斯金字塔如下图所示，其中每个Octave代表一个金字塔，同一个金字塔内图像尺寸一样，同一个金字塔内每张图通过不同的高斯卷积核产生。 在极值比较的过程中，每一组图像的首末两层是无法进行极值比较的，为了满足尺度变化的连续性，我们在每一组图像的顶层继续用高斯模糊生成了 3 幅图像，高斯金字塔有每组S+3层图像。DOG金字塔每组有S+2层图像。 使用Laplacian of Gaussian能够很好地找到找到图像中的兴趣点，但是需要大量的计算量，所以使用Difference of Gaussian图像的极大极小值近似寻找特征点.DOG算子计算简单，是尺度归一化的LoG算子的近似,有关DOG寻找特征点的介绍及方法详见 http://blog.csdn.net/abcjennifer/article/details/7639488 ，极值点检测用的Non-Maximal Suppression。 这一步本质上要去掉DoG局部曲率非常不对称的像素。（不理解） 通过拟和三维二次函数以精确确定关键点的 位置 和 尺度 （达到亚像素精度），同时去除低对比度的关键点和不稳定的边缘响应点(因为DoG算子会产生较强的边缘响应)，以增强匹配稳定性、提高抗噪声能力，在这里使用近似Harris Corner检测器。 计算过程摘录如下：（还没有自行推导） ①空间尺度函数泰勒展开式如下： 的值在两个特征值相等的时候最小，随着r的增大而增大，因此，为了检测主曲率是否在某域值r下，只需检测 if (α+β)/ αβ> (r+1)2 /r, throw it out. 在Lowe的文章中，取r＝10。 上一步中确定了每幅图中的特征点，为每个特征点计算一个方向，依照这个方向做进一步的计算， 利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。 梯度直方图的范围是0～360度，其中每10度一个柱，总共36个柱。随着距 中心点越远的领域其对直方图的贡献也响应减小。Lowe论文中还提到要使用高斯函数对直方图进行平滑，减少突变的影响。这主要是因为SIFT算法只考虑了尺度和旋转不变形，没有考虑仿射不变性。通过高斯平滑，可以使关键点附近的梯度幅值有较大权重，从而部分弥补没考虑仿射不变形产生的特征点不稳定。 通常离散的梯度直方图要进行插值拟合处理，以求取更精确的方向角度值。 在实际计算时，我们在以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。梯度直方图的范围是0～360度，其中每45度一个柱，总共8个柱, 或者每10度一个柱，总共36个柱。Lowe论文中还提到要使用高斯函数对直方图进行平滑，减少突变的影响。直方图的峰值则代表了该关键点处邻域梯度的主方向，即作为该关键点的方向。 直方图中的峰值就是主方向，其他的达到最大值80%的方向可作为辅助方向 Identify peak and assign orientation and sum of magnitude to key point. ** The user may choose a threshold to exclude key points based on their** assigned sum of magnitudes. 直方图峰值代表该关键点处邻域内图像梯度的主方向，也就是该 关键点的主方向 。在梯度方向直方图中，当存在另一个相当于主峰值 80%能量的峰值时，则将这个方向认为是该 关键点的辅方向 。所以一个关键点可能检测得到多个方向，这可以增强匹配的鲁棒性。Lowe的论文指出大概有15%关键点具有多方向，但这些点对匹配的稳定性至为关键。 获得图像关键点主方向后，每个关键点有三个信息(x,y,σ,θ)：位置、尺度、方向。由此我们可以确定一个SIFT特征区域。通常使用一个带箭头的圆或直接使用箭头表示SIFT区域的三个值：中心表示特征点位置，半径表示关键点尺度（r=2.5σ）,箭头表示主方向。具有多个方向的关键点可以复制成多份，然后将方向值分别赋给复制后的关键点。如下图： 通过对关键点周围图像区域分块，计算块内梯度直方图，生成具有独特性的向量，这个向量是该区域图像信息的一种抽象，具有唯一性。 首先将坐标轴旋转为关键点的方向，以确保旋转不变性。以关键点为中心取8×8的窗口。 Figure.16*16的图中其中1/4的特征点梯度方向及scale，右图为其加权到8个主方向后的效果。 图左部分的中央为当前关键点的位置，每个小格代表关键点邻域所在尺度空间的一个像素，利用公式求得每个像素的梯度幅值与梯度方向，箭头方向代表该像素的梯度方向，箭头长度代表梯度模值，然后用高斯窗口对其进行加权运算。 图中蓝色的圈代表高斯加权的范围（越靠近关键点的像素梯度方向信息贡献越大）。然后在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，如图右部分示。此图中一个关键点由2×2共4个种子点组成，每个种子点有8个方向向量信息。这种邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性。 计算keypoint周围的16*16的window中每一个像素的梯度，而且使用高斯下降函数降低远离中心的权重。 在每个4 4的1/16象限中，通过加权梯度值加到直方图8个方向区间中的一个，计算出一个梯度方向直方图。 这样就可以对每个feature形成一个4 4 8=128维的描述子，每一维都可以表示4 4个格子中一个的scale/orientation. 将这个向量归一化之后，就进一步去除了光照的影响。 生成了A、B两幅图的描述子，（分别是k1 128维和k2 128维），就将两图中各个scale（所有scale）的描述子进行匹配，匹配上128维即可表示两个特征点match上了。 实际计算过程中，为了增强匹配的稳健性，Lowe建议对每个关键点使用4×4共16个种子点来描述，这样对于一个关键点就可以产生128个数据，即最终形成128维的SIFT特征向量。此时SIFT特征向量已经去除了尺度变化、旋转等几何变形因素的影响，再继续将特征向量的长度归一化，则可以进一步去除光照变化的影响。 当两幅图像的SIFT特征向量生成后，下一步我们采用关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量。取图像1中的某个关键点，并找出其与图像2中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点。降低这个比例阈值，SIFT匹配点数目会减少，但更加稳定。为了排除因为图像遮挡和背景混乱而产生的无匹配关系的关键点,Lowe提出了比较最近邻距离与次近邻距离的方法,距离比率ratio小于某个阈值的认为是正确匹配。因为对于错误匹配,由于特征空间的高维性,相似的距离可能有大量其他的错误匹配,从而它的ratio值比较高。Lowe推荐ratio的阈值为0.8。但作者对大量任意存在尺度、旋转和亮度变化的两幅图片进行匹配，结果表明ratio取值在0. 4~0. 6之间最佳，小于0. 4的很少有匹配点，大于0. 6的则存在大量错误匹配点。(如果这个地方你要改进，最好给出一个匹配率和ration之间的关系图，这样才有说服力)作者建议ratio的取值原则如下: ratio=0. 4　对于准确度要求高的匹配；ratio=0. 6　对于匹配点数目要求比较多的匹配； ratio=0. 5　一般情况下。也可按如下原则:当最近邻距离<200时ratio=0. 6，反之ratio=0. 4。ratio的取值策略能排分错误匹配点。 当两幅图像的SIFT特征向量生成后，下一步我们采用关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量。取图像1中的某个关键点，并找出其与图像2中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点。降低这个比例阈值，SIFT匹配点数目会减少，但更加稳定。

　　一、特征点（角点）匹配　　图像匹配能够应用的场合非常多，如目标跟踪，检测，识别，图像拼接等，而角点匹配最核心的技术就要属角点匹配了，所谓角点匹配是指寻找两幅图像之间的特征像素点的对应关系，从而确定两幅图像的位置关系。　　角点匹配可以分为以下四个步骤：　　1、提取检测子：在两张待匹配的图像中寻找那些最容易识别的像素点（角点），比如纹理丰富的物体边缘点等。　　2、提取描述子：对于检测出的角点，用一些数学上的特征对其进行描述，如梯度直方图，局部随机二值特征等。检测子和描述子的常用提取方法有：sift，harris，surf，fast，agast，brisk，freak，brisk，brief/orb等。　　3、匹配：通过各个角点的描述子来判断它们在两张图像中的对应关系，常用方法如 flann等。　　4、消噪：去除错误匹配的外点，保留正确的匹配点。常用方法有KDTREE，BBF，Ransac，GTM等。　　二、SIFT匹配方法的提出　　为了排除因为图像遮挡和背景混乱而产生的无匹配关系的关键点，SIFT的作者Lowe提出了比较最近邻距离与次近邻距离的SIFT匹配方式：取一幅图像中的一个SIFT关键点，并找出其与另一幅图像中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离得到的比率ratio少于某个阈值T，则接受这一对匹配点。因为对于错误匹配，由于特征空间的高维性，相似的距离可能有大量其他的错误匹配，从而它的ratio值比较高。显然降低这个比例阈值T，SIFT匹配点数目会减少，但更加稳定，反之亦然。　　Lowe推荐ratio的阈值为0.8，但作者对大量任意存在尺度、旋转和亮度变化的两幅图片进行匹配，结果表明ratio取值在0. 4~0. 6 之间最佳，小于0. 4的很少有匹配点，大于0. 6的则存在大量错误匹配点，所以建议ratio的取值原则如下:　　ratio=0. 4：对于准确度要求高的匹配；　　ratio=0. 6：对于匹配点数目要求比较多的匹配；　　ratio=0. 5：一般情况下。　　三、常见的SIFT匹配代码　　1、vlfeat中sift toolbox中的vl_ubcmatch.c使用的是普通的欧氏距离进行匹配（该SIFT代码贡献自AndreaVedaldi）。　　2、Lowe的C++代码中使用的是欧氏距离，但是在matlab代码中为了加速计算，使用的是向量夹角来近似欧氏距离：先将128维SIFT特征向量归一化为单位向量（每个数除以平方和的平方根），然后点乘来得到向量夹角的余弦值，最后利用反余弦（acos函数）求取向量夹角。实验证明Lowe的办法正确率和耗时都很不错。同样，也可以采用knnsearch函数求最近点和次近点：knnsearch采用euclidean距离时得到的结果与lowe采用的近似方法结果几乎一致，正好印证了模拟欧氏距离的效果。　　3、Rob Hess的OpenSIFT采用了KDTREE来对匹配进行优化。　　4、CSDN大神v_JULY_v实现了KDTREE+BBF对SIFT匹配的优化和消除错误匹配：从K近邻算法、距离度量谈到KD树、SIFT+BBF算法- 结构之法 算法之道 - 博客频道 - CSDN.NET。　　5、OpenCV中features2d实现的SIFT匹配有多种matcher：VectorDescriptorMatcher，BFMatcher（Brute-force descriptor matcher），FernDescriptorMatcher，OneWayDescriptorMatcher，FlannBasedMatcher 等等。目前只知道采用knnsearch，提供了多种距离度量方式，具体区别不懂。　

基于不变量技术的特征检测方法的基础上，提出的一种基于尺度空间的、对图像缩放、旋转、仿射变换、光照变化保持稳定性的图像局部特征描述算法-SIFT算子。SIFT特征点向量的生成由以下四步骤组成：1、在尺度空间中检测极值点；2、去除低对比度的极值点和不稳定的边缘极值点，得到特征点；3、计算特征点的方向参数；4、生成SIFT特征点向量，向量维数一般为128维。运用SIFT算法提取的SIFT特征点向量具有如下优点：1、SIFT特征是图像的局部特征，对旋转、尺度缩放、亮度变化保持不变化性，对视角变化、仿射变换、噪音也保持一定程度的稳定性；2、独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配；3、多量性，即使少数的几个物体也可以产生大量SIFT特征向量。现有的SIFT算法具有一定的缺陷，对于图像的检测效率和检测精度较差。技术实现思路有鉴于此，本专利技术实施例的目的在于提供一种基于改进SIFT的图像特征检测方法及装置，以解决上述技术问题。第一方面，本专利技术实施例提供了一种基于改进S...【技术保护点】1.一种基于改进SIFT的图像特征检测方法，其特征在于，包括：获取待检测图像和对应的标准图像；利用尺度不变特征变换SIFT算法对所述待检测图像和所述标准图像进行图像匹配，获得多对匹配点；计算所述匹配点之间的邻域直径比和方向角度差；根据所述邻域直径比和所述方向角度差对所述匹配点进行剔除，获得正确匹配点，以获得所述待检测图像中的特征。

SIFT分值，表示某基因变异对蛋白序列的影响。分值越小越可能“有害”，表明该 SNP 导致蛋白结构或功能改变的可能性大。

SIFT是我接触最早的图像局部特征描述子之一，其实最初，始终觉得局部特征描述子是些非常玄虚的东西。对于SIFT，这种感觉更是尤为强烈，“尺度空间”“拉普拉斯高斯算子（LoG）”“高斯差分金字塔”，一系列让人头痛的概念。不过，反反复复看了几次，渐渐也就有了感觉，在此总结一下。物体识别的核心问题是将同一目标在不同时间、不同分辨率、不同光照、不同位姿情况下所成的像相相匹配。而为了进行匹配，我们首先要合理的表示图像。由于目标的自身状态、场景所处的环境的影响，同一类物体在不同的图像中所成的像往往会差别很大，但即使这样，人们所能通过同一物体的一些局部共性来识别出物体（正如我们能将不同国家民族的人区分出来）。所谓局部特征描述子就是用来刻画图像中的这些局部共性的，而我们也可以将一幅图像映射（变换）为一个局部特征的集合。理想的局部特征应具有平移、缩放、旋转不变性，同时对光照变化、仿射及投影影响也应有很好的鲁棒性。传统的局部特征往往是直接提取角点或边缘，对环境的适应能力较差。1999年British Columbia大学 David G.Lowe 教授总结了现有的基于不变量技术的特征检测方法，并正式提出了一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子－SIFT（尺度不变特征变换），这种算法在2004年被加以完善。SIFT算法的实质可以归为在不同尺度空间上查找关键点（特征点）的问题。所谓关键点，就是一些十分突出的点，这些点不会因光照条件的改变而消失，比如角点、边缘点、暗区域的亮点以及亮区域的暗点，既然两幅图像中有相同的景物， 那么使用某种方法分别提取各自的稳定点，这些点之间就会有相互对应的匹配点。而在SIFT中，关键点是在不同尺度空间的图像下检测出的具有方向信息的局部极值点。涉及到的最重要的两步是：1.构建尺度空间 2.关键点检测构建尺度空间先来谈谈尺度的问题。我们要精确表示的物体都是通过一定的尺度来反映的。现实世界的物体也总是通过不同尺度的观察而得到不同的变化。比如说，对同一物体拍照，我们拍摄了一副近景，一副远景，虽然两幅图片中都有这个物体，但这个物体确是处于两个不同的尺度。SIFT特征具有尺度不变性，就是说即使同一物体处于两个不同的尺度的图像中，我们仍可以通过提取图像的SIFT特征匹配成功。图像的尺度有多种表示方法（金字塔、八叉树等等），在SIFT中Lowe教授采用了尺度空间理论。其主要思想是通过对原始图像进行尺度变换，获得图像多尺度下的尺度空间表示序列，并检测这个序列中的关键点。这样图片就被映射为多个尺度上的关键点信息，尽管两幅图片是处于不同的尺度，但却可以提取出在尺度变换中没有改变的关键点，从而进行关键点匹配，进而识别出物体。实际上，在尺度空间理论中，是通过对图像进行模糊来模拟多尺度下的图像。直观上，图像的模糊程度逐渐变大，模拟了人在距离目标由近到远时目标在视网膜上的形成过程。文献《Scale-space theory: A basic tool for analysing structures at different scales》证明，高斯核是唯一可以产生多尺度空间的核（其它核会对图像造成模糊之外的其它影响）。一个图像的尺度空间， L(x,y,σ) （σ 可以代表尺度的大小） ，定义为原始图像 I(x,y)与一个可变尺度的2维高斯函数 G(x,y,σ) 卷积运算。高斯函数：G(x,y,σ)=12πσ2eu2212(x2+y2)/(2σ2)L(x,y,σ)=G(x,y,σ)u2217I(x,y)需要的注意的是，图像的尺度是自然存在的，不是人为创造的！高斯卷积只是表现尺度空间的一种形式。（在SIFT的代码中，进行高斯模糊时，用到了高斯模糊的“勾股定理”：例如，使用半径分别为 6 和 8 的两次高斯模糊变换得到的效果等同于一次半径为 10 的高斯模糊效果）。图1：高斯金字塔在SIFT中，构建了高斯金字塔（如图1所示），即分为两步：1）对图像做高斯平滑 2）对图像做降采样（减小计算量）。一幅图像可以产生几组（octave）图像，一组图像包括几层（interval）图像。为了让尺度体现出连续性，相邻两层图像间的尺度为k倍的关系，同时相邻两组的同一层尺度为2倍的关系（在SIFT算法中，Lowe教授假设初始图片已经是以一定 σ 模糊过得了）。关键点检测文献《Scale-space theory: A basic tool for analysing structures at different scales》指出尺度规范化的LoG算子具有真正的尺度不变性。即我们可以在不同尺度的图像（已经经过高斯卷积）上进行拉普拉斯运算（二阶导数），并求极值点，从而求出关键点。

OPENCV下SIFT特征点提取与匹配的大致流程如下：读取图片-》特征点检测（位置，角度，层）-》特征点描述的提取（16*8维的特征向量）-》匹配-》显示其中，特征点提取主要有两个步骤，见上行黄子部分。下面做具体分析。1、使用opencv内置的库读取两幅图片2、生成一个SiftFeatureDetector的对象，这个对象顾名思义就是SIFT特征的探测器，用它来探测衣服图片中SIFT点的特征，存到一个KeyPoint类型的vector中。这里有必要说keypoint的数据结构，涉及内容较多，具体分析查看opencv中keypoint数据结构分析，里面讲的自认为讲的还算详细（表打我……）。简而言之最重要的一点在于：keypoint只是保存了opencv的sift库检测到的特征点的一些基本信息，但sift所提取出来的特征向量其实不是在这个里面，特征向量通过SiftDescriptorExtractor 提取，结果放在一个Mat的数据结构中。这个数据结构才真正保存了该特征点所对应的特征向量。具体见后文对SiftDescriptorExtractor 所生成的对象的详解。就因为这点没有理解明白耽误了一上午的时间。哭死！3、对图像所有KEYPOINT提取其特征向量：得到keypoint只是达到了关键点的位置，方向等信息，并无该特征点的特征向量，要想提取得到特征向量就还要进行SiftDescriptorExtractor 的工作，建立了SiftDescriptorExtractor 对象后，通过该对象，对之前SIFT产生的特征点进行遍历，找到该特征点所对应的128维特征向量。具体方法参见opencv中SiftDescriptorExtractor所做的SIFT特征向量提取工作简单分析。通过这一步后，所有keypoint关键点的特征向量被保存到了一个MAT的数据结构中，作为特征。4、对两幅图的特征向量进行匹配，得到匹配值。两幅图片的特征向量被提取出来后，我们就可以使用BruteForceMatcher对象对两幅图片的descriptor进行匹配，得到匹配的结果到matches中。至此，SIFT从特征点的探测到最后的匹配都已经完成，虽然匹配部分不甚了解，只扫对于如何使用OPENCV进行sift特征的提取有了一定的理解。接下来可以开始进行下一步的工作了。附:使用OPENCV下SIFT库做图像匹配的例程// opencv_empty_proj.cpp : 定义控制台应用程序的入口点。//#include "stdafx.h"#include <opencv2/opencv.hpp>#include <opencv2/features2d/features2d.hpp>#include<opencv2/nonfree/nonfree.hpp>#include<opencv2/legacy/legacy.hpp>#include<vector>using namespace std;using namespace cv;int _tmain(int argc, _TCHAR* argv[]){const char* imagename = "img.jpg";//从文件中读入图像Mat img = imread(imagename);Mat img2=imread("img2.jpg");//如果读入图像失败if(img.empty()){fprintf(stderr, "Can not load image %s ", imagename);return -1;}if(img2.empty()){fprintf(stderr, "Can not load image %s ", imagename);return -1;}//显示图像imshow("image before", img);imshow("image2 before",img2);//sift特征检测SiftFeatureDetector siftdtc;vector<KeyPoint>kp1,kp2;siftdtc.detect(img,kp1);Mat outimg1;drawKeypoints(img,kp1,outimg1);imshow("image1 keypoints",outimg1);KeyPoint kp;vector<KeyPoint>::iterator itvc;for(itvc=kp1.begin();itvc!=kp1.end();itvc++){cout<<"angle:"<<itvc->angle<<" "<<itvc->class_id<<" "<<itvc->octave<<" "<<itvc->pt<<" "<<itvc->response<<endl;}siftdtc.detect(img2,kp2);Mat outimg2;drawKeypoints(img2,kp2,outimg2);imshow("image2 keypoints",outimg2);SiftDescriptorExtractor extractor;Mat descriptor1,descriptor2;BruteForceMatcher<L2<float>> matcher;vector<DMatch> matches;Mat img_matches;extractor.compute(img,kp1,descriptor1);extractor.compute(img2,kp2,descriptor2);imshow("desc",descriptor1);cout<<endl<<descriptor1<<endl;matcher.match(descriptor1,descriptor2,matches);drawMatches(img,kp1,img2,kp2,matches,img_matches);imshow("matches",img_matches);//此函数等待按键，按键盘任意键就返回waitKey();return 0;}

SIFT匹配（Scale-invariant feature transform，尺度不变特征转换)是一种电脑视觉的算法用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量，此算法由 David Lowe 在1999年所发表，2004年完善总结。其应用范围包含物体辨识、机器人地图感知与导航、影像缝合、3D模型建立、手势辨识、影像追踪和动作比对。　　局部影像特征的描述与侦测可以帮助辨识物体，SIFT 特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关。对于光线、噪声、些微视角改变的容忍度也相当高。基于这些特性，它们是高度显著而且相对容易撷取，在母数庞大的特征数据库中，很容易辨识物体而且鲜有误认。使用 SIFT特征描述对于部分物体遮蔽的侦测率也相当高，甚至只需要3个以上的SIFT物体特征就足以计算出位置与方位。在现今的电脑硬件速度下和小型的特征数据库条件下，辨识速度可接近即时运算。SIFT特征的信息量大，适合在海量数据库中快速准确匹配。2、SIFT特征的主要特点　　从理论上说，SIFT是一种相似不变量，即对图像尺度变化和旋转是不变量。然而，由于构造SIFT特征时，在很多细节上进行了特殊处理，使得SIFT对图像的复杂变形和光照变化具有了较强的适应性，同时运算速度比较快，定位精度比较高。如：　　在多尺度空间采用DOG算子检测关键点，相比传统的基于LOG算子的检测方法，运算速度大大加快；　　关键点的精确定位不仅提高了精度，而且大大提高了关键点的稳定性；　　在构造描述子时，以子区域的统计特性，而不是以单个像素作为研究对象，提高了对图像局部变形的适应能力；

SIFT有尺度不变性，这个是由尺度金字塔的构造造成的。SIFT有旋转不变性，这个是因为会计算描述子的主方向，然后匹配时检查匹配点的主方向。SIFT有光照不变性，这个是由于描述的是梯度特征，梯度只是看对比，因此和其他的不同。你先看论文，花一天时间看了一遍，什么都懂了。

在一定的范围内，无论物体是大还是小，人眼都可以分辨出来。然而计算机要有相同的能力却不是那么的容易，在未知的场景中，计算机视觉并不能提供物体的尺度大小，其中的一种方法是把物体不同尺度下的图像都提供给机器，让机器能够对物体在不同的尺度下有一个统一的认知。在建立统一认知的过程中，要考虑的就是在图像在不同的尺度下都存在的特征点。 在早期图像的多尺度通常使用图像金字塔表示形式。图像金字塔是同一图像在不同的分辨率下得到的一组结果其生成过程一般包括两个步骤： 多分辨率的图像金字塔虽然生成简单，但其本质是降采样，图像的局部特征则难以保持，也就是无法保持特征的尺度不变性。 我们还可以通过图像的模糊程度来模拟人在距离物体由远到近时物体在视网膜上成像过程，距离物体越近其尺寸越大图像也越模糊，这就是高斯尺度空间，使用不同的参数模糊图像（分辨率不变），是尺度空间的另一种表现形式。 构建尺度空间的目的是为了检测出在不同的尺度下都存在的特征点，而检测特征点较好的算子是Δ^2G(高斯拉普拉斯，LoG) 使用LoG虽然能较好的检测到图像中的特征点，但是其运算量过大，通常可使用DoG（差分高斯，Difference of Gaussina）来近似计算LoG。 从上式可以知道，将相邻的两个高斯空间的图像相减就得到了DoG的响应图像。为了得到DoG图像，先要构建高斯尺度空间，而高斯的尺度空间可以在图像金字塔降采样的基础上加上高斯滤波得到，也就是对图像金字塔的每层图像使用不同的参数σ进行高斯模糊，使每层金字塔有多张高斯模糊过的图像。 如下图，octave间是降采样关系，且octave(i+1)的第一张（从下往上数）图像是由octave(i)中德倒数第三张图像降采样得到。octave内的图像大小一样，只是高斯模糊使用的尺度参数不同。 对于一幅图像，建立其在不同尺度scale下的图像，也称为octave，这是为了scale-invariant，也就是在任何尺度都能有对应的特征点。下图中右侧的DoG就是我们构建的尺度空间。 为了寻找尺度空间的极值点，每一个采样点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。如图所示，中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。 一个点如果在DOG尺度空间本层以及上下两层的26个领域中是最大或最小值时，就认为该点是图像在该尺度下的一个特征点。下图中将叉号点要比较的26个点都标为了绿色。 找到所有特征点后， 要去除低对比度和不稳定的边缘效应的点 ，留下具有代表性的关键点（比如，正方形旋转后变为菱形，如果用边缘做识别，4条边就完全不一样，就会错误；如果用角点识别，则稳定一些）。去除这些点的好处是增强匹配的抗噪能力和稳定性。最后，对离散的点做曲线拟合，得到精确的关键点的位置和尺度信息。 近来不断有人改进，其中最著名的有 SURF（计算量小，运算速度快，提取的特征点几乎与SIFT相同）和 CSIFT（彩色尺度特征不变变换，顾名思义，可以解决基于彩色图像的SIFT问题）。 其中sift.detectAndCompute()函数返回kp，des。 上图dog的shape为(481, 500, 3)，提取的特征向量des的shape为(501, 128)，501个128维的特征点。 该方法可以在特征点处绘制一个小圆圈。 https://blog.csdn.net/happyer88/article/details/45817305 https://www.jianshu.com/p/d94e558ebe26 https://www.cnblogs.com/wangguchangqing/p/4853263.html

这个意思就是说这里更本就不能算matlab代码，也就是说看这个是没用的，我也看了这个代码结构，推荐你看看opencv的代码吧，网上有人发过详解

进行高斯差分的结果是DOG（Difference of Gaussian），这个DOG是LOG（laplacian of Gaussian）的近似。LOG图像是目前来说尺度变换最好的，特精确。但是由于计算LOG图像很费劲，作者Lowe呢就对LOG图像进行了近似，他发现如果是用DOG的话呢，只和原来的LOG差了一个常数，这样的话最大值最小值的位置是不变的。而我们的目的呢，就是要找到这个最大最小值然后找到这个兴趣点的位置。关键是DOG计算起来很方便，只要两张图片相减就好了。所以就用到高斯图的差啦！好好看论文是关键！论文说的很详细的，静下心来两天看完了~

我X，SIFT算法，太专业了，我折腾了好久都没懂，建议你去找专门的论文吧，这里没有人能帮你。

解决思路如下：sift匹配分为两部分，第一部分，sift特征点检测； 第二部分，sift对特征点进行描述。 我建议你用harris或者其他的特征点提取方法做第一部分，这样检测的特征点可能会多些。希望能够帮到你~

尺度不变特征变换 (SIFT) 是最流行和最强大的特征提取算法之一，因为它对尺度、旋转和光照保持不变。它已被广泛应用于视频跟踪、图像拼接、同时定位和映射（SLAM）、运动结构（SFM）等领域。然而，高计算复杂度限制了其在实时系统中的进一步应用。这些系统必须在准确性和性能之间进行权衡以实现实时特征提取。他们采用其他更快但精度较低的算法，如 SURF 和 PCA-SIFT。为了解决这个问题，本文提出了一种使用 CUDA 的 GPU 加速 SIFT，命名为 HartSift，充分利用单机CPU和GPU的计算资源，实现高精度、实时的特征提取。实验表明，在 NIVDIA GTX TITAN Black GPU 上，HartSift 可以根据图像的大小在 3.14-10.57ms (94.61-318.47fps) 内处理图像。此外，HartSift 分别比 OpenCV-SIFT（CPU 版本）和 SiftGPU（GPU 版本）快 59.34-75.96 倍和 4.01-6.49 倍。同时，HartSift 的性能和 CudaSIFT（迄今为止最快的 GPU 版本）的性能几乎相同，而 HartSift 的准确度远高于 CudaSIFT。 SIFT算法可以提取大量显著特征，这些特征在缩放、旋转、光照和3D视点保持不变，还提供了跨越噪声和仿射失真的稳健匹配。但SIFT的高计算复杂度限制了其在大规模数据和实时系统中的进一步应用。而复杂度较低的算法，如SURF、PCA-SIFT的准确性又不太高。因此，在主流计算平台上实现高精度、实时的SIFT是一个重要而有意义的研究课题。 而SIFT算法具有很好的并行性，可以正确移植到GPU上。因此，在配备GPU的异构计算系统上实现高性能的SIFT具有重要的实用价值。 SIFT 算法包含三个阶段，包括高斯差分（DoG）金字塔的构建、精确的关键点定位和 128 维描述符生成。由于每个阶段都有自己的并行特性，因此必须使用不同的并行粒度和优化来实现高性能。尤其是后两个阶段，负载不平衡不利于GPU优化，会导致性能下降。 本文的主要贡献和创新可以概括如下： 有许多工作尝试在GPU上使用SIFT算法。 然而，为了实现高性能，他们省略了 SIFT 算法的一些重要步骤，例如将输入图像加倍、保持尺度变化的连续性和拟合二次函数以定位准确的关键点信息。作者的实验表明，这些遗漏会导致 SIFT 丢失很多关键点和准确性。 Lowe将输入图像尺寸加倍作为高斯金字塔 的最底层，每个尺度 通过高斯卷积产生： 高斯金字塔确定之后，利用相同Octave的层级相减，得到差分金字塔： 其中 ，在本文中， . 检测尺度空间极值 将DoG金字塔每个像素与相邻像素比较，同层8个，上下层9个，若像素是局部最大值或局部最小值，将其视为关键点候选。 去除无效关键点 去除较低对比度和不稳定边缘响应的候选关键点，通过将3D二次函数拟合到附近数据执行子像素插值，以获取精确的位置、比例和主曲率比。 方向分配 将候选关键点周围的梯度累积到36 bins的直方图中，根据每层的尺度计算搜索半径。每个紧邻像素由一个高斯加权窗口加权，梯度方向累计到36 bins的方向直方图中。峰值为主要梯度方向，同时超过峰值80%的局部峰值bin也被视为关键点方向。 对关键点周围像素计算梯度直方图，搜索半径比上一步骤大得多，同样用一个高斯加权函数用于为每个邻居的梯度值分配权重。 根据梯度方向将最终的梯度值累积到一个 360-bin 的圆形方向直方图。最后，直方图将被归一化、平滑并转换为 128D 描述符。 构建金字塔应该保持顺序，以保证尺度空间变化连续性。Acharya和Bjorkman为加快这一过程，牺牲准确性打破构建顺序。考虑到不能使准确性降低，构建顺序在HartSift中保留。 分离卷积核 对于 大小的卷积核处理 大小的图像需要进行 次运算，如果将2D卷积核拆解为两个1D的卷积核，计算量减少至 . 通过使用共享内存和向量化方法，更容易实现合并全局内存访问并减少一维卷积的冗余访问。 Uber 内核 Uber内核将多个不同任务放到一个物理内核中，在一个内核中并行处理任务，而不需要在内核之间切换。差分金字塔第 层由高斯金字塔第 和第 层决定。将高斯差分金字塔和高斯卷积核封装在单个核中，可以充分挖掘并行性。 线程不需要重复读取高斯金字塔第 层的值，这是由于第 层的值计算完后，结果会放在寄存器内而不是全局内存中。借助Uber内核的优势，我们可以节省 的空间和 的内核运行时间 异构并行 HartSift 采用异构并行方法来加速这一阶段。CPU 和 GPU 将并行协作，构建 DoG 金字塔。 由于GPU处理小图像没有优势，作者将 以下的图像放到CPU处理，大图像放到GPU处理。用户也可以自行设置分离点，确保CPU和GPU负载平衡。 存在两个问题： 负载均衡 Warp是GPU最小并行执行单元，即以锁步方式执行的 32 个线程的集合。若负载不均衡，则warp执行时间取决于最后一个线程完成的时间，warp负载不均衡会导致GPU效率降低。 由于候选关键点分布的随机性，几乎所有经线都包含不同数量的空闲线程。如果这些warp继续处理以下部分，就会出现两个级别的负载不平衡. 在去除无效的候选关键点部分时，线程将进行亚像素插值以获得准确的候选关键点信息，从而去除具有低对比度或不稳定边缘响应的关键点候选。换句话说，一些线程会比其他线程更早返回一次。负载不平衡会变得更加严重。 为了突破性能瓶颈，HartSift 引入了重新平衡工作负载和多粒度并行优化。 重新平衡工作负载 当检测到负载不平衡时，HartSift 将通过启动具有适当粒度的新内核并分派每个具有 32 个活动线程的新经线来重新平衡工作负载。 此外，启动三个内核分别处理这三个部分，不仅可以重新平衡工作量，还可以根据不同部分的并行特性提供多粒度的并行。 多粒度并行 重新平衡工作负载优化保证每个内核中的线程和经线被完全加载，多粒度并行优化保证工作负载将平均分配到线程和经线。此外，不同内核的并行粒度取决于工作负载的特性。 HartSift通过将一个线程映射到一个或多个像素，采用与关键点候选检测部分和无效关键点去除部分并行的线程粒度。然而，线程粒度并行会导致方向分配部分的负载不平衡，因为不同关键点的相邻区域半径不同。线程粒度并行会为单个线程分配过多的工作，这在某些情况下限制了硬件资源的利用率。所以在这部分应用混合粒度并行：扭曲粒度构建直方图，线程粒度找出并将主导方向分配给相应的关键点。 基于扭曲的直方图算法 作者针对每个关键点提出了一种基于扭曲粒度和原子操作的高性能直方图算法，以充分利用局部性。 该阶段关键点的邻域半径远大于前一阶段。需要为每个关键点累积数千个邻居到一个 360-bin 直方图。如果采用前一阶段的基于原子扭曲的直方图算法，会对这一阶段的性能产生不同的影响。 HartSift引入了一种atomic-free的直方图算法，进一步提升了这一阶段的性能。 该算法包含三个步骤： 为了消除线程间的负载不平衡，实现全局合并访问，HartSift 使用一个warp 来处理一个keypoint 的所有邻居。当线程计算出它们的方向 bin 时，它们需要根据bin变量的值将梯度值累加到局部直方图。考虑到有如此多的邻居并且一个经线的一些线程可能具有相同的 bin，算法1引入了一种无原子的多键约简方法来累积每个经线的部分和。这种方法可以利用warp级shuffle和vote指令完全消除原子操作和本地同步。它根据bin对经纱的线程进行分组并指定每组具有最低车道的线程作为队长线程。队长线程将保存他们自己的 bin 的部分总和，并将它们并行地累积到驻留在共享内存中的本地直方图，而不会发生 bank 冲突和同步。在遍历所有邻居后，HartSift 将最终的局部直方图复制到驻留在全局内存中的全局直方图。 本文提出了一种GPU上的并行SIFT，命名为Hart-Sift，它可以在单机内同时使用CPU和GPU来实现高精度和实时的特征提取。HartSift根据每个阶段的不同特点，通过适当采用不同的优化策略来提升性能，例如负载均衡、基于warp的直方图算法和不同尺度样本的atomic-free直方图算法等。在NVIDIA GTX TITAN Black GPU上，HartSift可以在3.14 ~ 10.57ms（94.61 ~ 318.47fps）内提取高精度特征，轻松满足高精度和实时性的苛刻要求。另外，与OpenCV-SIFT和SiftGPU相比，HartSift获得了59.34 ~ 75.96倍和4.01 ~ 6.49倍加速分别。同时，HartSift 和 CudaSIFT 的性能几乎相同，但 HartSift 远比 CudaSIFT 准确。

新手求教 用sift处理后的图片得到的特征矩阵大小为什么不相同？

T1读取图片后获取的是该图形的句柄值，是数值化的反映图片数据了

根据我在广东粤为工业机器人学院学习的知识所知：视觉注意在机器人上的应用主要是目标定位、目标识别以及目标跟踪等。视觉注意一般分为自上而下的视觉注意和自上而下的视觉注意；对于在机器人上的应用主要是自上而下（目标驱动）和自下而上（早期视觉特征）在什么时间以什么方式如何很好的结合。

[ 筛 ] 拼音：shāi, 繁体：筛 部首：竹 部首笔划：06 五行：木 简体笔划：12 繁体笔划：12 吉凶寓意：凶 拼音输入：shai 五笔输入：tjgh 笔顺：撇横捺撇横捺竖撇横竖折竖 筛bolt；griddle；riddle；screen；sift；筛(1)筛shāi(2)(形声。从竹,师声。本义:一种竹器,筛子) 同本义 [sieve;sifter]滤泉花满筛。――唐·李洞《喜鸾公自蜀归》(3)又如:筛子喂驴(歇后语。筛子喂驴,豆必漏下。漏豆谐“漏透”,即用光、穷极之意)筛(1)筛shāi(2)用筛子过物[sift;sieve]筛土筑阿房之宫。――《汉书·贾山传》(3)又如:筛瓦(从瓦隙筛过);筛糠(用筛子来回摇晃糠。比喻身体发抖打颤);筛箩(一种形似筛子的竹器);筛扬(用筛簸扬);引申为穿过孔隙窗外疏梅筛月影,依稀掩映。――清·林觉民《与妻书》(4)斟酒[pour wine]。如:筛酒(斟酒);筛春(筛酒。斟酒)(5)击,敲[strike;beat]。如:筛锣(敲锣);筛锣掌号(敲锣吹号);筛金(连声敲锣)(6)摇动;抖动 [shake]摇漾无声,一任风筛,依约翠侵帘隙。――清·江昉《疏影》(7)洒;分散地落下 [sprinkle]先将叶著怀中令暖,用刀剪碎,筛于纸上。――明·戴羲《养余月令》(8)把酒盛在容器里,放在火上使热 [warm]两个老婆子蹲在外面火盆上筛酒。――《红楼梦》(9)胡言乱语 [talk nonsense]则你那小鬼头胡乱筛,俺判官头何处买?――明·汤显祖《牡丹亭》筛除shāichú[screen out] 筛选除去筛分shāifēn[sieving;sift] 通过筛选加以分类筛号shāihào[screen size;mesh number] 表示筛子的筛孔大小的一种编号,筛网上每英寸直线长度中平行金属丝的数目(筛孔数)即为筛号筛汰shāitài[eliminate through selection] 筛选,淘汰新闻局过去依赖这项标准,每年筛汰不合要求的制片筛洗shāixǐ[sieve and wash] 筛选清洗筛洗原煤筛选shāixuǎn(1)[scalp]∶指作物或树木选种的方法(2)[sift;sieving;screening]∶泛指在同类事物中去掉不需要的,留下需要的人员经过筛选,办事效率更高了筛余shāiyú[tail over] 在粉碎过程中的筛上物(不能通过筛的物料)筛渣shāizhā[screenings] 筛去细料后留下的物质筛子shāizi[sieve;sifter] 用竹条、铁丝等编成的有许多小孔的器具,可以把细碎的东西漏下去,较粗的成块的留在上面,以达到分选的目的筛（筛）shāi　ㄕㄞˉ(1)用竹子或金属等做成的一种有孔的器具，可以把细东西漏下去，粗的留下，称“筛子”。(2)用筛子过东西：～米。～析。～选。(3)斟酒，热酒：～酒。(4)敲：～锣。郑码：MKAL，U：7B5B，GBK：C9B8笔画数：12，部首：竹，笔顺编号：314314231252bolt；griddle；riddle；screen；sift；

你好！已知 tanθ = x ，θ∈[0,90)∪(90,270)∪(270,360)若 x ≥ 0则 θ = arctan x ，arctanx + π若 x < 0则 θ = arctanx + π，arctanx + 2π 补充回答：分象限就是一：值x=-x；二：值x=180-x；三：值x=180-x； 四：值x=360-x；

你好！SHIFT+7可以输入下面这个符号：&SHIFT是上档键，如果某个键盘按键有两个符号，那么直接点该键输入的是下面的字符，点住SHIFT键再点该键输入的是上面的字符。

// 导入OpenCV模块var cv = require("opencv");// 读取图像var img1 = cv.imread("/sdcard/img1.jpg");var img2 = cv.imread("/sdcard/img2.jpg");// 创建SIFT检测器对象var sift = new cv.FeatureDetector("SIFT");// 检测图像中的关键点和描述符var keypoints1 = sift.detect(img1);var keypoints2 = sift.detect(img2);var descriptors1 = sift.compute(img1, keypoints1);var descriptors2 = sift.compute(img2, keypoints2);// 创建FLANN匹配器对象var matcher = new cv.Matcher("FlannBased");// 对两幅图像中的关键点进行匹配var matches = matcher.match(descriptors1, descriptors2);// 筛选出最优的匹配结果var bestMatches = matcher.filterMatches(matches, 0.75);// 在两幅图像中绘制匹配结果var output = new cv.Mat();cv.drawMatches(img1, keypoints1, img2, keypoints2, bestMatches, output);// 保存匹配结果图像cv.imwrite("/sdcard/matches.jpg", output);以上代码中，我们使用了AutoJS的require()函数导入OpenCV模块，并使用cv.imread()函数读取了两幅图像。然后，我们创建了一个SIFT检测器对象，并使用它检测了两幅图像中的关键点和描述符。接着，我们创建了一个FLANN匹配器对象，并使用它对两幅图像中的关键点进行了匹配。最后，我们筛选出了最优的匹配结果，并使用cv.drawMatches()函数在两幅图像中绘制了匹配结果，并将结果保存到了本地。

尺度空间的目的是『见森林又能见树木』，墨迹一点的解释就是，在低尺度下可以看清楚很多细节，在高尺度下可以看到轮廓。在目标检测领域，图像中的物体通常很可能是远近不一，大小不一的，可以利用金字塔来检测不同尺度下的物体。但同时你也可以使用不同大小的sliding window在原图上做检测。在SIFT提取的时候，因为template上的局部特征跟目标图像上的实际特征可能存在尺度上的差异，使用尺度空间是为了达到『尺度不变性』。我觉得前不久出来的DSP-SIFT其实也是进一步利用尺度空间来构造更强的descriptor的例子。在一些边缘检测算法里面，为了忽略比较弱的边，也会利用尺度空间来进行降采样（对，高斯滤波大部分时候被理解成某种去噪/平滑操作，其实也是尺度空间思想）。在一些基于特征的分类和识别问题里面，也有尺度空间的影子。比如基于高维LBP的人脸识别，其中LBP直方图的提取方式就蕴含有尺度空间的思想。尺度空间的想法其实非常直观（当然证明它为什么那样构造可能会比较费事），但是因为尺度空间的构造和操作往往也是算法里面比较费时的地方，所以针对性的优化也应该说一下。比如前面说的目标检测，有些情况下目标的变化尺度范围实际上是非常有限的，此时应该适当的设定尺度的数量，来减少不必要的计算量。比如你可以只降采样三次，你也可以降采样八次，去最上面的三个尺度。后者的好处是……快。比如OpenCV里SIFT的实现默认是上采样一次，降采样至无法再缩小为止。很多时候你其实不需要这么精细的特征点或这么high level的特征点，也许稍微改一下参数就可以优化一些速度回来。这里也需要提一下SURF的反向模拟尺度空间的思路，跟上面提到的高维LBP的思路如出一辙。在点特征里面，有时候你希望你的点在整个尺度空间里都是很强的，不是那种在最开始还是一个比较强的特征点，尺度高了之后这个特征点就消失了。你希望你只处理那些从始至终都比较坚挺的特征点，那你就可以在金字塔的顶层提取特征点，然后只是在下面的层进行局部搜索验证……这样你可以一边提取着非常鲁棒的descriptor，一边还快如闪电……视觉里面很多看似直观且简单的东西往往有层出不穷用法，除了这金字塔，还有比如直方图，比如二值化，比如卷积，比如积分图，比如距离变换……等等等等。虽然都不是什么高级的东西，一但用到巧处，也耐人寻味啊。

提出了一种使用稠密SIFT特征进行目标跟踪的算法.该算法首先将表达目标的矩形区域分成相同大小的矩形块,计算每一个小块的SIFT特征,再对各个小块的稠密SIFT特征在中心位置进行采样,建模目标的表达.然后度量两个图像区域的不相似性,先计算两个区域对应小块的Bhattacharyya距离,再对各距离加权求和作为两个区域间的距离.因为目标所在区域靠近边缘的部分可能受到背景像素的影响,而区域的内部则更一致,所以越靠近区域中心权函数的值越大.最后提出了能适应目标尺度变化的跟踪算法.实验表明,本算法具有良好的性能.

算法效果比较博文 用于表示和量化图像的数字列表，简单理解成将图片转化为一个数字列表表示。特征向量中用来描述图片的各种属性的向量称为特征矢量。 参考 是一种算法和方法，输入1个图像，返回多个特征向量（主要用来处理图像的局部，往往会把多个特征向量组成一个一维的向量）。主要用于图像匹配（视觉检测），匹配图像中的物品。 SIFT论文 原理 opencv官网解释 实质是在不同的尺度空间上查找关键点(特征点)，并计算出关键点的方向。SIFT所查找到的关键点是一些十分突出，不会因光照，仿射变换和噪音等因素而变化的点，如角点、边缘点、暗区的亮点及亮区的暗点等。 尺度不变特征转换(Scale-invariant feature transform或SIFT)是一种电脑视觉的算法用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量。 其应用范围包含物体辨识、机器人地图感知与导航、影像缝合、3D模型建立、手势辨识、影像追踪和动作比对。 对现实中物体的描述一定要在一个十分重要的前提下进行，这个前提就是对自然界建模时的尺度。当用一个机器视觉系统分析未知场景时，计算机没有办法预先知道图像中物体的尺度，因此我们需要同时考虑图像在多尺度下的描述，获知感兴趣物体的最佳尺度。图像的尺度空间表达指的是图像的所有尺度下的描述。 KeyPoint数据结构解析 SURF论文 原理 opencv官网解释 SURF是SIFT的加速版，它善于处理具有模糊和旋转的图像，但是不善于处理视角变化和光照变化。在SIFT中使用DoG对LoG进行近似，而在SURF中使用盒子滤波器对LoG进行近似，这样就可以使用积分图像了（计算图像中某个窗口内所有像素和时，计算量的大小与窗口大小无关）。总之，SURF最大的特点在于采用了Haar特征以及积分图像的概念，大大加快了程序的运行效率。 因为专利原因，OpenCV3.3开始不再免费开放SIFTSURF，需要免费的请使用ORB算法 ORB算法综合了FAST角点检测算法和BRIEFF描述符。 算法原理 opencv官方文档 FAST只是一种特征点检测算法，并不涉及特征点的特征描述。 论文 opencv官方文档 中文版 Brief是Binary Robust Independent Elementary Features的缩写。这个特征描述子是由EPFL的Calonder在ECCV2010上提出的。主要思路就是在特征点附近随机选取若干点对，将这些点对的灰度值的大小，组合成一个二进制串，并将这个二进制串作为该特征点的特征描述子。文章同样提到，在此之前，需要选取合适的gaussian kernel对图像做平滑处理。 1：不具备旋转不变性。 2：对噪声敏感 3：不具备尺度不变性。 ORB论文 OpenCV官方文档 ORB采用了FAST作为特征点检测算子，特征点的主方向是通过矩（moment）计算而来解决了BRIEF不具备旋转不变性的问题。 ORB还做了这样的改进，不再使用pixel-pair，而是使用9×9的patch-pair，也就是说，对比patch的像素值之和，解决了BRIEF对噪声敏感的问题。 关于计算速度： ORB是sift的100倍，是surf的10倍。 对图片数据、特征分布的一种统计 对数据空间(bin)进行量化 Kmeans 边缘：尺度问题->不同的标准差 捕捉到不同尺度的边缘 斑点 Blob：二阶高斯导数滤波LoG关键点(keypoint)：不同视角图片之间的映射，图片配准、拼接、运动跟踪、物体识别、机器人导航、3D重建 SIFTSURF

你可以去 OpenCV论坛上看看。希望能帮到你！

http://blog.sina.com.cn/s/blog_5987cfe10100atek.html这里有详细介绍，链接的原算法和改进后算法的代码可以直接下载！

第一个为题：SIFT算法里面把角点，边缘点看做了不稳定的点，是需要去除的。所以提取不到角点；匹配问题：只要找到了两幅图片的角点坐标，那么对两幅图片进行拼接，对应点连线即可，这里面也就涉及到一个坐标变换的问题。

　　一、特征点（角点）匹配 　　图像匹配能够应用的场合非常多，如目标跟踪，检测，识别，图像拼接等，而角点匹配最核心的技术就要属角点匹配了，所谓角点匹配是指寻找两幅图像之间的特征像素点的对应关系，从而确定两幅图像的位置关系。 　　角点匹配可以分为以下四个步骤： 　　1、提取检测子：在两张待匹配的图像中寻找那些最容易识别的像素点（角点），比如纹理丰富的物体边缘点等。 　　2、提取描述子：对于检测出的角点，用一些数学上的特征对其进行描述，如梯度直方图，局部随机二值特征等。检测子和描述子的常用提取方法有：sift，harris，surf，fast，agast，brisk，freak，brisk，brief/orb等。 　　3、匹配：通过各个角点的描述子来判断它们在两张图像中的对应关系，常用方法如 flann等。 　　4、消噪：去除错误匹配的外点，保留正确的匹配点。常用方法有KDTREE，BBF，Ransac，GTM等。 　　二、SIFT匹配方法的提出 　　为了排除因为图像遮挡和背景混乱而产生的无匹配关系的关键点，SIFT的作者Lowe提出了比较最近邻距离与次近邻距离的SIFT匹配方式：取一幅图像中的一个SIFT关键点，并找出其与另一幅图像中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离得到的比率ratio少于某个阈值T，则接受这一对匹配点。因为对于错误匹配，由于特征空间的高维性，相似的距离可能有大量其他的错误匹配，从而它的ratio值比较高。显然降低这个比例阈值T，SIFT匹配点数目会减少，但更加稳定，反之亦然。 　　Lowe推荐ratio的阈值为0.8，但作者对大量任意存在尺度、旋转和亮度变化的两幅图片进行匹配，结果表明ratio取值在0. 4~0. 6 之间最佳，小于0. 4的很少有匹配点，大于0. 6的则存在大量错误匹配点，所以建议ratio的取值原则如下: 　　ratio=0. 4：对于准确度要求高的匹配； 　　ratio=0. 6：对于匹配点数目要求比较多的匹配； 　　ratio=0. 5：一般情况下。 　　三、常见的SIFT匹配代码 　　1、vlfeat中sift toolbox中的vl_ubcmatch.c使用的是普通的欧氏距离进行匹配（该SIFT代码贡献自Andrea Vedaldi）。 　　2、Lowe的C++代码中使用的是欧氏距离，但是在matlab代码中为了加速计算，使用的是向量夹角来近似欧氏距离：先将128维SIFT特征向量归一化为单位向量（每个数除以平方和的平方根），然后点乘来得到向量夹角的余弦值，最后利用反余弦（acos函数）求取向量夹角。实验证明Lowe的办法正确率和耗时都很不错。 同样，也可以采用knnsearch函数求最近点和次近点：knnsearch采用euclidean距离时得到的结果与lowe采用的近似方法结果几乎一致，正好印证了模拟欧氏距离的效果。 　　3、Rob Hess的OpenSIFT采用了KDTREE来对匹配进行优化。 　　4、CSDN大神v_JULY_v实现了KDTREE+BBF对SIFT匹配的优化和消除错误匹配：从K近邻算法、距离度量谈到KD树、SIFT+BBF算法 - 结构之法 算法之道 - 博客频道 - CSDN.NET。 　　5、OpenCV中features2d实现的SIFT匹配有多种matcher：VectorDescriptorMatcher，BFMatcher（Brute-force descriptor matcher），FernDescriptorMatcher，OneWayDescriptorMatcher，FlannBasedMatcher 等等。目前只知道采用knnsearch，提供了多种距离度量方式，具体区别不懂。 　

　SIFT匹配（Scale-invariant feature transform，尺度不变特征转换)是一种电脑视觉的算法用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量，此算法由 David Lowe 在1999年所发表，2004年完善总结。其应用范围包含物体辨识、机器人地图感知与导航、影像缝合、3D模型建立、手势辨识、影像追踪和动作比对。　　局部影像特征的描述与侦测可以帮助辨识物体，SIFT 特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关。对于光线、噪声、些微视角改变的容忍度也相当高。基于这些特性，它们是高度显著而且相对容易撷取，在母数庞大的特征数据库中，很容易辨识物体而且鲜有误认。使用 SIFT特征描述对于部分物体遮蔽的侦测率也相当高，甚至只需要3个以上的SIFT物体特征就足以计算出位置与方位。在现今的电脑硬件速度下和小型的特征数据库条件下，辨识速度可接近即时运算。SIFT特征的信息量大，适合在海量数据库中快速准确匹配。2、SIFT特征的主要特点　　从理论上说，SIFT是一种相似不变量，即对图像尺度变化和旋转是不变量。然而，由于构造SIFT特征时，在很多细节上进行了特殊处理，使得SIFT对图像的复杂变形和光照变化具有了较强的适应性，同时运算速度比较快，定位精度比较高。如：　　在多尺度空间采用DOG算子检测关键点，相比传统的基于LOG算子的检测方法，运算速度大大加快；　　关键点的精确定位不仅提高了精度，而且大大提高了关键点的稳定性；　　在构造描述子时，以子区域的统计特性，而不是以单个像素作为研究对象，提高了对图像局部变形的适应能力；

对阈值的选择：当两幅图像的SIFT特征向量生成后，下一步我们采用关键点特征向量的欧式距离来作为 两幅图像中关键点的相似性判定度量。取图像1中的某个关键点，并找出其与图像2中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近 的距离少于某个比例阈值，则接受这一对匹配点。降低这个比例阈值，SIFT匹配点数目会减少，但更加稳定。为了排除因为图像遮挡和背景混乱而产生的无匹配 关系的关键点,Lowe提出了比较最近邻距离与次近邻距离的方法,距离比率ratio小于某个阈值的认为是正确匹配。因为对于错误匹配,由于特征空间的高 维性,相似的距离可能有大量其他的错误匹配,从而它的ratio值比较高。Loweratio的阈值为0.8。但作者对大量任意存在尺度、旋转和亮度 变化的两幅图片进行匹配，结果表明ratio取值在0. 4~0. 6之间最佳，小于0. 4的很少有匹配点，大于0. 6的则存在大量错误匹配点。(如果这个地方你要改进，最好给出一个匹配率和ration之间的关系图，这样才有说服力)作者建议ratio的取值原则如 下:ratio=0. 4　对于准确度要求高的匹配；ratio=0. 6　对于匹配点数目要求比较多的匹配；ratio=0. 5　一般情况下。也可按如下原则:当最近邻距离<200时ratio=0. 6，反之ratio=0. 4。ratio的取值策略能排分错误匹配点。同理，MSCR也可以按照这一方案来设计检索算法

看看这个程序函数main（） - 北美％，其主要思想是选择从两个图像信息，然后争先恐后到一个单一的形象。 ％，可以从多个（2 * n个）按照上述思路的图像进行加密，得到一半的数量（n个）图像。 ％所获得的图像隐藏的自适应算法中，并且能够获得第（n-1）个图像。 ％对于第（n-1）个图像Arnold变换的，第（n-1）作为密钥块的图像，此外，密钥有迭代的次数，加扰规则，阿诺德加密规则 BR>％阿诺德的主要缺点是较大的周期，程序运行的时间很长，我的电脑需要8分钟，另一个，阿诺德只能处理方阵大量的扰码加密算法，程序中使用的图像％扰码加密算法，只有一个办法，只是提出了占地多图像加密的思想，有要迟到做了很多工作。 ％阅读4画面 F1 = imread（"lena.gif"）; F2 = imread（"monkey.gif"）; F3 = imread（"house.gif"）; F4 = imread（"cameraman.gif"）;图像置乱 pic1_zhiluan = zhiluan（F1，F2） - 北美％; pic2_zhiluan = zhiluan（F3，F4）; ％的显示失真的图像 pic1_zhiluan = UINT8（pic1_zhiluan）; 图，imshow（pic1_zhiluan），标题（“图片1 zhiluan"） - 欧洲pic2_zhiluan = UINT8（pic2_zhiluan）; 图，imshow（pic2_zhiluan），标题（“PIC2 zhiluan"） - 中东％的两幅图像都争先恐后地隐藏 X1 =输入（"请输入一个混合迭代参数：" ）; pic1_hide =隐藏（pic1_zhiluan，X1，pic2_zhiluan）;图像％是经过Arnold置乱加密 diedai1 =输入隐藏的（"输入参数迭代："） pic1_jiami =阿诺德（pic1_hide，diedai1,0）; ％，显示加密图像 pic1_jiami = UINT8（pic1_jiami）; 图，imshow（pic1_jiami），标题（“图片1佳米"） - 欧洲diedai2 =输入（"请输入一个迭代参数："） pic2_jiami =阿诺德（pic2_zhiluan，diedai2,0）; pic2_jiami = UINT8（pic2_jiami）; 图，imshow（pic2_jiami），标题（“PIC2佳米"） - 北美％解密图像 pic1_jiemi =阿诺德（pic1_jiami，diedai1,1）; pic2_jiemi =阿诺德（pic2_jiami，diedai2,1）;隐藏图像 pic1_huifu =惠福（pic1_jiemi，X1，pic2_jiemi）以后 - ％的回收率; ％争先恐后逆过程，得到的图片恢复[较受欢迎，图像2] = ni_zhiluan（pic1_huifu）; [为image3，为image4] = ni_zhiluan（pic2_jiemi）; ％，显示每个图像 F1 = UINT8（F1）; 图，imshow（F1），标题（“F1”）; 图，imhist（F1），标题（“F1直方图"）; 较受欢迎= UINT8（较受欢迎）; 图，imshow（较受欢迎），标题（“较受欢迎”）; 图，imhist（较受欢迎），标题（“较受欢迎直方图"）; F2 = UINT8（F2）; 图，imshow（F2），标题（"F2"）; 图，imhist（F2），标题（"F2的直方图"）; 较受欢迎= UINT8（图片2）; 图，imshow（图片2），标题（“图像2"）; 图，imhist（图片2），标题（“直方图的图像2"）; F3 = UINT8（F3）; 图，imshow（F3），标题（“F3”）; 图，imhist（F3），标题（“F3的直方图"）; 为image3 = UINT8（为image3）; 图，imshow（为image3），标题（“为image3"）; 图，imhist（为image3），标题（“直方图为image3"）; F4 = UINT8（F4）; 图，imshow（F4），标题（“F4”）; 图，imhist（F4），标题（“F4的直方图"）; 为image4 = UINT8（为image4）; 图，imshow（为image4），标题（“为image4"）; 图，imhist（为image4），标题（“为image4直方图”

主要流程是：(1) 从样本集中随机抽选一个RANSAC样本，即4个匹配点对(2) 根据这4个匹配点对计算变换矩阵M(3) 根据样本集，变换矩阵M，和误差度量函数计算满足当前变换矩阵的一致集consensus，并返回一致集中元素个数(4) 根据当前一致集中元素个数判断是否最优(最大)一致集，若是则更新当前最优一致集(5) 更新当前错误概率p，若p大于允许的最小错误概率则重复(1)至(4)继续迭代，直到当前错误概率p小于最小错误概率

您好，很高兴能帮助您，SIFT匹配（Scale-invariant feature transform，尺度不变特征转换)是一种电脑视觉的算法用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量，此算法由 David Lowe 在1999年所发表，2004年完善总结。其应用范围包含物体辨识、机器人地图感知与导航、影像缝合、3D模型建立、手势辨识、影像追踪和动作比对。　　局部影像特征的描述与侦测可以帮助辨识物体，SIFT 特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关。对于光线、噪声、些微视角改变的容忍度也相当高。基于这些特性，它们是高度显著而且相对容易撷取，在母数庞大的特征数据库中，很容易辨识物体而且鲜有误认。使用 SIFT特征描述对于部分物体遮蔽的侦测率也相当高，甚至只需要3个以上的SIFT物体特征就足以计算出位置与方位。在现今的电脑硬件速度下和小型的特征数据库条件下，辨识速度可接近即时运算。SIFT特征的信息量大，适合在海量数据库中快速准确匹配。2、SIFT特征的主要特点　　从理论上说，SIFT是一种相似不变量，即对图像尺度变化和旋转是不变量。然而，由于构造SIFT特征时，在很多细节上进行了特殊处理，使得SIFT对图像的复杂变形和光照变化具有了较强的适应性，同时运算速度比较快，定位精度比较高。如：　　在多尺度空间采用DOG算子检测关键点，相比传统的基于LOG算子的检测方法，运算速度大大加快；　　关键点的精确定位不仅提高了精度，而且大大提高了关键点的稳定性；　　在构造描述子时，以子区域的统计特性，而不是以单个像素作为研究对象，提高了对图像局部变形的适应能力；你的采纳是我前进的动力，还有不懂的地方，请你继续“追问”！如你还有别的问题，可另外向我求助；答题不易，互相理解，互相帮助！

键盘上“L SHIFT”是键盘左边的【shift键】，L为left（左边）的简写；键盘上“R SHIFT”是键盘右边的【shift键】，R为right（右边）的简写；图片说明如下：L是左边的 R是右边的123456789d就是右边的 shift按键 左边的shift 叫 LSHIFT在空格键上面一排的最后就是键盘左边的“shift”键和右边的“shift”键。分别在键盘的左下角和右下角。

一、特征点（角点）匹配图像匹配能够应用的场合非常多，如目标跟踪，检测，识别，图像拼接等，而角点匹配最核心的技术就要属角点匹配了，所谓角点匹配是指寻找两幅图像之间的特征像素点的对应关系，从而确定两幅图像的位置关系。角点匹配可以分为以下四个步骤：1、提取检测子：在两张待匹配的图像中寻找那些最容易识别的像素点（角点），比如纹理丰富的物体边缘点等。2、提取描述子：对于检测出的角点，用一些数学上的特征对其进行描述，如梯度直方图，局部随机二值特征等。检测子和描述子的常用提取方法有：sift，harris，surf，fast，agast，brisk，freak，brisk，brief/orb等。3、匹配：通过各个角点的描述子来判断它们在两张图像中的对应关系，常用方法如 flann等。4、消噪：去除错误匹配的外点，保留正确的匹配点。常用方法有KDTREE，BBF，Ransac，GTM等。二、SIFT匹配方法的提出为了排除因为图像遮挡和背景混乱而产生的无匹配关系的关键点，SIFT的作者Lowe提出了比较最近邻距离与次近邻距离的SIFT匹配方式：取一幅图像中的一个SIFT关键点，并找出其与另一幅图像中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离得到的比率ratio少于某个阈值T，则接受这一对匹配点。因为对于错误匹配，由于特征空间的高维性，相似的距离可能有大量其他的错误匹配，从而它的ratio值比较高。显然降低这个比例阈值T，SIFT匹配点数目会减少，但更加稳定，反之亦然。Lowe推荐ratio的阈值为0.8，但作者对大量任意存在尺度、旋转和亮度变化的两幅图片进行匹配，结果表明ratio取值在0. 4~0. 6 之间最佳，小于0. 4的很少有匹配点，大于0. 6的则存在大量错误匹配点，所以建议ratio的取值原则如下:ratio=0. 4：对于准确度要求高的匹配；ratio=0. 6：对于匹配点数目要求比较多的匹配；ratio=0. 5：一般情况下。三、常见的SIFT匹配代码1、vlfeat中sift toolbox中的vl_ubcmatch.c使用的是普通的欧氏距离进行匹配（该SIFT代码贡献自AndreaVedaldi）。2、Lowe的C++代码中使用的是欧氏距离，但是在matlab代码中为了加速计算，使用的是向量夹角来近似欧氏距离：先将128维SIFT特征向量归一化为单位向量（每个数除以平方和的平方根），然后点乘来得到向量夹角的余弦值，最后利用反余弦（acos函数）求取向量夹角。实验证明Lowe的办法正确率和耗时都很不错。同样，也可以采用knnsearch函数求最近点和次近点：knnsearch采用euclidean距离时得到的结果与lowe采用的近似方法结果几乎一致，正好印证了模拟欧氏距离的效果。3、Rob Hess的OpenSIFT采用了KDTREE来对匹配进行优化。4、CSDN大神v_JULY_v实现了KDTREE+BBF对SIFT匹配的优化和消除错误匹配：从K近邻算法、距离度量谈到KD树、SIFT+BBF算法- 结构之法 算法之道 - 博客频道 - CSDN.NET。5、OpenCV中features2d实现的SIFT匹配有多种matcher：VectorDescriptorMatcher，BFMatcher（Brute-force descriptor matcher），FernDescriptorMatcher，OneWayDescriptorMatcher，FlannBasedMatcher 等等。目前只知道采用knnsearch，提供了多种距离度量方式，具体区别不懂。

shift+f5可以为图层填充前景色、背景色、内容识别、图案、颜色等。以Photoshop CS5为例， 具体操作步骤如下： 1. 双击打开桌面上的Photoshop CS5图标。 2.打开PS后，点击文件中新建，新建一个图层，并点击确定。 3.然后我们按Shift+F5键，会弹出填充图层的对话框。 4.点击使用下拉框选项， 从中选择想要填充的内容，如背景色。 5.选好之后，点击确定。 6.然后我们就看到图层颜色变成背景色（白色）的颜色了。

　SIFT匹配（Scale-invariant feature transform，尺度不变特征转换)是一种电脑视觉的算法用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量，此算法由 David Lowe 在1999年所发表，2004年完善总结。其应用范围包含物体辨识、机器人地图感知与导航、影像缝合、3D模型建立、手势辨识、影像追踪和动作比对。　　局部影像特征的描述与侦测可以帮助辨识物体，SIFT 特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关。对于光线、噪声、些微视角改变的容忍度也相当高。基于这些特性，它们是高度显著而且相对容易撷取，在母数庞大的特征数据库中，很容易辨识物体而且鲜有误认。使用 SIFT特征描述对于部分物体遮蔽的侦测率也相当高，甚至只需要3个以上的SIFT物体特征就足以计算出位置与方位。在现今的电脑硬件速度下和小型的特征数据库条件下，辨识速度可接近即时运算。SIFT特征的信息量大，适合在海量数据库中快速准确匹配。2、SIFT特征的主要特点　　从理论上说，SIFT是一种相似不变量，即对图像尺度变化和旋转是不变量。然而，由于构造SIFT特征时，在很多细节上进行了特殊处理，使得SIFT对图像的复杂变形和光照变化具有了较强的适应性，同时运算速度比较快，定位精度比较高。如：　　在多尺度空间采用DOG算子检测关键点，相比传统的基于LOG算子的检测方法，运算速度大大加快；　　关键点的精确定位不仅提高了精度，而且大大提高了关键点的稳定性；　　在构造描述子时，以子区域的统计特性，而不是以单个像素作为研究对象，提高了对图像局部变形的适应能力；

sieve 名词 动词 sift动词 美女查词典啊

openCV的SIFT()不能用，版权问题，只需回退opencv的版本即可。 pip uninstall opencv-python pip uninstall opencv-contrib-python pip install opencv_python==3.4.2.16 pip install opencv-contrib-python==3.4.2.16 然后再打开一次python环境即可运行sift = cv2.SIFT()

　　一、特征点（角点）匹配　　图像匹配能够应用的场合非常多，如目标跟踪，检测，识别，图像拼接等，而角点匹配最核心的技术就要属角点匹配了，所谓角点匹配是指寻找两幅图像之间的特征像素点的对应关系，从而确定两幅图像的位置关系。　　角点匹配可以分为以下四个步骤：　　1、提取检测子：在两张待匹配的图像中寻找那些最容易识别的像素点（角点），比如纹理丰富的物体边缘点等。　　2、提取描述子：对于检测出的角点，用一些数学上的特征对其进行描述，如梯度直方图，局部随机二值特征等。检测子和描述子的常用提取方法有：sift，harris，surf，fast，agast，brisk，freak，brisk，brief/orb等。　　3、匹配：通过各个角点的描述子来判断它们在两张图像中的对应关系，常用方法如 flann等。　　4、消噪：去除错误匹配的外点，保留正确的匹配点。常用方法有KDTREE，BBF，Ransac，GTM等。　　二、SIFT匹配方法的提出　　为了排除因为图像遮挡和背景混乱而产生的无匹配关系的关键点，SIFT的作者Lowe提出了比较最近邻距离与次近邻距离的SIFT匹配方式：取一幅图像中的一个SIFT关键点，并找出其与另一幅图像中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离得到的比率ratio少于某个阈值T，则接受这一对匹配点。因为对于错误匹配，由于特征空间的高维性，相似的距离可能有大量其他的错误匹配，从而它的ratio值比较高。显然降低这个比例阈值T，SIFT匹配点数目会减少，但更加稳定，反之亦然。　　Lowe推荐ratio的阈值为0.8，但作者对大量任意存在尺度、旋转和亮度变化的两幅图片进行匹配，结果表明ratio取值在0. 4~0. 6 之间最佳，小于0. 4的很少有匹配点，大于0. 6的则存在大量错误匹配点，所以建议ratio的取值原则如下:　　ratio=0. 4：对于准确度要求高的匹配；　　ratio=0. 6：对于匹配点数目要求比较多的匹配；　　ratio=0. 5：一般情况下。　　三、常见的SIFT匹配代码　　1、vlfeat中sift toolbox中的vl_ubcmatch.c使用的是普通的欧氏距离进行匹配（该SIFT代码贡献自AndreaVedaldi）。　　2、Lowe的C++代码中使用的是欧氏距离，但是在matlab代码中为了加速计算，使用的是向量夹角来近似欧氏距离：先将128维SIFT特征向量归一化为单位向量（每个数除以平方和的平方根），然后点乘来得到向量夹角的余弦值，最后利用反余弦（acos函数）求取向量夹角。实验证明Lowe的办法正确率和耗时都很不错。同样，也可以采用knnsearch函数求最近点和次近点：knnsearch采用euclidean距离时得到的结果与lowe采用的近似方法结果几乎一致，正好印证了模拟欧氏距离的效果。　　3、Rob Hess的OpenSIFT采用了KDTREE来对匹配进行优化。　　4、CSDN大神v_JULY_v实现了KDTREE+BBF对SIFT匹配的优化和消除错误匹配：从K近邻算法、距离度量谈到KD树、SIFT+BBF算法- 结构之法 算法之道 - 博客频道 - CSDN.NET。　　5、OpenCV中features2d实现的SIFT匹配有多种matcher：VectorDescriptorMatcher，BFMatcher（Brute-force descriptor matcher），FernDescriptorMatcher，OneWayDescriptorMatcher，FlannBasedMatcher 等等。目前只知道采用knnsearch，提供了多种距离度量方式，具体区别不懂。　

　SIFT匹配（Scale-invariant feature transform，尺度不变特征转换)是一种电脑视觉的算法用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量，此算法由 David Lowe 在1999年所发表，2004年完善总结。其应用范围包含物体辨识、机器人地图感知与导航、影像缝合、3D模型建立、手势辨识、影像追踪和动作比对。　　局部影像特征的描述与侦测可以帮助辨识物体，SIFT 特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关。对于光线、噪声、些微视角改变的容忍度也相当高。基于这些特性，它们是高度显著而且相对容易撷取，在母数庞大的特征数据库中，很容易辨识物体而且鲜有误认。使用 SIFT特征描述对于部分物体遮蔽的侦测率也相当高，甚至只需要3个以上的SIFT物体特征就足以计算出位置与方位。在现今的电脑硬件速度下和小型的特征数据库条件下，辨识速度可接近即时运算。SIFT特征的信息量大，适合在海量数据库中快速准确匹配。

这几天继续在看Lowe大神的SIFT神作，看的眼花手脚抽筋。也是醉了！！！！实在看不下去，来点干货。我们知道opencv下自带SIFT特征检测以及MATCH匹配的库，这些库完全可以让我们进行傻瓜似的操作。但实际用起来的时候还不是那么简单。下文将对一个典型的基于OPENCV的SIFT特征点提取以及匹配的例程进行分析，并由此分析详细的对OPENCV中SIFT算法的使用进行一个介绍。OPENCV下SIFT特征点提取与匹配的大致流程如下：读取图片-》特征点检测（位置，角度，层）-》特征点描述的提取（16*8维的特征向量）-》匹配-》显示其中，特征点提取主要有两个步骤，见上行黄子部分。下面做具体分析。1、使用opencv内置的库读取两幅图片2、生成一个SiftFeatureDetector的对象，这个对象顾名思义就是SIFT特征的探测器，用它来探测衣服图片中SIFT点的特征，存到一个KeyPoint类型的vector中。这里有必要说keypoint的数据结构，涉及内容较多，具体分析查看opencv中keypoint数据结构分析，里面讲的自认为讲的还算详细（表打我……）。简而言之最重要的一点在于：keypoint只是保存了opencv的sift库检测到的特征点的一些基本信息，但sift所提取出来的特征向量其实不是在这个里面，特征向量通过SiftDescriptorExtractor 提取，结果放在一个Mat的数据结构中。这个数据结构才真正保存了该特征点所对应的特征向量。具体见后文对SiftDescriptorExtractor 所生成的对象的详解。就因为这点没有理解明白耽误了一上午的时间。哭死！3、对图像所有KEYPOINT提取其特征向量：得到keypoint只是达到了关键点的位置，方向等信息，并无该特征点的特征向量，要想提取得到特征向量就还要进行SiftDescriptorExtractor 的工作，建立了SiftDescriptorExtractor 对象后，通过该对象，对之前SIFT产生的特征点进行遍历，找到该特征点所对应的128维特征向量。具体方法参见opencv中SiftDescriptorExtractor所做的SIFT特征向量提取工作简单分析。通过这一步后，所有keypoint关键点的特征向量被保存到了一个MAT的数据结构中，作为特征。4、对两幅图的特征向量进行匹配，得到匹配值。两幅图片的特征向量被提取出来后，我们就可以使用BruteForceMatcher对象对两幅图片的descriptor进行匹配，得到匹配的结果到matches中，这其中具体的匹配方法暂没细看，过段时间补上。至此，SIFT从特征点的探测到最后的匹配都已经完成，虽然匹配部分不甚了解，只扫对于如何使用OPENCV进行sift特征的提取有了一定的理解。接下来可以开始进行下一步的工作了。附:使用OPENCV下SIFT库做图像匹配的例程123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778// opencv_empty_proj.cpp : 定义控制台应用程序的入口点。//#include "stdafx.h"#include opencv.hpp>#include features2d/features2d.hpp>#includenonfree/nonfree.hpp>#includelegacy/legacy.hpp>#includeusing namespace std;using namespace cv;int _tmain(int argc, _TCHAR* argv[]){const char* imagename = "img.jpg";//从文件中读入图像Mat img = imread(imagename);Mat img2=imread("img2.jpg");//如果读入图像失败if(img.empty()){fprintf(stderr, "Can not load image %s ", imagename);return -1;}if(img2.empty()){fprintf(stderr, "Can not load image %s ", imagename);return -1;}//显示图像imshow("image before", img);imshow("image2 before",img2);//sift特征检测SiftFeatureDetector siftdtc;vectorkp1,kp2;siftdtc.detect(img,kp1);Mat outimg1;drawKeypoints(img,kp1,outimg1);imshow("image1 keypoints",outimg1);KeyPoint kp;vector::iterator itvc;for(itvc=kp1.begin();itvc!=kp1.end();itvc++){cout<<"angle:"<angle<<" "<class_id<<" "<octave<<" "<pt<<" "<response<<endl;}siftdtc.detect(img2,kp2);Mat outimg2;drawKeypoints(img2,kp2,outimg2);imshow("image2 keypoints",outimg2);SiftDescriptorExtractor extractor;Mat descriptor1,descriptor2;BruteForceMatcher<L2> matcher;vector matches;Mat img_matches;extractor.compute(img,kp1,descriptor1);extractor.compute(img2,kp2,descriptor2);imshow("desc",descriptor1);cout<<endl<<descriptor1<<endl;matcher.match(descriptor1,descriptor2,matches);drawMatches(img,kp1,img2,kp2,matches,img_matches);imshow("matches",img_matches);//此函数等待按键，按键盘任意键就返回waitKey();return 0;}

解决思路如下：sift匹配分为两部分，第一部分，sift特征点检测； 第二部分，sift对特征点进行描述。 我建议你用harris或者其他的特征点提取方法做第一部分，这样检测的特征点可能会多些。希望能够帮到你~

　　一、特征点（角点）匹配　　图像匹配能够应用的场合非常多，如目标跟踪，检测，识别，图像拼接等，而角点匹配最核心的技术就要属角点匹配了，所谓角点匹配是指寻找两幅图像之间的特征像素点的对应关系，从而确定两幅图像的位置关系。　　角点匹配可以分为以下四个步骤：　　1、提取检测子：在两张待匹配的图像中寻找那些最容易识别的像素点（角点），比如纹理丰富的物体边缘点等。　　2、提取描述子：对于检测出的角点，用一些数学上的特征对其进行描述，如梯度直方图，局部随机二值特征等。检测子和描述子的常用提取方法有：sift，harris，surf，fast，agast，brisk，freak，brisk，brief/orb等。　　3、匹配：通过各个角点的描述子来判断它们在两张图像中的对应关系，常用方法如 flann等。　　4、消噪：去除错误匹配的外点，保留正确的匹配点。常用方法有KDTREE，BBF，Ransac，GTM等。　　二、SIFT匹配方法的提出　　为了排除因为图像遮挡和背景混乱而产生的无匹配关系的关键点，SIFT的作者Lowe提出了比较最近邻距离与次近邻距离的SIFT匹配方式：取一幅图像中的一个SIFT关键点，并找出其与另一幅图像中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离得到的比率ratio少于某个阈值T，则接受这一对匹配点。因为对于错误匹配，由于特征空间的高维性，相似的距离可能有大量其他的错误匹配，从而它的ratio值比较高。显然降低这个比例阈值T，SIFT匹配点数目会减少，但更加稳定，反之亦然。　　Lowe推荐ratio的阈值为0.8，但作者对大量任意存在尺度、旋转和亮度变化的两幅图片进行匹配，结果表明ratio取值在0. 4~0. 6 之间最佳，小于0. 4的很少有匹配点，大于0. 6的则存在大量错误匹配点，所以建议ratio的取值原则如下:　　ratio=0. 4：对于准确度要求高的匹配；　　ratio=0. 6：对于匹配点数目要求比较多的匹配；　　ratio=0. 5：一般情况下。　　三、常见的SIFT匹配代码　　1、vlfeat中sift toolbox中的vl_ubcmatch.c使用的是普通的欧氏距离进行匹配（该SIFT代码贡献自AndreaVedaldi）。　　2、Lowe的C++代码中使用的是欧氏距离，但是在matlab代码中为了加速计算，使用的是向量夹角来近似欧氏距离：先将128维SIFT特征向量归一化为单位向量（每个数除以平方和的平方根），然后点乘来得到向量夹角的余弦值，最后利用反余弦（acos函数）求取向量夹角。实验证明Lowe的办法正确率和耗时都很不错。同样，也可以采用knnsearch函数求最近点和次近点：knnsearch采用euclidean距离时得到的结果与lowe采用的近似方法结果几乎一致，正好印证了模拟欧氏距离的效果。　　3、Rob Hess的OpenSIFT采用了KDTREE来对匹配进行优化。　　4、CSDN大神v_JULY_v实现了KDTREE+BBF对SIFT匹配的优化和消除错误匹配：从K近邻算法、距离度量谈到KD树、SIFT+BBF算法- 结构之法 算法之道 - 博客频道 - CSDN.NET。　　5、OpenCV中features2d实现的SIFT匹配有多种matcher：VectorDescriptorMatcher，BFMatcher（Brute-force descriptor matcher），FernDescriptorMatcher，OneWayDescriptorMatcher，FlannBasedMatcher 等等。目前只知道采用knnsearch，提供了多种距离度量方式，具体区别不懂。