查看“Feature (computer vision)”的源代码

{{short description|关于图像内容的信息片段}}
{{FeatureDetectionCompVisNavbox}}
{{machine learning bar}}
{{See also|Feature (machine learning)}}
在[[计算机视觉]]和[[图像处理]]中，'''特征'''是关于图像内容的信息片段；通常是关于图像某一区域是否具有特定属性。特征可以是图像中的特定结构，如点、边缘或对象。特征也可能是对图像应用的一般[[邻域操作]]或'''特征检测'''的结果。其他特征的例子包括与图像序列中的运动相关，或以曲线或不同图像区域之间的边界定义的形状。

更广泛地说，''特征''是与特定应用相关的计算任务解决所需的任何信息片段。这与[[机器学习]]和普遍的[[模式识别]]中的[[feature (machine learning)|feature]]含义相同，尽管图像处理拥有非常复杂的特征集合。特征概念非常通用，特定计算机视觉系统中的特征选择可能高度依赖于手头的具体问题。

== 定义 ==
对于构成特征的具体内容并没有通用或精确的定义，确切的定义通常取决于问题或应用类型。尽管如此，特征通常被定义为[[数字图像|图像]]中的一个“有趣”部分，特征被用作许多计算机视觉算法的起点。

由于特征被用作后续算法的起点和主要原始数据，因此整个算法通常只会和其特征检测器一样好。因此，特征检测器的理想属性是''[[可重复性]]'': 即在同一场景的两个或更多不同图像中是否会检测到相同的特征。

特征检测是一种低级[[图像处理]]操作。也就是说，它通常作为对图像的第一个操作，并检查每个[[像素]]以查看该像素是否存在特征。如果这是更大算法的一部分，则该算法通常只会检查特征区域的图像。作为特征检测的内置先决条件，输入图像通常由[[高斯模糊|高斯]]核在[[尺度空间|尺度空间表示]]中平滑处理，然后计算一个或几个特征图像，通常以局部[[图像导数]]操作的形式表达。

偶尔，当特征检测是[[计算代价高]]且有时间限制时，可能会使用更高级别的算法来指导特征检测阶段，以便仅在图像的某些部分搜索特征。

许多计算机视觉算法都将特征检测作为初始步骤，因此开发了大量的特征检测器。这些检测器在检测的特征类型、计算复杂性和可重复性方面有很大的不同。

当特征以应用于图像的局部邻域操作定义时，通常称为'''特征提取'''，可以区分产生局部决策的特征检测方法（在给定图像点是否存在给定类型的特征）和产生非二进制数据结果的方法。当检测到的特征相对稀疏时，这种区别变得相关。尽管做出了局部决策，特征检测步骤的输出不必是二进制图像。结果通常以检测到特征的图像点的一组（连接或未连接）坐标表示，有时具有亚像素精度。

当在没有局部决策的情况下进行特征提取时，结果通常被称为''特征图像''。因此，特征图像可以看作是图像，因为它是原始图像相同的空间（或时间）变量的函数，但像素值包含关于图像特征的信息，而不是强度或颜色。这意味着特征图像可以以与由图像传感器生成的普通图像类似的方式进行处理。特征图像也常作为特征检测算法的一部分进行计算。

===特征向量和特征空间===
在某些应用中，仅提取一种类型的特征以从图像数据中获取相关信息是不够的。相反，需要提取两种或更多不同的特征，从而在每个图像点产生两个或更多特征描述符。一种常见的做法是将所有这些描述符提供的信息作为一个单一向量的元素进行组织，通常称为'''特征向量'''。所有可能的特征向量集合构成一个'''特征空间'''。<ref name="Umbaugh2005">{{cite book|author=Scott E Umbaugh|title=Computer Imaging: Digital Image Analysis and Processing|url=https://books.google.com/books?id=JNhRSAMFn6YC&q=%22feature+space%22|date=27 January 2005|publisher=CRC Press|isbn=978-0-8493-2919-7}}</ref>

当每个图像点要被分类为属于特定类别时，特征向量的一个常见示例出现。假设每个图像点都有一个基于适当特征集的对应特征向量，意味着每个类别在相应的特征空间中被良好分隔，每个图像点的分类可以使用标准的[[统计分类|分类]]方法完成。

{{multiple image
| direction = horizontal
| total_width = 400
| footer    =
| image1    = Simplified neural network training example.svg
| alt1      =
| caption1  = 神经网络在物体检测训练的简化例子：网络通过多张已知描绘[[海星]]和[[海胆]]的图像进行训练，这些图像与代表视觉特征的“节点”相关联。海星与环状纹理和星形轮廓相匹配，而大多数海胆则与条纹纹理和椭圆形状相匹配。然而，一个环纹海胆的实例在它们之间创造了一个弱加权的关联。
| image2    = Simplified neural network example.svg
| alt2      =
| caption2  = 网络对输入图像（左侧）的后续运行：<ref>{{cite book|author=Ferrie, C., & Kaiser, S.|year=2019|title=Neural Networks for Babies|publisher=Sourcebooks|isbn=1492671207}}</ref> 网络正确地检测到海星。然而，环状纹理与海胆之间的弱加权关联也使后者从两个特征之一获得弱信号。此外，一只未包括在训练中的贝壳为椭圆形状提供了一个弱信号，也导致了海胆输出的弱信号。这些弱信号可能导致海胆的[[误报]]。<br>实际上，纹理和轮廓不会由单个节点表示，而是由多个节点的相关权重模式表示。}}
当将基于[[人工神经网络|神经网络]]的处理应用于图像时，就会出现另一个相关的例子。馈送至神经网络的输入数据通常以每个图像点的特征向量的形式给出，其中向量是从图像数据中提取的几种不同特征构成的。在学习阶段，网络可以自行找出不同特征组合对解决手头问题的有用性。

== 类型 ==

=== 边缘 ===

边缘是图像区域之间存在边界（或边缘）的点。一般来说，边缘可以是几乎任意形状，并可能包括交点。在实践中，边缘通常定义为图像中具有强烈[[梯度]]幅度的点集。此外，一些常见算法会将高梯度点串联起来，形成对边缘的更完整描述。这些算法通常对边缘的属性，如形状、平滑度和梯度值，施加一定的限制。

在局部，边缘具有一维结构。

=== 角点 / 兴趣点 ===

“角点”和“兴趣点”这两个术语有时可互换使用，指的是图像中具有局部二维结构的点状特征。之所以称之为“角点”，是因为早期算法首先进行了[[边缘检测]]，然后分析边缘以找到快速方向变化（角点）。这些算法随后发展到不再需要显式的边缘检测，例如通过寻找[[图像梯度]]中的高[[曲率]]。随后注意到所谓的角点也被检测到图像的非传统角点部分（例如，暗背景上的小亮点可能被检测到）。这些点通常被称为兴趣点，但出于传统，仍使用“角点”一词{{citation needed|date=May 2020}}。

=== 斑点 / 兴趣区域点 ===

与更倾向于点状的角点相对，斑点以区域的形式提供了图像结构的补充描述。然而，斑点描述符通常包含一个首选点（算子响应的局部最大值或重心），这意味着许多斑点检测器也可视为兴趣点算子。斑点检测器可以检测图像中过于平滑而无法被角点检测器检测到的区域。

考虑缩小图像然后进行角点检测。检测器将响应在缩小图像中锐利的点，但在原始图像中可能是平滑的。在这一点上，角点检测器和斑点检测器之间的区别变得有些模糊。在很大程度上，可以通过包含适当的尺度概念来弥补这种区别。然而，由于它们对不同尺度下不同类型图像结构的响应特性，LoG和DoH [[斑点检测|斑点检测器]]也在[[角点检测]]的文章中提及。

=== 脊线 ===

对于细长物体来说，“脊线”的概念是一个自然的工具。从灰度图像中计算出的脊线描述符可以被视为[[medial axis|中轴]]的一个泛化。从实际的角度来看，脊线可以被认为是代表对称轴的一维曲线，并且每个脊点都有与之相关的局部脊宽属性。不幸的是，从一般类别的灰度图像中提取脊线特征在算法上比提取边缘、角点或斑点特征要难。尽管如此，脊线描述符经常用于航拍图像中的道路提取和医学图像中的血管提取——参见[[ridge detection|脊线检测]]。

== 检测 {{anchor|Detectors}} ==
[[File:Writing Desk with Harris Detector.png|thumb]]

'''特征检测'''包括用于计算图像信息的抽象和在每个图像点做出局部决策的方法，判断该点是否存在给定类型的图像特征。结果特征将是图像域的子集，通常以孤立点、连续曲线或连接区域的形式出现。

特征提取有时在多个尺度上进行。这些方法之一是[[scale-invariant feature transform|尺度不变特征变换]]（SIFT）。
{{Further|topic=Combination Of Shifted FIlter REsponses|COSFIRE}}

{| class="wikitable"
|+ 常见特征检测器及其分类：
!特征检测器!![[Edge detection|边缘]]!![[Corner detection|角点]]!![[Blob detection|斑点]]!![[Ridge detection|脊线]]
|-
| [[Canny edge detector|Canny]]<ref name=Can86>{{Cite journal|last=Canny|first=J.|author-link=John Canny|title=A Computational Approach To Edge Detection|journal=IEEE Transactions on Pattern Analysis and Machine Intelligence|volume=8|pages=679–714|year=1986|doi=10.1109/TPAMI.1986.4767851|issue=6|pmid=21869365|s2cid=13284142}}</ref>
| {{Yes}}
| {{No}}
| {{No}}
| {{No}}
|-
|-
| [[Sobel operator|Sobel]]
| {{Yes}}
| {{No}}
| {{No}}
| {{No}}
|-
|-
|[[Harris corner detector|Harris & Stephens / Plessey]]<ref name=HarSte88>{{cite conference
|author1=C. Harris |author2=M. Stephens | title=A combined corner and edge detector
| book-title=Proceedings of the 4th Alvey Vision Conference
| pages=147–151
| year=1988
| url=http://www.bmva.org/bmvc/1988/avc-88-023.pdf
}}</ref>
| {{Yes}}
| {{Yes}}
| {{No}}
| {{No}}
|-
|[[Corner detection#The SUSAN corner detector|SUSAN]]<ref name=Sus97>{{cite journal
|author1=S. M. Smith |author2=J. M. Brady | title=SUSAN - a new approach to low level image processing
| url=http://citeseer.ist.psu.edu/smith95susan.html
| journal=International Journal of Computer Vision
| volume=23
| pages=45–78
|date=May 1997
| doi=10.1023/A:1007963824710
| issue=1
|s2cid=15033310 }}</ref>
| {{Yes}}
| {{Yes}}
| {{No}}
| {{No}}
|-
|[[Corner detection#The Shi and Tomasi corner detection algorithm|Shi & Tomasi]]<ref name=ShiTom94>{{cite conference
|author1=J. Shi |author2=C. Tomasi | title=Good Features to Track
| publisher=Springer
|date=June 1994
| book-title=9th IEEE Conference on Computer Vision and Pattern Recognition
| url=http://citeseer.ist.psu.edu/shi94good.html
}}</ref>
| {{No}}
| {{Yes}}
| {{No}}
| {{No}}
|-
|[[Corner detection#The level curve curvature approach|Level curve curvature]]<ref name=Lin98/>
| {{No}}
| {{Yes}}
| {{No}}
| {{No}}
|-
|[[Features from accelerated segment test|FAST]]<ref name=Ros06>{{cite conference
|author1=E. Rosten |author2=T. Drummond | title=Machine learning for high-speed corner detection
| book-title=European Conference on Computer Vision
| publisher=Springer
| pages=430–443
| year=2006
| citeseerx = 10.1.1.60.3991
| doi=10.1007/11744023_34
}}</ref>
| {{No}}
| {{Yes}}
| {{Yes}}
| {{No}}
|-
|[[Blob detection#The Laplacian of Gaussian|Laplacian of Gaussian]]<ref name=Lin98>{{cite journal
| author=T. Lindeberg
| title=Feature detection with automatic scale selection
| journal=International Journal of Computer Vision
| year=1998
| volume=30
| issue=2
| pages=77–116
| url=http://kth.diva-portal.org/smash/record.jsf?pid=diva2%3A453064&dswid=-1017
| format=abstract
| doi=10.1023/A:1008045108935
| s2cid=723210
}}</ref>
| {{No}}
| {{Yes}}
| {{Yes}}
| {{No}}
|-
| [[Difference of Gaussians]]<ref name=Cro84>J. L. Crowley and A. C. Parker, "[http://www.dtic.mil/get-tr-doc/pdf?AD=ADA133299 A Representation for Shape Based on Peaks and Ridges in the Difference of Low Pass Transform]{{dead link|date=June 2022|bot=medic}}{{cbignore|bot=medic}}", IEEE Transactions on PAMI, PAMI 6 (2), pp.&nbsp;156–170, March 1984.</ref><ref name=Low04>{{cite journal
| author=D. Lowe
| title=Distinctive Image Features from Scale-Invariant Keypoints
| journal=International Journal of Computer Vision
| year=2004
| url=http://citeseer.ist.psu.edu/654168.html
| doi=10.1023/B:VISI.0000029664.99615.94
| volume=60
|page=91
| issue=2
| citeseerx=10.1.1.73.2924
| s2cid=221242327
}}</ref>
| {{No}}
| {{Yes}}
| {{Yes}}
| {{No}}
|-
|[[Blob detection#The determinant of the Hessian|Determinant of Hessian]]<ref name=Lin98/>
| {{No}}
| {{Yes}}
| {{Yes}}
| {{No}}
|-
|[[Hessian strength feature measures]]<ref name=Lin13JMIV>[https://doi.org/10.1007/s10851-012-0378-3 T. Lindeberg "Scale selection properties of generalized scale-space interest point detectors", Journal of Mathematical Imaging and Vision, Volume 46, Issue 2, pages 177-210, 2013.]</ref><ref name=Lin15JMIV>[https://doi.org/10.1007/s10851-014-0541-0 T. Lindeberg ``Image matching using generalized scale-space interest points", Journal of Mathematical Imaging and Vision, volume 52, number 1, pages 3-36, 2015.]</ref>
| {{No}}
| {{Yes}}
| {{Yes}}
| {{No}}
|-
| [[Maximally stable extremal regions|MSER]]<ref name=Mat02>{{cite conference
|author1=J. Matas |author2=O. Chum |author3=M. Urban |author4=T. Pajdla | title=Robust wide baseline stereo from maximally stable extremum regions
| book-title=British Machine Vision Conference
| year=2002
| pages=384–393
| url=
}}</ref>
| {{No}}
| {{No}}
| {{Yes}}
| {{No}}
|-
| [[脊线检测|主曲率脊线]]<ref name=Har83>R. Haralick, "[http://www.cs.unc.edu/Research/Image/MIDAG/pubs/CScourses/254-Spring2002/Haralick-Ridges-CVGIP.PDF 数字图像上的脊线和谷线]", Computer Vision, Graphics, and Image Processing vol. 22, no. 10, pp.&nbsp;28–38, 1983年4月. </ref><ref name=Ebe94>D. Eberly, R. Gardner, B. Morse, S. Pizer, C. Scharlach, [http://www.cs.unc.edu/techreports/93-055.ps 图像分析中的脊线], Journal of Mathematical Imaging and Vision, v.&nbsp;4 n.&nbsp;4, pp.&nbsp;353–373, 1994年12月.</ref><ref name=Lin98b>{{cite journal
| author=T. Lindeberg
| title=边缘检测和具有自动尺度选择的脊线检测
| journal=International Journal of Computer Vision
| year=1998
| volume=30
| issue=2
| pages=117–154
| url=http://kth.diva-portal.org/smash/record.jsf?pid=diva2%3A452310&dswid=5658
| doi=10.1023/A:1008097225773
| s2cid=207658261
| format=abstract
}}</ref>
| {{No}}
| {{No}}
| {{No}}
| {{Yes}}
|-
| [[斑点检测#灰度斑点、灰度斑点树和尺度空间斑点|灰度斑点]]<ref name=Lin93>{{cite journal
| author=T. Lindeberg
| title=检测显著的类斑点图像结构及其尺度与尺度空间原始草图：关注焦点的方法
| journal=International Journal of Computer Vision
| year=1993
| volume=11
| issue=3
| pages=283–318
| url=http://kth.diva-portal.org/smash/record.jsf?pid=diva2%3A472969&dswid=-485
| doi=10.1007/BF01469346
| s2cid=11998035
| format=abstract
}}</ref>
| {{No}}
| {{No}}
| {{Yes}}
| {{No}}
|}

== 特征提取 ==
{{broader|特征提取 (机器学习)}}

一旦检测到特征，就可以提取特征周围的局部图像块。这种提取可能涉及相当大量的图像处理。结果称为特征描述符或特征向量。在特征描述方法中，可以提到[[N-jet|''N''-jets]]和局部直方图（参见[[尺度不变特征转换]]中的一个局部直方图描述符示例）。除了这些属性信息外，特征检测步骤本身还可能提供补充属性，例如边缘检测中的边缘方向和梯度幅度，以及斑点检测中的斑点极性和强度。

=== 低层级 ===
* [[边缘检测]]
* [[角点检测]]
* [[斑点检测]]
* [[脊线检测]]
* [[尺度不变特征转换]]

==== 曲率 ====
* 边缘方向，强度变化，[[自相关]]。

==== 图像运动 ====
*[[运动检测]]。基于区域的，微分方法。[[光流]]。

=== 基于形状 ===

* [[阈值处理 (图像处理)|阈值处理]]
* [[斑点提取]]
* [[模板匹配]]
* [[霍夫变换]]
** 直线
** 圆/椭圆
** 任意形状（广义霍夫变换）
** 适用于任何可参数化特征（类变量、簇检测等）
* [[广义霍夫变换]]

=== 灵活方法 ===
* 可变形，参数化形状
* 活动轮廓（蛇形）

== 表示 ==
{{main|视觉描述符}}

图像数据中特定结构定义的特定图像特征通常可以以不同方式表示。例如，边缘可以表示为每个图像点中的[[布尔变量]]，描述该点是否存在边缘。或者，我们可以使用提供[[度量不确定性|确定性度量]]的表示来代替布尔陈述边缘的存在，并将此信息与关于边缘的[[方向 (几何学)|方向]]的信息结合起来。同样，特定区域的颜色可以用平均颜色（三个标量）或[[颜色直方图]]（三个函数）来表示。

在设计计算机视觉系统或计算机视觉算法时，特征表示的选择可能是一个关键问题。在某些情况下，可能需要更高级别的特征描述细节来解决问题，但这需要处理更多的数据和更复杂的处理。以下是选择合适表示时相关的一些因素。在这次讨论中，一个特征表示的实例被称为''{{visible anchor|特征描述符}}''，或简称''描述符''。

=== 确定性或信心 ===
图像特征的两个例子是局部边缘方向和图像序列中的局部速度。在方向的情况下，如果相应邻域中存在多个边缘，此特征的值可能或多或少未定义。如果相应的图像区域不包含任何空间变化，则局部速度未定义。作为这一观察的结果，使用包含与特征值相关陈述的确定性或信心度量的特征表示可能是相关的。否则，通常情况下，同一描述符用于表示低确定性的特征值和接近零的特征值，导致对此描述符解释的歧义。根据应用程序的不同，这种歧义可能是可接受的，也可能不可接受。

特别是，如果要在后续处理中使用特征图像，使用包含关于[[确定性]]或[[信心]]的信息的特征表示可能是个好主意。这使得可以从几个描述符中计算出新的特征描述符，例如在同一图像点但在不同尺度上计算，或者从不同但相邻点计算，按照从相应确定性派生的权重的加权平均值计算。在最简单的情况下，相应的计算可以实现为特征图像的低通滤波。一般来说，生成的特征图像将对噪声更稳定。

=== 可平均性 ===
除了在表示中包含确定性度量外，相应特征值的表示本身可能适合于进行[[平均]]操作，也可能不适合。在实践中，大多数特征表示可以进行平均，但只有在某些情况下，结果描述符才能正确地解释为一个特征值。这样的表示被称为''可平均的''。

例如，如果边缘的方向以角度的形式表示，这种表示必须在角度从其最大值转到最小值的地方有一个不连续性。因此，可能会出现两个相似的方向被角度表示，其平均值并不接近任何一个原始角度，因此，这种表示不是可平均的。还有其他表示边缘方向的方法，例如[[结构张量]]，这些方法是可平均的。

另一个例子涉及到运动，在某些情况下，只能提取与某个边缘相关的正常速度。如果提取了两个这样的特征，并且它们可以假设指的是同一真实速度，这个速度不是通过正常速度向量的平均值给出的。因此，正常速度向量不是可平均的。相反，存在其他表示运动的方法，使用矩阵或张量，这些方法可以通过对正常速度描述符的平均操作来给出真实速度。{{citation needed|date=January 2022}}

== 匹配 ==
{{main|对应问题}}
在每幅图像中检测到的特征可以跨多幅图像进行匹配，以建立''对应特征''，如''对应点''。

该算法基于比较和分析参考图像和目标图像之间的点对应关系。如果杂乱场景的任何部分与阈值以上的对应关系共享，则该杂乱场景图像的那部分被定位并被认为包含参考对象。<ref>{{Cite web|url=https://www.mathworks.com/help/vision/examples/object-detection-in-a-cluttered-scene-using-point-feature-matching.html|title=Object Detection in a Cluttered Scene Using Point Feature Matching - MATLAB & Simulink|website=www.mathworks.com|access-date=2019-07-06}}</ref>

== 另行参见 ==
* [[Computer vision]]
* [[Automatic image annotation]]
* [[Feature learning]]
* [[Feature selection]]
* [[Foreground detection]]
* [[Vectorization (image tracing)]]

== 引用 ==
{{Reflist}}

== 延伸阅读 ==

* {{cite encyclopedia
| author=T. Lindeberg
| title=Scale-space
| encyclopedia=Encyclopedia of Computer Science and Engineering
| editor=Benjamin Wah
| publisher=John Wiley and Sons
| volume = IV
| pages = 2495–2504
| year = 2009
| doi=10.1002/9780470050118.ecse609
| url = http://kth.diva-portal.org/smash/record.jsf?pid=diva2%3A441147&dswid=995
| isbn=978-0470050118
}} (summary and review of a number of feature detectors formulated based on a scale-space operations)

{{Computer vision footer}}
{{DEFAULTSORT:Feature (Computer Vision)}}
[[Category:Feature detection (computer vision)| ]]