图像分割

一副分割后的人类左侧股骨模型。展示了外表面（红色）、致密骨与松质骨之间的表面（绿色）以及骨髓的表面（蓝色）。

在数字图像处理和计算机视觉中，图像分割是将一张数字图像分割成多个图像段的过程，这些图像段也被称为图像区域或图像对象（集合中的像素）。分割的目标是简化和/或改变图像的表现形式，使其变得更有意义且更易于分析。 图像分割通常用于定位图像中的对象和边界（线条、曲线等）。更准确地说，图像分割是将标签分配给图像中的每个像素的过程，使得具有相同标签的像素共享某些特性。

图像分割的结果是一组覆盖整个图像的分段，或从图像中提取的一组轮廓（参见边缘检测）。一个区域中的每个像素在某些特性或计算属性方面是相似的， 如颜色、亮度或纹理。相邻区域在同一特性方面的颜色有显著差异。 当应用于图像堆栈时，典型的例子是医学成像，图像分割后的轮廓可用于借助几何重建算法（如行进方块）创建三维重建。

图像分割类别的节点能够完成图像前处理中的重要任务，即分割和标记，这个过程在手动处理训练图像时也通常被称为画遮罩。

通常，任何灰度图像都可以被视为地形表面，其中高强度表示峰和丘陵，而低强度表示山谷。您开始用不同颜色的水（标签）填充每个孤立的山谷（局部最小值）。随着水的上升，根据附近的山峰（梯度），来自不同山谷的水，显然具有不同的颜色，将开始融合。为了避免这种情况，您可以在水汇合的地方建造障碍物。你继续填水和建造障碍物，直到所有山峰都被水淹没。然后，您创建的障碍将为您提供分割结果。这就是分水岭背后的“哲学”。您可以访问分水岭上的 CMM 网页并通过一些动画来理解它。

但由于图像中的噪声或任何其他不规则性，这种方法会给您带来过度分割的结果。因此，决策链基于Python OpenCV 实现了一种基于标记的分水岭算法，您可以指定哪些谷点要合并，哪些不合并。它是一种交互式图像分割。我们所做的就是为我们所知道的对象赋予不同的标签。用一种颜色（或强度）标记我们确定是前景或对象的区域，用另一种颜色标记我们确定是背景或非对象的区域，最后标记我们不确定的区域，用 0 标记它。这是我们的标记。然后应用分水岭算法。然后我们的标记将使用我们给出的标签进行更新，并且对象的边界的值为-1。

应用

CT扫描的胸腔3D渲染体积分割：为了可视化胸腔内容，已数字化移除了胸前壁、气道和肺根前的肺血管：
– 蓝色：肺动脉
– 红色：肺静脉（以及腹壁）
– 黄色：纵隔
– 紫色：膈肌

图像分割的一些实际应用包括：

• 基于内容的图像检索
• 机器视觉
• 医学成像， 以及生物医学研究中的成像研究，包括从CT扫描、磁共振成像以及如FIB-SEM等体积电子显微术的体积渲染图像。
  • 定位肿瘤和其他病理
  • 测量组织体积
  • 诊断，研究解剖结构
  • 外科手术计划
  • 虚拟外科手术模拟
  • 手术中导航
  • 放疗
• Object detection
  • Pedestrian detection
  • Face detection
  • 刹车灯检测
  • 定位卫星图像中的物体（道路、森林、农作物等）
• 识别任务
  • Face recognition
  • Fingerprint recognition
  • Iris recognition
  • 禁止携带物品在Airport security检查点
• 交通控制系统
• Video surveillance
• 视频对象共分割和动作定位

已开发了几种通用的algorithm和技术用于图像分割。为了有效解决领域的分割问题，这些技术通常需要与特定领域的知识相结合。

分割技术的类别

分割技术有两大类。

• 经典计算机视觉方法
• 基于AI的技术

图像分割的组别

• 语义分割是一种为每个像素检测所属类别的方法。 例如，在一个有很多人的图像中，所有属于人的像素将具有相同的类别id，背景中的像素将被分类为背景。
• 实例分割 是一种识别图像中每个像素所属的具体对象实例的方法。它检测图像中的每一个不同的感兴趣对象。 例如，图像中的每个人都被分割为一个单独的对象。
• 泛视分割 结合了语义分割和实例分割。如同语义分割，泛视分割是一种识别图像中每个像素所属类别的方法。此外，如同实例分割，泛视分割还区分同一类别的不同实例。

阈值分割

Main article: Thresholding (image processing)

图像分割的最简单方法称为阈值分割方法。这种方法基于剪切级别（或阈值）将灰度图像转换为二值图像。

这种方法的关键是选择阈值（或在选择多级时选择多个值）。工业界使用了几种流行的方法，包括最大熵方法、balanced histogram thresholding、Otsu's method（最大方差）和k-means clustering。

最近，已经开发了用于阈值分割计算机断层扫描（CT）图像的方法。关键思想是，与大津法不同，阈值是从射线图而非（重建的）图像中导出的。

新方法提出了使用多维模糊规则的非线性阈值。在这些研究中，每个像素属于某一段的决定基于从模糊逻辑和基于图像照明环境及应用的进化算法导出的多维规则。

聚类方法

Main article: Data clustering

源图像。

运行k均值聚类后的图像，k = 16。注意，提高大图像性能的常用技术是对图像进行降采样，计算聚类，然后如有必要将值重新分配给大图像。

K-means algorithm是一种iterative技术，用于将图像划分为K个聚类。 基本algorithm是：

1. 选择K个聚类中心，要么randomly选择，要么基于某种heuristic方法，例如K-means++
2. 将图像中的每个像素分配给最小化像素与聚类中心distance的聚类
3. 通过平均聚类中的所有像素重新计算聚类中心
4. 重复步骤2和3，直到达到收敛（即没有像素改变聚类）

在这种情况下，distance是像素与聚类中心之间的平方或绝对差异。差异通常基于像素的color、intensity、texture和位置，或这些因素的加权组合。K可以手动选择，randomly选择，或通过heuristic选择。该算法保证收敛，但可能不会返回最优解。解的质量取决于初始聚类集和K的值。 均值漂移算法是一种用于将图像分割为未知数量先验聚类的技术。它的优势在于不需要从某个初始参数猜测开始，这使其成为更多样化案例中更好的通用解决方案。

运动和交互式分割

基于运动的分割是一种依赖于图像中的运动来进行分割的技术。

这个想法很简单：观察一对图像之间的差异。假设感兴趣的对象在移动，差异将完全是那个对象。

基于这个想法的改进，Kenney等人提出了交互式分割[]。他们使用机器人来戳击物体，以生成运动分割所需的运动信号。

交互式分割遵循Dov Katz [2] 和 Oliver Brock [3] 提出的交互感知框架。

基于运动的另一种技术是刚体运动分割。

基于压缩的方法

基于压缩的方法认为，最佳分割是在所有可能的分割中，数据编码长度最小的那一个。 这两个概念之间的联系在于，分割尝试在图像中找到模式，图像中的任何规律性都可以用来压缩它。该方法通过其纹理和边界形状描述每个分段。这些组成部分都是由概率分布函数建模的，其编码长度按如下计算：

1. 边界编码利用了自然图像中区域往往具有平滑轮廓的事实。这一先验被哈夫曼编码用来编码图像中轮廓的链码差异。因此，边界越平滑，其编码长度就越短。
2. 纹理通过有损压缩进行编码，类似于最小描述长度 (MDL) 原理，但这里给定模型的数据长度是通过样本数量乘以模型的熵来近似的。每个区域的纹理由多元正态分布建模，其熵有一个闭合形式的表达式。这个模型的一个有趣特性是，估计的熵从上界限制了数据的真实熵。这是因为在所有具有给定均值和协方差的分布中，正态分布具有最大的熵。因此，真实的编码长度不可能超过算法试图最小化的值。

对于图像的任何给定分割，这个方案会产生基于给定分割对该图像编码所需的位数。因此，在图像所有可能的分割中，目标是找到产生最短编码长度的分割。这可以通过一个简单的聚类方法来实现。有损压缩中的失真决定了分割的粗糙度，其最佳值可能因图像而异。这个参数可以从图像中纹理对比度中启发式地估计。例如，当图像中的纹理相似，如伪装图像中，需要更强的敏感度，因此量化值较低。

基于直方图的方法

与其他图像分割方法相比，基于直方图的方法非常高效，因为它们通常只需要对像素进行一次遍历。在这种技术中，从图像中的所有像素计算出一个直方图，直方图中的峰值和谷值用于定位图像中的聚类。 可以使用颜色或亮度作为测量标准。

这项技术的一个改进是将直方图寻找方法递归地应用于图像中的聚类，以将它们细分为更小的聚类。这一操作重复进行，直到不再形成更多聚类。

直方图寻找方法的一个缺点是，可能难以识别图像中显著的峰值和谷值。

基于直方图的方法也可以快速适应多帧应用，同时保持其单次遍历的效率。当考虑多帧时，直方图可以以多种方式完成。对单帧采取的同样方法可以应用于多帧，合并结果后，先前难以识别的峰值和谷值更有可能被区分出来。直方图也可以在每像素的基础上应用，其中得到的信息用于确定像素位置的最常见颜色。这种方法基于活动对象和静态环境进行分割，产生一种在video tracking中有用的不同类型的分割。

边缘检测

Edge detection是图像处理中一个发展成熟的独立领域。区域边界和边缘密切相关，因为在区域边界处通常会有强烈的强度调整。因此，边缘检测技术已被用作另一种分割技术的基础。

边缘检测识别的边缘通常是不连续的。然而，要从图像中分割出一个对象，需要封闭的区域边界。所需的边缘是此类对象或空间-类别之间的边界。

空间-类别是信息颗粒，由清晰的像素区域组成，在层次嵌套的场景架构中的抽象层面上定位。它们类似于格式塔心理学的图地分离，但扩展到包括前景、对象组、对象和显著对象部分。边缘检测方法可以应用于空间-类别区域，就像应用于轮廓一样。当不连续的边缘是幻觉轮廓的一部分时，这种方法特别有用

也可以将分割方法应用于从边缘检测器获得的边缘。Lindeberg和Li开发了一种集成方法，该方法将边缘分割成直线和曲线边缘段，用于基于零件的对象识别，该方法基于最小描述长度(M_DL)准则，并通过一个类似分裂和合并的方法优化，使用从互补结点线索获得的候选断点，以获得更可能考虑将不同段划分为不同段的点。

双重聚类方法

这种方法是图像的三个特征的结合：基于直方图分析的图像划分，通过簇（对象）的高紧凑性和边界的高梯度来检查。为此目的，必须引入两个空间：一个空间是亮度的一维直方图H = H(B)；第二个空间是原始图像本身的双3维空间B = B(x, y)。第一个空间允许通过计算最小聚类kmin来衡量图像亮度的紧凑分布。与kmin相对应的阈值亮度T定义了二值（黑白）图像 – 位图b = φ(x, y)，其中φ(x, y) = 0，如果B(x, y) < T，和φ(x, y) = 1，如果B(x, y) ≥ T。位图b是双重空间中的一个对象。在该位图上必须定义一个反映黑色（或白色）像素分布紧凑程度的量度。因此，目标是找到具有良好边界的对象。对于所有T，必须计算量度M_DC = G/(k × L)（其中k是对象与背景之间的亮度差，L是所有边界的长度，而G是边界上的平均梯度）。MDC的最大值定义了分割。

区域生长方法

Region-growing 方法主要依赖于这样一个假设：同一区域内的相邻像素具有相似的值。常见的做法是比较一个像素及其邻居。如果满足相似性标准，该像素可以被划归为与一个或多个邻居相同的簇。相似性标准的选择很重要，结果受到所有情况下噪声的影响。

统计区域合并（SRM）方法开始时通过使用四连通性构建像素图，边缘权重由强度差异的绝对值决定。最初，每个像素形成一个单像素区域。然后 SRM 将这些边缘排序在一个优先队列中，并使用统计谓词决定是否合并属于边缘像素的当前区域。

一种 region-growing 方法是种子区域生长法。这种方法输入一组种子和图像。种子标记了待分割的每个对象。区域通过与所有未分配的相邻像素的比较而迭代生长。像素强度值与区域平均值之间的差异，[math]\delta[/math]，被用作相似度量。以这种方式测量差异最小的像素被分配到相应的区域。这个过程持续到所有像素都被分配到一个区域。因为种子区域生长需要种子作为额外输入，分割结果取决于种子的选择，图像中的噪声可能导致种子放置不当。

另一种 region-growing 方法是无种子区域生长法。这是一种不需要显式种子的修改算法。它从一个单一区域 [math]A_1[/math] 开始——这里选择的像素对最终分割没有显著影响。在每次迭代中，它以与种子区域生长相同的方式考虑相邻像素。它与种子区域生长的不同之处在于，如果最小 [math]\delta[/math] 小于预定义阈值 [math]T[/math]，则将其添加到相应的区域 [math]A_j[/math]。如果不是，那么这个像素被认为与所有当前区域 [math]A_i[/math] 不同，一个新的区域 [math]A_{n+1}[/math] 会以这个像素创建。

这项技术的一个变体由 Haralick 和 Shapiro（1985年）提出，基于像素intensities。区域的平均值和离散度以及候选像素的强度被用来计算测试统计量。如果测试统计量足够小，像素被添加到区域中，并重新计算区域的平均值和离散度。否则，像素被拒绝，并用来形成一个新的区域。

一种特殊的区域生长方法被称为 [math]\lambda[/math]-连接分割法（也见lambda-connectedness）。它基于像素intensities和邻域链接路径。基于由像素形成的路径，计算连通性（connectedness）的程度。对于某个值 [math]\lambda[/math]，如果存在连接这两个像素的路径，且该路径的连通性至少为 [math]\lambda[/math]，则这两个像素被称为 [math]\lambda[/math]-连接的。[math]\lambda[/math]-连通性是一种等价关系。

分割与合并分割基于图像的quadtree划分。有时被称为四叉树分割。

这种方法从代表整个图像的树的根开始。如果它被发现不均匀（非同质），那么它被分割成四个子方块（分割过程），如此继续。相反，如果四个子方块是同质的，它们被合并为几个连接组件（合并过程）。树中的节点是一个分割节点。这个过程递归地继续，直到不再可能进行进一步的分割或合并。 当特殊的数据结构参与算法的实现时，其时间复杂度可以达到 [math]O(n\log n)[/math]，这是该方法的最优算法。

基于偏微分方程的方法

采用基于偏微分方程（PDE）的方法，并通过数值方案解决PDE方程，可以实现图像分割。 曲线传播是该类别中的一种流行技术，广泛应用于物体提取、物体跟踪、立体重建等领域。其核心思想是使初始曲线向成本函数最低潜能演变，其中成本函数的定义反映了待解决的任务。与大多数逆问题一样，成本泛函的最小化非常微妙，它对解决方案施加了某些平滑约束，在当前案例中可以表示为演变曲线的几何约束。

参数化方法

拉格朗日技术基于某种采样策略对轮廓进行参数化，然后根据图像和内部项对每个元素进行演变。这些技术快速且高效，但原始的“纯参数化”公式（由Kass、Witkin和Terzopoulos于1987年提出，称为“snakes”）通常因其在采样策略选择、曲线的内部几何特性、拓扑变化（曲线分裂和合并）、处理高维问题等方面的局限性而受到批评。如今，已经开发出高效的“离散化”公式来解决这些限制，同时保持高效率。在这两种情况下，能量最小化通常采用最陡梯度下降法进行，其中导数的计算使用有限差分等方法。

Level-set方法

水平集方法最初由Dervieux和Thomasset于1979年和1981年提出，后来于1988年被Osher和Sethian重新发明。 该方法在1990年代末期在各种成像领域中得到了广泛应用。它可以有效地解决曲线/表面等传播的问题。核心思想是使用带符号的函数表示演变的轮廓，其零点对应于实际轮廓。然后，根据轮廓的运动方程，可以轻松推导出隐式曲面的类似流动，当应用于零水平时，将反映轮廓的传播。水平集方法提供了许多优势：它是隐式的，无参数的，提供了一种直接估计演变结构的几何特性的方法，允许拓扑变化，且具有内在性。它可以用于定义优化框架，如Zhao、Merriman和Osher在1996年提出的那样。可以得出结论，这是一个非常方便的框架，用于解决计算机视觉和医学图像分析的众多应用。 对各种水平集数据结构的研究已经导致了这种方法的高效实现。

快速行进方法

快速行进方法已经应用于图像分割， 并且这种模型已在被称为广义快速行进方法的方法中得到改进（允许正负传播速度）。

变分方法

变分方法的目标是寻找一个最优的分割，该分割在特定能量泛函下是最优的。这些泛函由数据拟合项和规则化项组成。一个经典代表是为图像[math]f[/math]定义的波茨模型，由

[math]\operatorname{argmin}_u \gamma \| \nabla u \|_0 + \int (u - f)^2 \, dx.[/math]

表达。极小化器[math]u^*[/math]是一个分段常数图像，在给定图像[math]f[/math]的平方L2距离和其跳跃集的总长度之间具有最优的权衡。[math]u^*[/math]的跳跃集定义了一个分割。能量的相对权重由参数[math]\gamma >0 [/math]调整。波茨模型的二元变体，即如果[math]u[/math]的范围限制为两个值，通常被称为Chan-Vese模型。 一个重要的泛化是由[math]\operatorname{argmin}_{u, K} \gamma |K| + \mu \int_{K^C} |\nabla u|^2 \, dx + \int (u - f)^2 \, dx.[/math] 给出的Mumford-Shah模型。

功能值是分割曲线[math]K[/math]的总长度、近似的平滑度[math]u[/math]以及其与原始图像[math]f[/math]的距离之和。平滑度惩罚的权重由[math]\mu > 0[/math]调整。Potts模型常被称为分段恒定的Mumford-Shah模型，因为它可以被视为退化情况[math]\mu \to \infty[/math]。优化问题通常被认为是NP难题，但接近最小化策略在实践中表现良好。经典算法包括逐步非凸优化和Ambrosio-Tortorelli近似。

图分割方法

图分割方法是图像分割的有效工具，因为它们模拟了像素邻域对给定像素簇或单个像素的影响，假设图像中的同质性。在这些方法中，图像被建模为加权的无向图。通常一个像素或一组像素与节点相关联，边权重定义了邻域像素之间的(不)相似性。然后根据旨在模拟“良好”簇的标准对图（图像）进行划分。这些算法输出的节点（像素）的每个分区被视为图像中的一个对象分段；参见基于分割的对象分类。这一类的一些流行算法包括标准切割, 随机行者, 最小切割, 等周分割, 基于最小生成树的分割, 和基于分割的对象分类。

马尔可夫随机场

1984年初，Geman和Geman建议将马尔可夫随机场（MRF）应用于图像。 它们强大的数学基础和在定义在局部特征上时仍能提供全局最优的能力，成为图像分析、去噪和分割领域新研究的基础。MRF完全由其先验概率分布、边际概率分布、团、平滑约束以及更新值的标准来定义。使用MRF进行图像分割的标准被重新陈述为寻找给定一组特征集的最大概率的标记方案。使用MRF的图像分割的广泛类别包括监督和非监督分割。

使用MRF和MAP的监督图像分割

就图像分割而言，MRF寻求最大化的函数是在图像中检测到特定特征集时识别标记方案的概率。这是最大后验估计方法的重述。

MRF邻域示意图

使用MAP进行图像分割的通用算法如下所示：

1. 定义每个特征（在MRF术语中是随机变量）的邻域。
   通常包括一阶或二阶邻居。
2. 为每个特征设置初始概率P(f_i)>为0或
3. ，其中f_i ∈ Σ是包含提取的特征
   对于像素i并定义一组初始簇。
4. 使用训练数据计算每个标签的均值（μ_ℓi）和方差（σ_ℓi）。这被称为类统计。
5. 使用贝叶斯定理计算给定标签方案的边际分布P(f_i | ℓ_i)，并利用之前计算的类统计。高斯模型用于边际分布。

   [math]\frac 1 {\sigma(\ell_i) \sqrt{2\pi} } e^{ -(f_i-\mu(\ell_i))^2/(2\sigma(\ell_i)^2) }\, d\ell_i[/math]

6. 计算之前定义的邻域中每个类标签的概率。
   Clique势能用于模拟标签中的社会影响。
7. 遍历新的先验概率并重新定义群集，以使这些概率最大化。
   这是使用下面描述的各种优化算法完成的。
8. 当概率最大化且标签方案不变时停止。
   这些计算也可以用对数似然术语来实现。

优化算法

每种优化算法都是从多个领域的模型中改编而来的，它们通过其独特的成本函数相互区分。成本函数的共同特征是惩罚像素值的变化以及与相邻像素的标签相比较时的像素标签差异。

迭代条件模式/梯度下降

迭代条件模式（ICM）算法通过在每次迭代中更改每个像素的值并使用下面给出的成本函数评估新标签方案的能量，试图重构理想的标签方案，

[math] \alpha(1-\delta(\ell_i-\ell_{\text{initial }i})+ \beta \Sigma_{q \in N(i)}(1 - \delta(\ell_i,\ell_{q(i)})). [/math]

其中α是像素标签变化的惩罚，β是相邻像素和选定像素之间标签差异的惩罚。这里[math]N(i)[/math]是像素i的邻域，δ是克罗内克δ函数。ICM的一个主要问题是，与梯度下降类似，它倾向于停留在局部最大值上，因此无法获得全局最优的标签方案。

模拟退火（SA）

模拟退火（SA）作为冶金中退火的类比而衍生，使用迭代中的像素标签变化并估计每个新形成的图与初始数据的能量差异。如果新形成的图更有利，即能量成本较低，由以下给出：

[math]\Delta U = U^\text{new} - U^\text{old}[/math]

[math]\ell_i = \begin{cases} \ell^\text{new}_i, & \text{if } \Delta U \leq 0 ,\\\ell^\text{new}_i, & \text{if } \Delta U > 0 \text{ and } \delta < e^{-\Delta U / T}, \ell^\text{old}_i \end{cases}[/math]

该算法选择新形成的图。模拟退火需要输入温度时间表，直接影响系统收敛速度，以及最小化发生的能量阈值。

其他算法

还有一系列其他方法用于解决简单以及高阶MRF。它们包括后验边际最大化，多尺度MAP估计， 多分辨率分割等。除了似然估计，还有使用最大流的图切割和其他高度受限的基于图的方法用于解决MRF。

使用MRF和期望最大化的图像分割

期望最大化算法用于迭代估计后验概率和标记分布，当没有可用的训练数据且无法形成分割模型估计时。一般方法是使用直方图来表示图像的特征，并按照以下三步算法简要概述进行：

1. 使用随机估计的模型参数。

1. E步骤：基于随机分割模型定义估计类统计。使用这些计算基于特征集属于标签的条件概率，使用简单的贝叶斯定理。

[math]P(\lambda \mid f_i) = \frac{P(f_i \mid \lambda) P(\lambda)}{\Sigma_{\lambda \in\Lambda} P(f_i \mid \lambda) P(\lambda)}[/math]

这里[math]\lambda \in \Lambda[/math]，所有可能标签的集合。

1. M步骤：现在使用给定特征集对标签方案的确定相关性来计算算法第二部分中给定标签的先验估计。由于实际总标签数量未知（来自训练数据集），因此在计算中使用用户给出的标签数量的隐藏估计。

[math]P(\lambda) = \frac{\Sigma_{\lambda \in \Lambda} P(\lambda \mid f_i)}{|\Omega|}[/math]

这里[math]\Omega[/math]是所有可能特征的集合。

使用HMRF-EM模型的彩色图像分割

基于MAP和EM的图像分割的缺点

1. 精确的MAP估计不容易计算。
2. 近似MAP估计计算成本高。
3. 扩展到多类标记会降低性能并增加所需存储。
4. 需要可靠的EM参数估计才能实现全局最优。
5. 根据优化方法，分割可能会聚集到局部最小值。

分水岭变换

分水岭变换将图像的梯度大小视为地形表面。具有最高梯度大小强度（GMIs）的像素对应于分水岭线，代表区域边界。放置在被共同分水岭线包围的任何像素上的水会向下流到一个共同的局部强度最小值（LIM）。流向共同最小值的像素形成一个集水盆地，代表一个分割。

基于模型的分割

基于模型方法的核心假设是，感兴趣的结构倾向于特定的形状。因此，可以寻求一个表征该形状及其变化的概率模型。在分割图像时，可以使用这个模型作为先验条件施加限制。 这样的任务可能涉及：（i）将训练样本注册到一个共同姿势，（ii）概率地表征已注册样本的变化，以及（iii）模型与图像之间的统计推断。文献中其他重要的基于模型的分割方法包括active shape model和active appearance model。

多尺度分割

图像分割在scale space的多个尺度上计算，有时从粗糙尺度向细致尺度传播；参见scale-space segmentation。

分割标准可以是任意复杂的，并且可以考虑全局以及局部标准。一个常见的要求是，每个区域在某种意义上必须是相连的。

一维分层信号分割

Witkin在尺度空间的开创性工作包括了这样一个概念，即一维信号可以在一个尺度参数控制的情况下无歧义地分割成区域。

一个关键的观察是，多尺度平滑版本信号的二阶导数的零交叉点（第一导数或斜率的最小值和最大值）形成了一个嵌套树，定义了不同尺度的分段之间的层次关系。具体来说，粗糙尺度的斜率极值可以追溯到细致尺度的相应特征。当一个斜率最大值和一个斜率最小值在更大的尺度上相互消除时，它们分隔的三个段合并为一个段，从而定义了段的层次结构。

图像分割和原始素描

在这一领域有许多研究工作，其中一些现在已经达到了可以通过交互式人工干预（通常应用于医学成像）或完全自动化应用的状态。以下是一些当前方法基于的主要研究思想的简要概述。

Witkin描述的嵌套结构特定于一维信号，并不容易直接转移到高维图像。然而，这个一般想法激发了其他一些作者调查图像分割的粗细方案。Koenderink提出研究等强度轮廓如何在尺度上演化，这种方法被Lifshitz和Pizer进一步详细调查。遗憾的是，图像特征的强度在不同尺度上会发生变化，这意味着难以使用等强度信息将粗糙尺度的图像特征追溯到细致尺度。

Lindeberg研究了在尺度上连接局部极值和鞍点的问题，并提出了一种称为尺度空间原始素描的图像表示方法，这种方法明确地表达了不同尺度上结构之间的关系，并明确了哪些图像特征在大范围的尺度上稳定，包括对它们来说适当的局部尺度。Bergholm提出在尺度空间的粗糙尺度上检测边缘，然后手动选择粗糙检测尺度和细致定位尺度，将它们追溯到细致尺度。

Gauch和Pizer 研究了多尺度下山脊和山谷的互补问题，并开发了一种基于多尺度流域的交互式图像分割工具。Olsen和Nielsen 也对基于梯度图的多尺度流域的使用进行了研究，并由Dam 应用于临床。Vincken等人 提出了一种超级堆栈，用于定义不同尺度图像结构之间的概率关系。Ahuja 及其同事将其发展为一个全自动系统。Undeman和Lindeberg 提出了一个基于密切相关的多尺度流域理念的全自动脑部分割算法，并在脑数据库中进行了广泛测试。

这些通过链接不同尺度的图像结构来实现多尺度图像分割的理念也被Florack和Kuijper采用。 Bijaoui和Rué 将在尺度空间中检测到的结构与最小噪声阈值以上的对象树关联起来，这些对象树跨越多个尺度，对应于原始信号中的某种特征。提取的特征通过迭代共轭梯度矩阵方法准确重建。

半自动分割

在一种分割方法中，用户使用鼠标点击勾勒出感兴趣的区域，然后应用算法以显示最适合图像边缘的路径。

在这种分割中使用的技术包括 SIOX、Livewire、智能剪刀或IT-SNAPS。在另一种半自动分割方法中，算法返回由用户选择或通过先验概率指定的空间分类单元（即前景、对象组、对象或对象部分）。

可训练的分割

上述提到的大多数分割方法仅基于图像像素的颜色信息。在执行图像分割时，人类使用更多的知识，但实现这些知识将耗费大量的人力工程和计算时间，并且需要一个目前尚不存在的庞大的domain knowledge数据库。可训练的分割方法，例如neural network分割，通过从标记像素的数据集中建模领域知识来克服这些问题。

一个图像分割neural network可以处理图像的小区域以提取简单特征，如边缘。 另一个神经网络或任何决策机制可以将这些特征结合起来，相应地标记图像的区域。这样设计的网络类型是Kohonen map。

脉冲耦合神经网络（PCNNs）是一种仿照猫的视觉皮层模型提出并用于高性能biomimetic 生物模拟图像处理的神经模型。1989年，Reinhard Eckhorn介绍了一种模仿猫视觉皮层机制的神经模型。Eckhorn模型为研究小型哺乳动物的视觉皮层提供了一个简单而有效的工具，并很快被认识到在图像处理中具有重大应用潜力。1994年，John L. Johnson将Eckhorn模型改编为图像处理算法，并将此算法命名为脉冲耦合神经网络。 在过去的十年中，PCNNs已被用于多种图像处理应用，包括：图像分割、特征生成、人脸提取、运动检测、区域增长、降噪等。PCNN是一个二维神经网络。网络中的每个神经元对应输入图像中的一个像素，接收对应像素的颜色信息（例如强度）作为外部刺激。每个神经元还与邻近神经元相连，接收来自它们的局部刺激。外部和局部刺激在内部激活系统中结合，积累刺激直到超过动态阈值，产生脉冲输出。通过迭代计算，PCNN神经元产生脉冲输出的时间序列。这些脉冲输出的时间序列包含输入图像的信息，可用于各种图像处理应用，如图像分割和特征生成。与传统图像处理手段相比，PCNNs具有多个显著优点，包括对噪声的鲁棒性、对输入模式中几何变化的独立性、连接输入模式中轻微强度变化的能力等。

U-Net是一种卷积神经网络，输入图像并为每个像素输出标签。 U-Net最初是为了检测生物医学图像中的细胞边界而开发的。U-Net遵循经典的自动编码器架构，因此包含两个子结构。编码器结构遵循传统的卷积和最大池化层堆叠，以增加随着层的深入而增加的感受野。它用于捕捉图像中的上下文。解码器结构利用转置卷积层进行上采样，以便最终尺寸接近输入图像的尺寸。在相同形状的卷积层和转置卷积层之间放置跳跃连接，以保留原本可能丢失的细节。

除了将给定类别分配给每个像素的像素级语义分割任务外，现代分割应用还包括实例级语义分割任务，其中必须唯一识别给定类别中的每个个体，以及全景分割任务，这些任务结合了这两个任务以提供更完整的场景分割。

相关图像和视频的分割

Main article: Object co-segmentation

像相册或视频帧序列这样的相关图像通常包含语义上相似的对象和场景，因此利用这种相关性通常是有益的。 同时对相关图像或视频帧中的场景进行分割的任务被称为共分割，通常用于人类行为定位。与传统的基于最小边界框的物体检测不同，人类行为定位方法提供更细致的结果，通常是每幅图像的分割蒙版，勾画出感兴趣的人类对象及其行为类别（例如，Segment-Tube）。技术如动态马尔可夫网络、卷积神经网络和长短期记忆网络经常被用来利用帧间的相关性。

其他方法

还有许多其他的分割方法，如基于DTI图像的多光谱分割或连接性分割。

另行参见

• Object co-segmentation
• Computer vision
• Image-based meshing
• Range image segmentation
• Vector quantization
• Image quantization
• Color quantization
• Object-based image analysis
• List of manual image annotation tools
• Rigid motion segmentation

引用

• 3D Entropy Based Image Segmentation
• Frucci, Maria; Sanniti di Baja, Gabriella (2008). "From Segmentation to Binarization of Gray-level Images". Journal of Pattern Recognition Research. 3 (1): 1–13. doi:10.13176/11.54.

外部链接

• Some sample code that performs basic segmentation, by Syed Zainudeen. University Technology of Malaysia.
• Generalized Fast Marching method by Forcadel et al. [2008] for applications in image segmentation.
• Image Processing Research Group Archived 2020-12-28 at the Wayback Machine An Online Open Image Processing Research Community.
• Segmentation methods in image processing and analysis and Minimizing energy to segment images by Mathworks
• More image segmentation methods with detailed algorithms by Yu-Hsiang Wang (王昱翔), National Taiwan University, Taipei, Taiwan, ROC
• Online demonstration of piecewise linear image segmentation by IPOL Journal