设备和方法提供了一种途径，即通过确定用于无监督图像分割的损失函数，以对特征提取模型进行训练。其中一种方法包含以下步骤：从图像当中确定聚类损失；依据该聚类损失，利用聚类伪标签来确定该图像的弱监督对比损失；基于聚类损失以及弱监督对比损失，来确定损失函数。

全部详细技术资料下载

【技术实现步骤摘要】

用于分割任务的无监督学习的系统和方法

[0001]相关申请的交叉引用

本申请以 2021 年 8 月 13 日在美国专利商标局提交的美国临时专利申请序列号 63/232,848 为基础并要求其优先权，该专利申请的全部内容被引用并入本文。

本公开整体涉及一些系统和方法，这些系统和方法用于以无监督的方式进行图像分割，并且使用了聚类以及对比方法。

技术介绍

图像语义分割是一项用于标记图像中每个像素的计算机视觉任务。深度学习模型具备从图像中提取视觉特征的能力，并且能够准确地对每个像素的目标类别进行分类。监督学习模型会使目标类与预测类之间的交叉熵达到最小。然而，要获取大量图像中每个像素的标签是非常耗费资源且效率低下的。

图像分类的当前趋势是通过无监督学习算法来预训练深度学习模型。无监督学习算法中，聚类和对比学习是有效的方法。聚类和对比学习的一般构思是在嵌入空间里，把相似的特征分组或聚类得更近，把不相似的特征分开得更远。聚类方法能够处理原始图像的像素特征，然而常规的对比学习方法需要同一图像的变换视图的特征。

技术实现思路

本公开被提供出来是为了解决至少上述的问题和/或缺点，并且能够提供下文所叙述的优点中的至少一部分。

本公开的一个方面是提供了一些系统和方法，这些系统和方法可用于以无监督的方式进行图像分割，并且使用了聚类和对比方法。

本公开的另一个方面提供了一些系统和方法，这些系统和方法用于进行图像分割，在进行图像分割时使用区域级采样和池化，通过这种方式能够维持相邻像素的连续性。

本公开的另一方面提供了一些系统和方法。这些系统和方法用于在训练期间通过使用聚类效应和对比效应来提供稳定质心学习，从而进行图像分割。

本公开的另一方面提供了一种系统和方法，用于利用框采样（box），通过将区域平均池化到方形特征图，从而在进行图像分割时保留相邻像素之间的相似性。

根据本公开的一个方面，提供了一种训练特征提取模型的方法，该方法通过确定用于无监督图像分割的损失函数来实现。此方法包含以下步骤：从图像中确定聚类损失；依据聚类损失，利用聚类伪标签来确定该图像的弱监督对比损失；并且基于聚类损失以及弱监督对比损失来确定损失函数。

本公开的另一方面提供了一种设备，该设备通过确定用于无监督图像分割的损失函数来训练特征提取模型。此设备包含处理器以及存储器，存储器被配置为存储指令，这些指令在被执行时会控制处理器从图像中确定聚类损失，并且基于该聚类损失使用聚类伪标签。

确定所述图像的弱监督对比损失，接着基于所述聚类损失和所述弱监督对比损失来确定所述损失函数。

根据本公开的另一方面，提供了一种训练特征提取模型的方法，该方法是通过确定用于无监督图像分割的损失函数来实现的。此方法包含以下步骤：从图像当中确定聚类损失；对图像的框进行采样并确定框采样损失；然后依据聚类损失和框采样损失来确定损失函数。

根据本公开的另一方面，提供了一种用于训练特征提取模型的设备。该设备具备处理器以及存储器。存储器被配置为存储指令，这些指令在被执行时，会控制处理器进行以下操作：从图像中确定聚类损失；确定该图像的框采样损失；并且依据聚类损失和框采样损失来确定损失函数。

附图说明

本公开的某些实施例的上述方面以及其他方面、特征与优点，在结合附图进行的以下详细描述中会更加明显，具体情况如下：

图 1 展示了像素级特征聚类的概述，其中使用了不变性和同变性，以及用于生成多视图特征的变换。

图 2 展示了视图之间的交换分配（SwAV）方法的大概情况；

图 3 展示了依据实施例的关于用于分割的监督对比损失的修改的一个示例。

[0019]图4示出了根据实施例的框采样过程的示例；

图 5 展示了依据实施例来计算损失函数的方法的流程；并且

[0021]图6示出了根据实施例的网络环境中的电子装置。

具体实施方式

在下文里，会参考附图来详细地描述本公开的实施例。需要注意的是，即便在不同的附图中展示出了相同的元件，它们也会用相同的附图标记来表示。在接下来的描述中，给出诸如详细配置和部件等方面的具体细节，其目的仅仅是为了有助于全面理解本公开的实施例。本领域技术人员很清楚，在不脱离本公开范围的情况下，能够对这里描述的实施例进行各种改变和修改。并且，为了清晰简洁，省略了对众所周知的功能和构造的描述。下文所描述的术语是基于本公开的功能来定义的，会因用户、用户的意图或习惯而有所不同。因此，术语的定义应基于贯穿整个说明书的内容来确定。

本公开存在各种变型与实施例。以下会参考附图对实施例进行详细描述。但要明白，本公开不限于这些实施例，还包括其范围内的所有修改、等效物和替代物。

可以使用包含序数的术语来描述各种元件，比如第一、第二等，但结构元件不受这些术语的限制。术语的作用只是区分一个要素与另一个要素。例如，在不超出本公开范围的情况下，第一结构元件能够被称作第二结构元件，同样，第二结构元件也可以被称作第一结构元件。在本文的使用中，术语“和/或”涵盖了一个或多个相关联项目中的任何一个以及它们的所有组合。

本文所使用的术语仅用来描述本公开的各种实施例，并非要限制本公开。若上下文无明确说明，单数形式意在涵盖复数形式。在本公开中，要理解，“包括”或“具有”表示存在特征、数字、步骤、操作、结构元件、部件或其组合，且不排除一个或多个。

存在或可能存在其他的特征、数字、步骤、操作、结构元件、部件或者它们的组合。

如果没有另外定义，那么本文所使用的所有术语，其含义与本公开所属领域的技术人员所理解的那些是相同的。像在常用词典中被定义的那些术语，被解释为具有等同于相关的含义。

中的上下文含义，并且除非本描述中明确规定，否则不被理解为具有理想或过于正式的含义。

根据一个实施例，电子装置可以是多种类型电子装置中的一种。这类电子装置包含，比如便携式通信装置（像智能手机）、计算机、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置以及家用电器等。依据本公开的一个实施例，电子装置并非仅限于上述这些装置。

本公开中所使用的术语，其目的并非对本公开进行限制，而是涵盖相应实施例的各种变化、等同情况或替换。对于附图的描述，可运用类似的参考标号来指代类似或相关的元件。对应于项目的名词，其单数形式既可以表示事物中的一个，也可以表示多个，除非相关上下文有明确的其他指示。如本文所使用，像“A 或 B”这样的短语，其中每一个可包含该短语中一起枚举的项目的所有可能组合；像“A 和 B 中的至少一个”这样的短语，其中每一个可包含该短语中一起枚举的项目的所有可能组合；像“A 或 B 中的至少一个”这样的短语，其中每一个可包含该短语中一起枚举的项目的所有可能组合；像“A、B 或 C”这样的短语，其中每一个可包含该短语中一起枚举的项目的所有可能组合；像“A、B 和 C 中的至少一个”这样的短语，其中每一个可包含该短语中一起枚举的项目的所有可能组合；像“A、B 或 C 中的至少一个”这样的短语，其中每一个可包含该短语中一起枚举的项目的所有可能组合。本文中，像“第 1”“第 2”“第一”“第二”这类术语，可用来区分对应部件与其他部件，不过这只是在区分部件方面起作用，而在其他方面，比如重要性或次序等方面，并不会对所述部件进行限制。意思是，倘若存在或不存在这些术语，情况便是如此。

【技术保护点】

【技术特征摘要】

如权利要求 2 所述的方法，进一步要基于聚类损失、弱监督对比损失和框采样损失来确定损失函数。如权利要求 3 所述的方法，其中，利用以下各项来确定所述损失函数：其一，η1 是与所述弱监督对比损失相关的尺度；其二，η2 是与所述框采样损失相关的尺度。所述方法如权利要求 2 所述，其中，确定该图像的框采样损失的步骤如下：从该图像的特征图中提取出随机设定大小的框；对所提取出的框中的每一个进行平均池化操作；并且依据相应框中的大多数标签，用同一个标签来指定每个框的平均池化特征中的所有特征向量。如权利要求 2 所述的方法，确定该图像的框采样损失是通过以下各项来执行的：其中包含|y

|是采样框中y

使用以下项来执行确定所述图像的所述弱监督对比损失：其中，d 为距离度量，且|Z(i)|是具有同一类标签 i 的特征数量。一种设备，用于通过确定用于无监督图像分割的损失函数来训练特征提取模型。该设备包含处理器以及存储器。存储器被配置为存储指令，这些指令在被执行时会控制处理器：从图像中确定聚类损失；基于该聚类损失，使用聚类伪标签来确定图像的弱监督对比损失。

用所述聚类损失以及所述弱监督对比损失去确定所述损失函数。像权利要求 8 中所说的那样的设备，其中，那些指令会进一步控制处理器来确定图像的框采样损失。如同权利要求 9 中所提及的设备，其中这些指令会进一步控制处理器基于所述聚类损失、所述弱监督对比损失和所述框采样损失来确定所述损失函数。所述方法如权利要求 10 所述，其中，该指令会进一步控制处理器，通过以下方式来确定损失函数：一是利用其中的η1 来确定关于弱监督对比损失的尺度；二是利用其中的η2 来确定关于框采样损失的尺度。如权利要求 9 所述的设备，其特征在于，所述指令会进一步控制所述处理器来通过以下各项确定所述图像的所述框采样损失：从该图像的特征图中提取出随机设定大小的框；针对所提取出的每一个框执行平均池化操作；并且……

【专利技术属性】

技术研发人员：杨月唯，M埃尔卡米，刘青峰，

申请(专利权)人：三星电子株式会社，

类型：发明

国别省市：

全部详细技术资料下载 我是这个专利的主人