SAR图像数据集：BBox-SSDD、RBox-SSDD和PSeg-SSDD
时间：2021-10-20 16:25:13
手机看文章
扫描二维码
随时随地手机看文章
[导读]本文和之前的两篇：《SSDD数据集的标准规范》和《SAR图像船舶目标检测数据集SSDD》均来自文献：SARShipDetectionDataset(SSDD)-OfficialReleaseandComprehensiveDataAnalysis。需要英文原文的请给“雷达通信电子战...
本文和之前的两篇：《SSDD数据集的标准规范》和《SAR图像船舶目标检测数据集SSDD》均来自文献：SAR Ship Detection Dataset (SSDD)-Official Release and Comprehensive Data Analysis。需要英文原文的请给“雷达通信电子战”发送“1018”，铁杆会员可进入日常更新文件夹下载中文WORD版。
01BBox-SSDD数据集统计信息介绍
BBox-SSDD的标签采用PASCAL VOC格式进行标注。一个BBox由x-y图像坐标中的两个点描述，即A（xmin，ymin）和B（xmax，ymax）。一些基于CNN的检测器采用BBox的一些其他描述，例如YOLO的（xmin，ymin，w，h），用户可以灵活转换它们。
通过BBox-SSDD数据集上的数计结果可以得出以下结论：
SSDD中的船舶普遍较小，船舶的平均尺寸只有大约35×35像素，要发现这样的小船是非常困难的，因此学者们应该特别关注这一现象。
船舶的宽度和长度在图像坐标系中没有完全区分，有时BBox的宽度和高度会混淆，BBox船舶的长宽比严重失衡，大多数船舶的长宽比小于1，由于缺乏训练数据，一些具有极端长宽比的船舶很容易漏检，可以使用90°旋转数据增强来缓解这一问题。此外，还可以只对长宽比较大的船舶数据进行选择性增强，从而实现网络的学习平衡。
可以发现SAR船非常小但BBox区域的上限相当大，即有些船的尺寸非常大，但数量却非常少。例如，在整个数据集中，>50000的区域数只有4个。这些船可能具有最高的分辨率，因为BBox的面积是根据像素数计算的。同一船舶在高分辨率图像中的面积大于低分辨率图像中的面积。这种大型跨尺度船舶检测是一项具有挑战性的任务。
为了实现多分辨率条件下的多尺度船舶检测，学者们可以对大型船舶进行适当的下采样，以提高网络多尺度特征学习的效益。此外，对于太小的船舶，可以通过上采样插值来改进，以避免其在网络中的信息丢失。
02RBox-SSDD数据集统计信息介绍
下图显示了RBox-SSDD的标注格式。一个RBox可以由四个顶点描述，即A（x1，y1），B（x2，y2），C（x3，y3）和D（x4，y4），称这种方案为四点类型，这里四边形的四个角是直角。上述表示可能是最直观的，但一些检测采用不同的编码模式，即图中的（x，y，w，h，θ），其中x，y是中心P的坐标，θ是方向角，称这种方案为中心角类型。在RBox SSDD中，θ∈[0°，90°]基于角度系统，而不是弧度系统。θ是船舶主轴和负y轴之间的角度。
通过RBox-SSDD数据集上的数据统计结果可以看出，与BBox尺寸分布相比，船舶的尺寸分布更靠近漏斗边缘，即几乎没有一艘船是方形的，这符合常识。BBox船呈对角出现，因为船的方向约为45°，
所以BBox的宽度等于高度。这表明RBox比BBox更先进，能更好地描述真实船舶。RBox的宽高比分布规律不同于BBox，当长宽比为3左右时，会出现一个小波峰。这是因为RBox可以成功识别船舶的长边和短边，因此长宽比大多大于1。
然而，事实上，RBox对于非常小的船仍然无能为力，因为船的像素总数太小了。还可以看出，大多数船舶在SAR图像中保持相对的垂直和水平状态，但一些停靠在港口的船舶可能会产生较大的方向角。根据这一现象，可大致识别近岸船舶，然后有针对性地设计网络，提高近岸船舶的检测精度。
03PSeg-SSDD数据集统计信息介绍
下图显示了PSeg-SSDD测试集中的船舶多边形分割标签。在图中不同的船舶被不同的颜色覆盖，采用多边形分割标签检测船舶是最令人满意的，该任务是在像素级执行的，类似于传统的恒虚警检测。
下图显示了PSeg-SSDD的标签格式，可以看出，有一系列点用于描述船舶的轮廓。这些点可以连接成闭合多边形，可使用标注工具LabelMe来获取这些点。需要明确的是，由于SSDD中船舶的尺度差异，不同尺度或尺寸的船舶必须产生不同数量的轮廓点。大型船只提供更多的点，而小型船只提供更少的点。
基于PSeg-SSDD，可以使用完全卷积网络（FCN）或U-Net来研究语义切分任务。语义分割是指对图像中的每个像素进行分类。对于SAR船舶检测，这将是一项船舶背景二进制像素级分类任务。
如果用“1”标签预测一个像素，那么它将被视为一个像素。相反，对于“0”标签，它是背景。在图7b中，遮罩中的黑色区域属于背景像素，而绿色区域属于背景像素。因为只有一个船舶类别，所以遮罩中的颜色只有黑色和绿色。
此外，基于PSeg-SSDD，可以使用Mask R-CNN或PANet研究实例分割任务。实例分割是指用目标检测方法从图像中自动框出不同的实例，然后用语义分割方法在不同的实例区域逐像素进行标记。对于实例分割任务，训练标签下图所示。实际上，多边形分割的标签可以用作BBox和RBox的标签。
在上图中，每艘船都同时有一个多边形轮廓标签和一个水平矩形框。对于同一艘船，多边形轮廓标签和水平矩形框的颜色相同。此外，不同船舶的颜色是不同的，因为它们是不同的实例，这取决于实例分割的定义。
根据PSeg-SSDD数据集上的数据统计结果可以看出，大型船舶的数量远小于小型船舶的数量。这种数量上的不平衡将不可避免地使网络难以有效地了解大型船舶的特性。因此，大型船舶的检测精度低于小型船舶。这种现象似乎与常识相反，因为事实上，小型船舶通常更难被发现。通过下采样可以降低大型船舶图像的分辨率，提高大型船舶的检测性能。
一艘船的面积越大，并不一定意味着它的周长越大。这是由船的扁平形状造成的。此外，散斑噪声的存在可能会影响船舶实际周长的统计，因为噪声会使船舶边缘更加不均匀，从而增加船舶与海洋之间的接触面积。因此，在使用SSDD时，最好考虑抑制散斑噪声。
从统计结果可以看出，SAR船舶在整个图像中所占的比例很小，大多数小于4%。这展示了SAR“鸟瞰”视图的特点。因此，SAR遥感图像不同于具有“人眼”视角的自然场景的光学图像。这表明将计算机视觉领域的深度学习检测器直接应用于SAR船舶检测是不可行的。学者们应该根据SAR的特点设计网络，从而实现有目的的船舶检测，而不是一般的目标检测。
往期推荐
本文和之前的两篇：《SSDD数据集的标准规范》和《SAR图像船舶目标检测数据集SSDD》均来自文献：SAR Ship Detection Dataset (SSDD)-Official Release and Comprehensive Data Analysis。需要英文原文的请给“雷达通信电子战”发送“1018”，铁杆会员可进入日常更新文件夹下载中文WORD版。
01BBox-SSDD数据集统计信息介绍
BBox-SSDD的标签采用PASCAL VOC格式进行标注。一个BBox由x-y图像坐标中的两个点描述，即A（xmin，ymin）和B（xmax，ymax）。一些基于CNN的检测器采用BBox的一些其他描述，例如YOLO的（xmin，ymin，w，h），用户可以灵活转换它们。
通过BBox-SSDD数据集上的数计结果可以得出以下结论：
SSDD中的船舶普遍较小，船舶的平均尺寸只有大约35×35像素，要发现这样的小船是非常困难的，因此学者们应该特别关注这一现象。
船舶的宽度和长度在图像坐标系中没有完全区分，有时BBox的宽度和高度会混淆，BBox船舶的长宽比严重失衡，大多数船舶的长宽比小于1，由于缺乏训练数据，一些具有极端长宽比的船舶很容易漏检，可以使用90°旋转数据增强来缓解这一问题。此外，还可以只对长宽比较大的船舶数据进行选择性增强，从而实现网络的学习平衡。
可以发现SAR船非常小但BBox区域的上限相当大，即有些船的尺寸非常大，但数量却非常少。例如，在整个数据集中，>50000的区域数只有4个。这些船可能具有最高的分辨率，因为BBox的面积是根据像素数计算的。同一船舶在高分辨率图像中的面积大于低分辨率图像中的面积。这种大型跨尺度船舶检测是一项具有挑战性的任务。
为了实现多分辨率条件下的多尺度船舶检测，学者们可以对大型船舶进行适当的下采样，以提高网络多尺度特征学习的效益。此外，对于太小的船舶，可以通过上采样插值来改进，以避免其在网络中的信息丢失。
02RBox-SSDD数据集统计信息介绍
下图显示了RBox-SSDD的标注格式。一个RBox可以由四个顶点描述，即A（x1，y1），B（x2，y2），C（x3，y3）和D（x4，y4），称这种方案为四点类型，这里四边形的四个角是直角。上述表示可能是最直观的，但一些检测采用不同的编码模式，即图中的（x，y，w，h，θ），其中x，y是中心P的坐标，θ是方向角，称这种方案为中心角类型。在RBox SSDD中，θ∈[0°，90°]基于角度系统，而不是弧度系统。θ是船舶主轴和负y轴之间的角度。
通过RBox-SSDD数据集上的数据统计结果可以看出，与BBox尺寸分布相比，船舶的尺寸分布更靠近漏斗边缘，即几乎没有一艘船是方形的，这符合常识。BBox船呈对角出现，因为船的方向约为45°，
所以BBox的宽度等于高度。这表明RBox比BBox更先进，能更好地描述真实船舶。RBox的宽高比分布规律不同于BBox，当长宽比为3左右时，会出现一个小波峰。这是因为RBox可以成功识别船舶的长边和短边，因此长宽比大多大于1。
然而，事实上，RBox对于非常小的船仍然无能为力，因为船的像素总数太小了。还可以看出，大多数船舶在SAR图像中保持相对的垂直和水平状态，但一些停靠在港口的船舶可能会产生较大的方向角。根据这一现象，可大致识别近岸船舶，然后有针对性地设计网络，提高近岸船舶的检测精度。
03PSeg-SSDD数据集统计信息介绍
下图显示了PSeg-SSDD测试集中的船舶多边形分割标签。在图中不同的船舶被不同的颜色覆盖，采用多边形分割标签检测船舶是最令人满意的，该任务是在像素级执行的，类似于传统的恒虚警检测。
下图显示了PSeg-SSDD的标签格式，可以看出，有一系列点用于描述船舶的轮廓。这些点可以连接成闭合多边形，可使用标注工具LabelMe来获取这些点。需要明确的是，由于SSDD中船舶的尺度差异，不同尺度或尺寸的船舶必须产生不同数量的轮廓点。大型船只提供更多的点，而小型船只提供更少的点。
基于PSeg-SSDD，可以使用完全卷积网络（FCN）或U-Net来研究语义切分任务。语义分割是指对图像中的每个像素进行分类。对于SAR船舶检测，这将是一项船舶背景二进制像素级分类任务。
如果用“1”标签预测一个像素，那么它将被视为一个像素。相反，对于“0”标签，它是背景。在图7b中，遮罩中的黑色区域属于背景像素，而绿色区域属于背景像素。因为只有一个船舶类别，所以遮罩中的颜色只有黑色和绿色。
此外，基于PSeg-SSDD，可以使用Mask R-CNN或PANet研究实例分割任务。实例分割是指用目标检测方法从图像中自动框出不同的实例，然后用语义分割方法在不同的实例区域逐像素进行标记。对于实例分割任务，训练标签下图所示。实际上，多边形分割的标签可以用作BBox和RBox的标签。
在上图中，每艘船都同时有一个多边形轮廓标签和一个水平矩形框。对于同一艘船，多边形轮廓标签和水平矩形框的颜色相同。此外，不同船舶的颜色是不同的，因为它们是不同的实例，这取决于实例分割的定义。
根据PSeg-SSDD数据集上的数据统计结果可以看出，大型船舶的数量远小于小型船舶的数量。这种数量上的不平衡将不可避免地使网络难以有效地了解大型船舶的特性。因此，大型船舶的检测精度低于小型船舶。这种现象似乎与常识相反，因为事实上，小型船舶通常更难被发现。通过下采样可以降低大型船舶图像的分辨率，提高大型船舶的检测性能。
一艘船的面积越大，并不一定意味着它的周长越大。这是由船的扁平形状造成的。此外，散斑噪声的存在可能会影响船舶实际周长的统计，因为噪声会使船舶边缘更加不均匀，从而增加船舶与海洋之间的接触面积。因此，在使用SSDD时，最好考虑抑制散斑噪声。
从统计结果可以看出，SAR船舶在整个图像中所占的比例很小，大多数小于4%。这展示了SAR“鸟瞰”视图的特点。因此，SAR遥感图像不同于具有“人眼”视角的自然场景的光学图像。这表明将计算机视觉领域的深度学习检测器直接应用于SAR船舶检测是不可行的。学者们应该根据SAR的特点设计网络，从而实现有目的的船舶检测，而不是一般的目标检测。
往期推荐
本文和之前的两篇：《SSDD数据集的标准规范》和《SAR图像船舶目标检测数据集SSDD》均来自文献：SAR Ship Detection Dataset (SSDD)-Official Release and Comprehensive Data Analysis。需要英文原文的请给“雷达通信电子战”发送“1018”，铁杆会员可进入日常更新文件夹下载中文WORD版。
下载文档
