如何在目标定位中执行数据增强

Question

对于分类任务，进行数据增强很容易，因为大多数变换不会改变图像的真实标签。

然而，在目标定位的情况下：

1. 边界框的位置是相对于已经裁剪的区域而言的。
2. 有时候边界框只部分在裁剪窗口内，这种情况下我们是否需要进行一些裁剪操作。
3. 还会出现目标边界框没有被包含在裁剪中的情况，这种情况下我们在训练时应该舍弃这些样本。

我不理解这些情况在目标定位中如何处理。大多数论文建议使用多尺度训练，但并未解决这些问题。

- saurabh kumar

---

你找到这是如何完成的了吗？ - bicepjai

我发现这个链接很有帮助：https://stackoverflow.com/questions/47402896/tf-image-sample-distorted-bounding-box-valueerror - bicepjai

Answer 1

增强方法必须改变边界框的内容。在颜色增强的情况下，像素分布会改变，但边界框的坐标不会改变。但是，在裁剪或缩放等几何增强的情况下，不仅像素分布会受到影响，而且边界框的坐标也会受到影响。这些更改应该保留在注释文件中，以便算法可以读取它。

通常使用自定义脚本来解决此问题。然而，在我的代码库中，我有一个可以帮助您的库。以下是链接https://github.com/lozuwa/impy。使用此库，您可以执行我之前描述的操作。

- Rodrigo Loza