在图像中找到RGB颜色的边界框

Question

在图像中找到RGB颜色的边界框

pythonimage-processingnumpy

3

我正在处理页面分割算法。代码的输出将为每个区域分配一个独特颜色的像素图像。我希望处理图像以找到区域的边界框。我需要找到所有颜色，然后找到该颜色的所有像素，然后找到它们的边界框。

以下是示例图像。

Example output image showing colored zones

我目前从R，G，B通道的直方图开始。直方图告诉我数据位置。

img = Image.open(imgfilename)
img.load()
r,g,b = img.split()

ra,ga,ba = [ np.asarray(p,dtype="uint8") for p in (r,g,b) ]

rhist,edges = np.histogram(ra,bins=256)
ghist,edges = np.histogram(ga,bins=256)
bhist,edges = np.histogram(ba,bins=256)
print np.nonzero(rhist)
print np.nonzero(ghist)
print np.nonzero(bhist)

输出结果： (array([ 0, 1, 128, 205, 255]),) (array([ 0, 20, 128, 186, 255]),) (array([ 0, 128, 147, 150, 255]),)

我有些困惑了。通过视觉检查，我有颜色(0,0,0),(1,0,0),(0,20,0),(128,128,128)等。我应该如何将非零输出排列成np.where()的像素值呢？

我考虑将3行列narray压缩成24位打包RGB值的2-D平面，并在其中搜索。这似乎是一种蛮力而不优雅的方法。在Numpy中，有更好的方法来查找颜色值的边界框吗？

- David Poole

这么多令人难以置信的建议！ - David Poole

3个回答

2

编辑将所有内容整合成一个工作程序，使用您发布的图像：

from __future__ import division
import numpy as np
import itertools
from PIL import Image

img = np.array(Image.open('test_img.png'))

def bounding_boxes(img) :
    r, g, b = [np.unique(img[..., j]) for j in (0, 1, 2)]
    bounding_boxes = {}
    for r0, g0, b0 in itertools.product(r, g, b) :
        rows, cols = np.where((img[..., 0] == r0) &
                              (img[..., 1] == g0) &
                              (img[..., 2] == b0))
        if len(rows) :
            bounding_boxes[(r0, g0, b0)] = (np.min(rows), np.max(rows),
                                            np.min(cols), np.max(cols))
    return bounding_boxes

In [2]: %timeit bounding_boxes(img)
1 loops, best of 3: 30.3 s per loop

In [3]: bounding_boxes(img)
Out[3]: 
{(0, 0, 255): (3011, 3176, 755, 2546),
 (0, 128, 0): (10, 2612, 0, 561),
 (0, 128, 128): (1929, 1972, 985, 1438),
 (0, 255, 0): (10, 166, 562, 868),
 (0, 255, 255): (2938, 2938, 680, 682),
 (1, 0, 0): (10, 357, 987, 2591),
 (128, 0, 128): (417, 1873, 984, 2496),
 (205, 186, 150): (11, 56, 869, 1752),
 (255, 0, 0): (3214, 3223, 570, 583),
 (255, 20, 147): (2020, 2615, 956, 2371),
 (255, 255, 0): (3007, 3013, 600, 752),
 (255, 255, 255): (0, 3299, 0, 2591)}

即使实际检查的颜色数量很少，速度也不是很快...

您可以通过以下方式找到颜色r0，g0，b0的边界框：

rows, cols = np.where((ra == r0) & (ga == g0) & (ba == b0))
top, bottom = np.min(rows), np.max(rows)
left, right = np.min(cols), np.max(cols)

与其遍历所有RGB颜色的2**24种组合，你可以仅使用非零直方图条目的笛卡尔积来大大减少搜索空间：

for r0, g0, b0 in itertools.product(np.nonzero(rhist),
                                    np.nonzero(ghist),
                                    np.nonzero(bhist)) :

您可能会遇到不存在的组合泄漏问题，但您可以通过检查rows和cols是否为空元组来过滤掉这些组合。但在您的示例中，您已将搜索空间从2 ** 24个组合减少到了只有125个。

- Jaime

0

这只是我脑海中的一个解决方案。您可以从左上到右下迭代图像中的像素，并保存每种颜色的top、bottom、left和right值。对于给定的颜色，top值将是您看到的具有此颜色的第一行，而bottom将是最后一行，left值将是此颜色像素的最小列值，right是您找到的最大列值。

然后，对于每种颜色，您可以在所需颜色中从top-left到bottom-right绘制矩形。

我不知道这是否合格作为一个好的边界框算法，但我想这还可以。

- zenpoy

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- mmgp · Accepted Answer

没有理由将其视为RGB彩色图像，它只是其他人进行分割可视化的结果。您可以轻松将其视为灰度图像，并且对于这些特定颜色，您不必自己做任何其他处理。

import sys
import numpy
from PIL import Image

img = Image.open(sys.argv[1]).convert('L')

im = numpy.array(img) 
colors = set(numpy.unique(im))
colors.remove(255)

for color in colors:
    py, px = numpy.where(im == color)
    print(px.min(), py.min(), px.max(), py.max())

如果您不能依赖于convert('L')给出唯一的颜色（即，您正在使用除给定图像中的颜色之外的其他颜色），则可以打包您的图像并获取唯一的颜色：

...
im = numpy.array(img, dtype=int)

packed = im[:,:,0]<<16 | im[:,:,1]<<8 | im[:,:,2]
colors = set(numpy.unique(packed.ravel()))
colors.remove(255<<16 | 255<<8 | 255)

for color in colors:
    py, px = numpy.where(packed == color)
    print(px.min(), py.min(), px.max(), py.max())

顺便说一句，我建议在查找边界框之前先删除小的连接组件。