寻找手绘矩形的属性

Question

我正在处理的图片:

我试图在此图像中找到每个框。结果不必100％准确，只要找到的框大致正确就可以了。通过对方形检测示例的尝试，我已经得到了轮廓、边界框、角和框的中心。

我遇到了几个问题:

1. 检测到绘制线条内部和外部的边界矩形。
2. 检测到一些多余的角落/中心点。
3. 我不确定如何将角落/中心匹配相关的轮廓/边界框，特别是考虑到嵌套框时。

代码生成的图像如下所示：

这是我用来生成上面图像的代码:

import numpy as np
import cv2
from operator import itemgetter
from glob import glob
def angle_cos(p0, p1, p2):
    d1, d2 = (p0-p1).astype('float'), (p2-p1).astype('float')
    return abs( np.dot(d1, d2) / np.sqrt( np.dot(d1, d1)*np.dot(d2, d2) ) )
def makebin(gray):
    bin = cv2.adaptiveThreshold(gray, 255, cv2.ADAPTIVE_THRESH_MEAN_C, cv2.THRESH_BINARY, 5, 2)
    return cv2.bitwise_not(bin)
def find_squares(img):
    img = cv2.GaussianBlur(img, (11, 11), 0)
    squares = []
    points = []`
    for gray in cv2.split(img):
        bin = makebin(gray)
        contours, hierarchy = cv2.findContours(bin, cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)
        corners = cv2.goodFeaturesToTrack(gray,len(contours)*4,0.2,15)
        cv2.cornerSubPix(gray,corners,(6,6),(-1,-1),(cv2.TERM_CRITERIA_MAX_ITER | cv2.TERM_CRITERIA_EPS,10, 0.1))
        for cnt in contours:
            cnt_len = cv2.arcLength(cnt, True)
            if len(cnt) >= 4 and cv2.contourArea(cnt) > 200:
                rect = cv2.boundingRect(cnt)
                if rect not in squares:
                    squares.append(rect)
    return squares, corners, contours
if __name__ == '__main__':
    for fn in glob('../1 (Small).jpg'):
        img = cv2.imread(fn)
        squares, corners, contours = find_squares(img)
        for p in corners:
            cv2.circle(img, (p[0][0],p[0][3]), 3, (0,0,255),2)
        squares = sorted(squares,key=itemgetter(1,0,2,3))
        areas = []
        moments = []
        centers = []
        for s in squares:
            areas.append(s[2]*s[3])
            cv2.rectangle( img, (s[0],s[1]),(s[0]+s[2],s[1]+s[3]),(0,255,0),1)
        for c in contours:
            moments.append(cv2.moments(np.array(c)))
        for m in moments:
            centers.append((int(m["m10"] // m["m00"]), int(m["m01"] // m["m00"])))
        for cent in centers:
            print cent
            cv2.circle(img, (cent[0],cent[1]), 3, (0,255,0),2)
        cv2.imshow('squares', img)
        ch = 0xFF & cv2.waitKey()
        if ch == 27:
            break
    cv2.destroyAllWindows()             

- Crawford Comeaux

---

为您添加了内联图像 :)。 - Blair

Answer 1

我建议采用一种更简单的方法作为起点。例如，形态梯度可以作为一个良好的强边缘局部检测器，并且对其进行阈值处理通常是简单的。然后，您可以删除太小的组件，在您的问题中相对容易。在您的示例中，每个剩余的连接组件都是一个单独的框，因此在这种情况下问题得到解决。

通过这个简单的过程，您将获得以下结果:

红点代表组件的质心，因此如果黄色框不适合您，您可以从那里再增加一个被包含在其中的框。

这是实现上述操作的代码:

import sys
import numpy
from PIL import Image, ImageOps, ImageDraw
from scipy.ndimage import morphology, label

def boxes(orig):
    img = ImageOps.grayscale(orig)
    im = numpy.array(img)

    # Inner morphological gradient.
    im = morphology.grey_dilation(im, (3, 3)) - im

    # Binarize.
    mean, std = im.mean(), im.std()
    t = mean + std
    im[im < t] = 0
    im[im >= t] = 1

    # Connected components.
    lbl, numcc = label(im)
    # Size threshold.
    min_size = 200 # pixels
    box = []
    for i in range(1, numcc + 1):
        py, px = numpy.nonzero(lbl == i)
        if len(py) < min_size:
            im[lbl == i] = 0
            continue

        xmin, xmax, ymin, ymax = px.min(), px.max(), py.min(), py.max()
        # Four corners and centroid.
        box.append([
            [(xmin, ymin), (xmax, ymin), (xmax, ymax), (xmin, ymax)],
            (numpy.mean(px), numpy.mean(py))])

    return im.astype(numpy.uint8) * 255, box


orig = Image.open(sys.argv[1])
im, box = boxes(orig)

# Boxes found.
Image.fromarray(im).save(sys.argv[2])

# Draw perfect rectangles and the component centroid.
img = Image.fromarray(im)
visual = img.convert('RGB')
draw = ImageDraw.Draw(visual)
for b, centroid in box:
    draw.line(b + [b[0]], fill='yellow')
    cx, cy = centroid
    draw.ellipse((cx - 2, cy - 2, cx + 2, cy + 2), fill='red')
visual.save(sys.argv[3])

- mmgp

---

从进一步阅读来看，形态梯度是膨胀减去腐蚀，但您的代码是膨胀减去源。选择其中一个的原因是什么？ - Crawford Comeaux

@CrawfordComeaux 至少有三种形态梯度。 "标准"是您提到的那种。在这种情况下，它的问题是可能会将对象连接起来，因为此方法产生两倍厚的轮廓线。但还有其他形态梯度，即内部（img-腐蚀）和外部（膨胀-img）。这些将给出单层轮廓线。 - mmgp

我刚刚注意到图片右下角有一个白点。这个元素留在那里是因为循环range(1, numcc)出现了偏差，应该是range(1, numcc + 1)。 - mmgp

感谢更新。我将暂停OpenCV端口并转向项目的下一个阶段，因为我没有快速找到OpenCV中的标记功能。是时候深入研究SciPy了！更新：看起来不久之后OpenCV就会有这个功能了：拉取请求12小时前合并。 - Crawford Comeaux

Answer 2

我看到你已经得到了答案。但是我认为OpenCV中有一种更简单、更短、更好的方法来解决这个问题。

在查找轮廓时，您也会查找轮廓的层次结构。轮廓的层次结构是不同轮廓之间的关系。

因此，在您的代码中使用的标志cv2.RETR_TREE提供了所有的分层关系。

cv2.RETR_LIST不提供层次结构，而cv2.RETR_EXTERNAL只提供外部轮廓。

对于您来说最好的一个是cv2.RETR_CCOMP，它提供了所有的轮廓和两级分层关系。即外轮廓始终是父轮廓，内孔轮廓始终是子轮廓。

请阅读以下文章以获取有关层次结构的更多信息：Contour - 5 : Hierarchy

因此，轮廓的层次结构是一个4元素数组，其中最后一个元素是指向其父元素的索引指针。如果轮廓没有父元素，则它是外部轮廓，其值为-1。如果它是内部轮廓，则它是子轮廓，并且它将具有指向其父元素的某个值。我们将利用这个特性来解决您的问题。

import cv2
import numpy as np

# Normal routines
img = cv2.imread('square.JPG')
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
ret,thresh = cv2.threshold(gray,50,255,1)

# Remove some small noise if any.
dilate = cv2.dilate(thresh,None)
erode = cv2.erode(dilate,None)

# Find contours with cv2.RETR_CCOMP
contours,hierarchy = cv2.findContours(erode,cv2.RETR_CCOMP,cv2.CHAIN_APPROX_SIMPLE)

for i,cnt in enumerate(contours):
    # Check if it is an external contour and its area is more than 100
    if hierarchy[0,i,3] == -1 and cv2.contourArea(cnt)>100:
        x,y,w,h = cv2.boundingRect(cnt)
        cv2.rectangle(img,(x,y),(x+w,y+h),(0,255,0),2)

        m = cv2.moments(cnt)
        cx,cy = m['m10']/m['m00'],m['m01']/m['m00']
        cv2.circle(img,(int(cx),int(cy)),3,255,-1)

cv2.imshow('img',img)
cv2.imwrite('sofsqure.png',img)
cv2.waitKey(0)
cv2.destroyAllWindows()

结果：

- Abid Rahman K

---

将阈值设置为固定的任意值是不会使方法变得更好的确切方法。在这方面让它更简单只会让它变得更糟，只需改变照明条件，这个“配方”就很容易失败。就短小比赛而言，这是毫无意义的，因为OpenCV基本上每次都会输给Mathematica。 - mmgp

我认为这里的问题是选择仅保留外部轮廓而不考虑内部轮廓，而不是解决照明问题。因此，我的重点只在于那一部分，而不是照明变化。由于提问者已经得到了所有的轮廓，我认为他唯一的问题就是如何去除内部轮廓。这就是为什么我选择了固定阈值。否则，在这种问题中，我也不会使用固定阈值。 - Abid Rahman K

Answer 3

这个问题与Python图像识别有关。解决方案在squres.py演示中给出。

- Mihai8

---

我会试着把它拼凑起来，尽管它是使用OpenCV的ctypes端口。它基于OpenCV提供的一个正方形检测器，但它已经过时并且使用了更旧的版本。也许我可以将其更新为OpenCV 2.4.3。 - Crawford Comeaux