使用OpenCV改进图像中矩形轮廓的检测

Question

我将尝试检测给定图像中的矩形框。原始图像为： 但该图像不足以检测矩形，我该如何改进并检测出图像中的所有矩形？我尝试使用Canny边缘检测将图像转换为二进制图像，然后应用膨胀、双边滤波，输出结果如下：

我尝试应用所有的形态学操作、Sobel算子，但仍无法检测出图像中的所有矩形。如果能够找到所有矩形的边界，则可以使用findContours函数来检测所有矩形，但如何改进图像以检测所有矩形呢？

以下是给定转换的代码。

img =  cv2.imread("givenimage.png",0)
img = cv2.resize(img,(1280,720))
edges = cv2.Canny(img,100,200)
kernal = np.ones((2,2),np.uint8)
dilation = cv2.dilate(edges, kernal , iterations=2)
bilateral = cv2.bilateralFilter(dilation,9,75,75)
contours, hireracy = cv2.findContours(bilateral,cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_NONE)
for i,contour in enumerate(contours):
    approx = cv2.approxPolyDP(contour, 0.01*cv2.arcLength(contour,True),True)   
    if len(approx) ==4:
        X,Y,W,H = cv2.boundingRect(approx)
        aspectratio = float(W)/H
        if aspectratio >=1.2 :
            box = cv2.rectangle(img, (X,Y), (X+W,Y+H), (0,0,255), 2)
            cropped = img[Y: Y+H, X: X+W]
            cv2.drawContours(img, [approx], 0, (0,255,0),5)
            x = approx.ravel()[0]
            y = approx.ravel()[1]
            cv2.putText(img, "rectangle"+str(i), (x,y),cv2.FONT_HERSHEY_COMPLEX, 0.5, (0,255,0))
cv2.imshow("image",img)
cv2.waitKey(0)
cv2.destroyAllWindows()

以下程序的输出仅检测到8个矩形：

但我需要检测图像中所有存在的矩形。

1）我能否增加此图像中所有黑色像素的厚度？

2) 我可以扩大白色边界之间的所有像素区域吗？

- J Harish

Answer 1

这里是一个简单的方法：

• 将图像转换为灰度图并进行高斯模糊处理
• 进行Canny边缘检测
• 查找轮廓并绘制矩形

---

Canny边缘检测

结果

import cv2

image = cv2.imread('1.png')
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
blurred = cv2.GaussianBlur(gray, (3, 3), 0)
canny = cv2.Canny(blurred, 120, 255, 1)

# Find contours
cnts = cv2.findContours(canny, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = cnts[0] if len(cnts) == 2 else cnts[1]

# Iterate thorugh contours and draw rectangles around contours
for c in cnts:
    x,y,w,h = cv2.boundingRect(c)
    cv2.rectangle(image, (x, y), (x + w, y + h), (36,255,12), 2)

cv2.imshow('canny', canny)
cv2.imshow('image', image)
cv2.imwrite('canny.png', canny)
cv2.imwrite('image.png', image)
cv2.waitKey(0)

- nathancy

---

这假设矩形与x和y轴对齐。 - Michael Currie

Answer 2

你的想法是正确的，但在第一阶段中，你可以使用threshold操作。然后找到轮廓。接着，在发现的轮廓上执行minAreaRect操作。 编辑： 结果和代码(c++)：

Mat img = imread("/Users/alex/Downloads/MyPRI.png", IMREAD_GRAYSCALE);
Mat img2;
threshold(img, img2, 220, 255, THRESH_BINARY);

Mat element = getStructuringElement(MORPH_CROSS, Size(3, 3), Point(1, 1));
erode(img2, img2, element); // without it find contours fails on some rects

imshow("img", img);
imshow("img2", img2);
waitKey();


// preprocessing done, search rectanges
vector<vector<Point> > contours;

vector<Vec4i> hierarchy;
findContours(img2, contours, hierarchy, CV_RETR_TREE, CV_CHAIN_APPROX_SIMPLE);

vector<RotatedRect> rects;
for (int i = 0; i < contours.size(); i++) {
    if (hierarchy[i][2] > 0) continue;

    // capture inner contour
    RotatedRect rr = minAreaRect(contours[i]);
    if (rr.size.area() < 100) continue; // too small

    rr.size.width += 8;
    rr.size.height += 8; // expand to outlier rect if needed
    rects.push_back(rr);
}


Mat debugImg;
cvtColor(img, debugImg, CV_GRAY2BGR);
for (RotatedRect rr : rects) {
    Point2f points[4];
    rr.points(points);
    for (int i = 0; i < 4; i++) {
        int ii = (i + 1) % 4;
        line(debugImg, points[i], points[ii], CV_RGB(255, 0, 0), 2);
    }
}
imshow("debug", debugImg);
waitKey();

- Gralex

---

在使用阈值操作后，我发现图像边界上的许多像素都丢失了，如二进制图像所示。有没有什么方法可以将这两个像素连接起来，而不使用膨胀操作？ - J Harish