OpenCV C++/Obj-C：检测纸张/正方形

Question

我已经在我的测试应用程序中成功实现了 OpenCV 的方块检测示例，但现在需要过滤输出，因为它看起来很凌乱 - 或者是我的代码有误？

我对纸张的四个角点感兴趣，以进行倾斜校正（例如 这样 ），并进行进一步处理...

输入和输出：

原始图像：

点击

代码：

double angle( cv::Point pt1, cv::Point pt2, cv::Point pt0 ) {
    double dx1 = pt1.x - pt0.x;
    double dy1 = pt1.y - pt0.y;
    double dx2 = pt2.x - pt0.x;
    double dy2 = pt2.y - pt0.y;
    return (dx1*dx2 + dy1*dy2)/sqrt((dx1*dx1 + dy1*dy1)*(dx2*dx2 + dy2*dy2) + 1e-10);
}

- (std::vector<std::vector<cv::Point> >)findSquaresInImage:(cv::Mat)_image
{
    std::vector<std::vector<cv::Point> > squares;
    cv::Mat pyr, timg, gray0(_image.size(), CV_8U), gray;
    int thresh = 50, N = 11;
    cv::pyrDown(_image, pyr, cv::Size(_image.cols/2, _image.rows/2));
    cv::pyrUp(pyr, timg, _image.size());
    std::vector<std::vector<cv::Point> > contours;
    for( int c = 0; c < 3; c++ ) {
        int ch[] = {c, 0};
        mixChannels(&timg, 1, &gray0, 1, ch, 1);
        for( int l = 0; l < N; l++ ) {
            if( l == 0 ) {
                cv::Canny(gray0, gray, 0, thresh, 5);
                cv::dilate(gray, gray, cv::Mat(), cv::Point(-1,-1));
            }
            else {
                gray = gray0 >= (l+1)*255/N;
            }
            cv::findContours(gray, contours, CV_RETR_LIST, CV_CHAIN_APPROX_SIMPLE);
            std::vector<cv::Point> approx;
            for( size_t i = 0; i < contours.size(); i++ )
            {
                cv::approxPolyDP(cv::Mat(contours[i]), approx, arcLength(cv::Mat(contours[i]), true)*0.02, true);
                if( approx.size() == 4 && fabs(contourArea(cv::Mat(approx))) > 1000 && cv::isContourConvex(cv::Mat(approx))) {
                    double maxCosine = 0;

                    for( int j = 2; j < 5; j++ )
                    {
                        double cosine = fabs(angle(approx[j%4], approx[j-2], approx[j-1]));
                        maxCosine = MAX(maxCosine, cosine);
                    }

                    if( maxCosine < 0.3 ) {
                        squares.push_back(approx);
                    }
                }
            }
        }
    }
    return squares;
}

编辑于2012年8月17日：

使用以下代码在图像上绘制检测到的正方形：

cv::Mat debugSquares( std::vector<std::vector<cv::Point> > squares, cv::Mat image )
{
    for ( int i = 0; i< squares.size(); i++ ) {
        // draw contour
        cv::drawContours(image, squares, i, cv::Scalar(255,0,0), 1, 8, std::vector<cv::Vec4i>(), 0, cv::Point());

        // draw bounding rect
        cv::Rect rect = boundingRect(cv::Mat(squares[i]));
        cv::rectangle(image, rect.tl(), rect.br(), cv::Scalar(0,255,0), 2, 8, 0);

        // draw rotated rect
        cv::RotatedRect minRect = minAreaRect(cv::Mat(squares[i]));
        cv::Point2f rect_points[4];
        minRect.points( rect_points );
        for ( int j = 0; j < 4; j++ ) {
            cv::line( image, rect_points[j], rect_points[(j+1)%4], cv::Scalar(0,0,255), 1, 8 ); // blue
        }
    }

    return image;
}

- dom

---

[原始图像可在此处找到。]（http://cl.ly/1e363U230V342g0l123t） - karlphillip

我认为如果你觉得更合适的话，可以将问题的标题调整为“检测一张纸”。 - karlphillip

@moosgummi，我想要实现与您相同的功能，即“检测捕获图像/文档的角落”。您是如何实现这一点的？我能在我的iPhone应用程序中使用OpenCV吗？请为我提供更好的方法。 - Ajay Sharma

值得注意的是，当查找轮廓时，可以使用标志CV_RETR_EXTERNAL来拒绝在封闭形状内部的所有轮廓。 - mehfoos yacoob

你能否找到白色背景上的白纸（我的意思是白色桌子上的白纸，而不是棕色或其他对比色）...如果有任何想法...请帮助我... - user1140237

Answer 1

这是一个在Stackoverflow上经常出现的话题，由于我找不到相关的实现，所以决定接受挑战。

我对OpenCV中的方块演示进行了一些修改，下面的C++代码可以检测图像中的纸张：

void find_squares(Mat& image, vector<vector<Point> >& squares)
{
    // blur will enhance edge detection
    Mat blurred(image);
    medianBlur(image, blurred, 9);

    Mat gray0(blurred.size(), CV_8U), gray;
    vector<vector<Point> > contours;

    // find squares in every color plane of the image
    for (int c = 0; c < 3; c++)
    {
        int ch[] = {c, 0};
        mixChannels(&blurred, 1, &gray0, 1, ch, 1);

        // try several threshold levels
        const int threshold_level = 2;
        for (int l = 0; l < threshold_level; l++)
        {
            // Use Canny instead of zero threshold level!
            // Canny helps to catch squares with gradient shading
            if (l == 0)
            {
                Canny(gray0, gray, 10, 20, 3); // 

                // Dilate helps to remove potential holes between edge segments
                dilate(gray, gray, Mat(), Point(-1,-1));
            }
            else
            {
                    gray = gray0 >= (l+1) * 255 / threshold_level;
            }

            // Find contours and store them in a list
            findContours(gray, contours, CV_RETR_LIST, CV_CHAIN_APPROX_SIMPLE);

            // Test contours
            vector<Point> approx;
            for (size_t i = 0; i < contours.size(); i++)
            {
                    // approximate contour with accuracy proportional
                    // to the contour perimeter
                    approxPolyDP(Mat(contours[i]), approx, arcLength(Mat(contours[i]), true)*0.02, true);

                    // Note: absolute value of an area is used because
                    // area may be positive or negative - in accordance with the
                    // contour orientation
                    if (approx.size() == 4 &&
                            fabs(contourArea(Mat(approx))) > 1000 &&
                            isContourConvex(Mat(approx)))
                    {
                            double maxCosine = 0;

                            for (int j = 2; j < 5; j++)
                            {
                                    double cosine = fabs(angle(approx[j%4], approx[j-2], approx[j-1]));
                                    maxCosine = MAX(maxCosine, cosine);
                            }

                            if (maxCosine < 0.3)
                                    squares.push_back(approx);
                    }
            }
        }
    }
}

执行此过程后，纸张将成为vector<vector<Point> >中最大的正方形：

我让你编写函数来查找最大的正方形。 ;)

- karlphillip

---

这就是为什么我使用源代码控制。即使是最微小的意外修改也可以轻松发现。如果您没有更改任何内容，请尝试使用其他图像进行测试，最后重新编译/安装OpenCV。 - karlphillip

OpenCV在所有平台（Win / Linux / Mac / iPhone / ...）上基本上都是相同的。区别在于有些不支持OpenCV的GPU模块。你已经为iOS构建了OpenCV吗？你能测试它吗？我认为这些是你需要回答的问题，然后再尝试更高级的东西。一步一个脚印！ - karlphillip

@karlphillip 我测试了这段代码，我能够清晰地检测到纸张，但是它花费了很多时间。这段代码真的很重吗？有一个叫做SayText的应用程序，可以从视频流中实时进行检测。这段代码对于实时来说是不切实际的，我是对的吗？ - alandalusi

可能吧。这是一个学术性的答案，对于工业界来说并不是很实用。你可以尝试各种优化，从位于for (int c = 0; c < 3; c++)的计数器的定义开始，该计数器负责迭代图像的每个通道。例如，你可以将其设置为仅迭代一个通道 :) 别忘了点赞。 - karlphillip

@SilentPro angle()是一种辅助函数。正如答案中所述，这段代码基于OpenCV中的 samples/cpp/squares.cpp。 - karlphillip

Answer 2

除非有其他未指定的要求，我建议您将彩色图像转换为灰度图像，并仅使用该图像进行处理（不需要处理三个通道，因为已经具有足够高的对比度）。此外，除非存在缩放相关的特定问题，否则应该使用缩小版本的图像进行处理，因为它们相对较大而且大小与问题的解决无关。然后，最后，您可以使用中值滤波器、基本形态工具和统计学方法（主要用于Otsu阈值处理，这一步已经为您完成）来解决您的问题。

以下是使用您的样例图像及其它我找到的一张纸张图片所得到的结果：

中值滤波器用于从现在的灰度图像中去除细节。它可能会移除白纸内部的细线，这是件好事，因为您将得到易于丢弃的微小连通组件。中值滤波之后，应用形态梯度（简单地执行膨胀-腐蚀操作），并通过Otsu二值化结果。形态梯度是保持较强的边缘的好方法，应该多加使用。然后，由于该梯度将增加轮廓宽度，请执行形态细化。现在您可以丢弃小组件了。

此时，以下是我们得到的右侧图像（在绘制蓝色多边形之前），左侧图像没有显示，因为唯一剩下的组件就是描述纸的组件：

根据这些示例，现在唯一剩下的问题是区分看起来像矩形和不像矩形的组件。这涉及确定包含该形状的凸包的面积与其外接矩形面积之比；0.7的比率对于这些示例效果良好。可能情况是，您还需要丢弃位于纸张内部但不在这些示例中使用此方法（尽管这一步应该很容易完成，尤其是因为它可以直接通过OpenCV完成）的组件。

作为参考，以下是Mathematica的示例代码：

f = Import["http://thwartedglamour.files.wordpress.com/2010/06/my-coffee-table-1-sa.jpg"]
f = ImageResize[f, ImageDimensions[f][[1]]/4]
g = MedianFilter[ColorConvert[f, "Grayscale"], 2]
h = DeleteSmallComponents[Thinning[
     Binarize[ImageSubtract[Dilation[g, 1], Erosion[g, 1]]]]]
convexvert = ComponentMeasurements[SelectComponents[
     h, {"ConvexArea", "BoundingBoxArea"}, #1 / #2 > 0.7 &], 
     "ConvexVertices"][[All, 2]]
(* To visualize the blue polygons above: *)
Show[f, Graphics[{EdgeForm[{Blue, Thick}], RGBColor[0, 0, 1, 0.5], 
     Polygon @@ convexvert}]]

如果纸张的矩形轮廓不太明显，或者识别方法将其与其他形状混淆，可能会出现更多不同的情况。这些情况可能由于各种原因而发生，但常见原因是图像采集质量不佳。此时，可以尝试将预处理步骤与论文“基于窗口化霍夫变换的矩形检测”中描述的方法结合起来使用。

- mmgp

---

你的实现和上面（即@karlphilip的答案）有什么主要区别吗？很抱歉我在快速查看中没有发现任何区别（除了3通道-1通道和Mathematica-OpenCV）。 - Abid Rahman K

@AbidRahmanK 是的，有其他方法.. 我不使用Canny算法，也不会从“多个阈值”开始。还有其他区别，但从你的评论语气来看，似乎在我的评论上花费任何精力都是毫无意义的。 - mmgp

@AbidRahmanK 当然，概念是相同的，任务也是相同的。中值滤波正在使用，细化也正在使用，我不在乎他从哪里得到了几个阈值的想法--它在这里只是没有被使用（那么它怎么能不是一个区别呢？），图像在这里被调整大小，组件测量也不同。“一些膨胀-腐蚀”并不能产生二进制边缘，Otsu用于此。提到这一点是毫无意义的，代码已经在那里了。 - mmgp

谢谢。我明白了。概念是一样的。（我从未使用过Mathematica，所以无法理解代码。）你提到的差异确实存在，但并不构成不同的方法或重大差异。如果你还有其他问题，请告诉我。例如，看看这个： - Abid Rahman K

@AbidRahmanK 我不明白你想要指出什么。有些差异我认为是“足够大”的，否则我就不会费心发帖回答了。还有其他几个差异没有被指出，但代码已经在那里了（再次）。例如，我不依赖于像 approx.size() == 4 这样的检查，因为我认为这种检查在图像采集过程中产生微小变化或其他细节时很容易失败。每个步骤都是用不同的方法完成的，我希望这个更短、独立的代码能够更加健壮（但它也可能失败）。 - mmgp

Answer 3

好的，我迟到了。

---

在你的图像中，纸张是白色的，而背景是彩色的。因此，最好检测纸张在HSV颜色空间的饱和度通道。先参考维基HSL_and_HSV，然后我将从我的回答Detect Colored Segment in an image中复制大部分思路。

---

主要步骤:

1. 读入BGR
2. 将图像从bgr转换为hsv空间
3. 阈值化S通道
4. 然后找到最大外轮廓(或者使用Canny或HoughLines，我选择findContours)，近似得到边角。

---

这是我的结果：

---

Python代码(Python 3.5 + OpenCV 3.3):

#!/usr/bin/python3
# 2017.12.20 10:47:28 CST
# 2017.12.20 11:29:30 CST

import cv2
import numpy as np

##(1) read into  bgr-space
img = cv2.imread("test2.jpg")

##(2) convert to hsv-space, then split the channels
hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)
h,s,v = cv2.split(hsv)

##(3) threshold the S channel using adaptive method(`THRESH_OTSU`) or fixed thresh
th, threshed = cv2.threshold(s, 50, 255, cv2.THRESH_BINARY_INV)

##(4) find all the external contours on the threshed S
#_, cnts, _ = cv2.findContours(threshed, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = cv2.findContours(threshed, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)[-2]

canvas  = img.copy()
#cv2.drawContours(canvas, cnts, -1, (0,255,0), 1)

## sort and choose the largest contour
cnts = sorted(cnts, key = cv2.contourArea)
cnt = cnts[-1]

## approx the contour, so the get the corner points
arclen = cv2.arcLength(cnt, True)
approx = cv2.approxPolyDP(cnt, 0.02* arclen, True)
cv2.drawContours(canvas, [cnt], -1, (255,0,0), 1, cv2.LINE_AA)
cv2.drawContours(canvas, [approx], -1, (0, 0, 255), 1, cv2.LINE_AA)

## Ok, you can see the result as tag(6)
cv2.imwrite("detected.png", canvas)

---

相关回答：

1. 如何使用OpenCV检测图像中的彩色补丁？
2. 在有彩色背景的情况下使用OpenCV进行边缘检测
3. OpenCV C++/Obj-C：检测一张纸 / 检测正方形
4. 如何在不同版本的OpenCV中使用`cv2.findContours`？

- Kinght 金

---

我尝试使用S空间，但仍然无法成功。请参考此链接：https://stackoverflow.com/questions/50699893/scanning-a-document-by-using-opencv - hchouhan02

Answer 4

你需要的是一个四边形而不是旋转矩形。使用 RotatedRect 会得到不正确的结果。此外，你还需要透视投影。

基本上需要做的是：

- 循环遍历所有多边形线段并连接几乎相等的线段。 - 对它们进行排序，以便获得最长的4条线段。 - 相交这些线并找到最有可能的4个角点。 - 根据从角点和已知物体的纵横比例收集到的透视图转换矩阵。

我实现了一个类 Quadrangle，它负责将轮廓转换为四边形，并将其转换为正确的透视图。

在这里可以看到一个工作实现： Java OpenCV deskewing a contour

- Tim

Answer 5

一旦您检测到文档的边界框，您可以执行四点透视变换以获得图像的俯视鸟瞰图。这将修复倾斜并仅隔离所需对象。

---

输入图像：

检测到文本对象。

文本文件的俯视图

代码

from imutils.perspective import four_point_transform
import cv2
import numpy

# Load image, grayscale, Gaussian blur, Otsu's threshold
image = cv2.imread("1.png")
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
blur = cv2.GaussianBlur(gray, (7,7), 0)
thresh = cv2.threshold(blur, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)[1]

# Find contours and sort for largest contour
cnts = cv2.findContours(thresh, cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)
cnts = cnts[0] if len(cnts) == 2 else cnts[1]
cnts = sorted(cnts, key=cv2.contourArea, reverse=True)
displayCnt = None

for c in cnts:
    # Perform contour approximation
    peri = cv2.arcLength(c, True)
    approx = cv2.approxPolyDP(c, 0.02 * peri, True)
    if len(approx) == 4:
        displayCnt = approx
        break

# Obtain birds' eye view of image
warped = four_point_transform(image, displayCnt.reshape(4, 2))

cv2.imshow("thresh", thresh)
cv2.imshow("warped", warped)
cv2.imshow("image", image)
cv2.waitKey()

- nathancy

---

请问您能否提供上述代码的C++实现？ - Akash Chaudhary

这正是我所需要的！但我需要它用Objective-C编写。 - Olufsen

Answer 6

检测纸张已经有点老套了。如果你想解决倾斜检测问题，最好直接针对文本行进行检测。这样你就可以得到极值的左、右、上和下。如果你不需要图像中的任何图形，那么就丢弃它们，然后对文本行段进行一些统计，以找到最常出现的角度范围或角度。这就是你缩小到一个良好的倾斜角度的方法。现在，在此之后，你将把这些参数——倾斜角度和极值——放入去除倾斜和裁剪图像所需的程序中。

至于当前的图像要求，最好尝试使用CV_RETR_EXTERNAL而不是CV_RETR_LIST。

另一种检测边缘的方法是训练一个随机森林分类器来识别纸张边缘，然后使用分类器获取边缘地图。这是迄今为止一种强大的方法，但需要训练和时间。

随机森林适用于低对比度差异场景，例如白色纸张在粗略的白色背景上。

- Anubhav Rohatgi