使用OpenCV进行多颜色物体检测

Question

我试图检测下面图片中两堵白墙的红色顶部和白色“柱子”上的位置：

我的方法是进行阈值处理以找到红色墙壁，现在我可以轻松地从此输出中检测出来：

现在我的问题是检测白色正方形的位置，但考虑到白色墙壁，这更加困难。如果我基于白色进行阈值处理，我仍然保留了白色正方形柱子之间不需要的白色墙壁。

任何帮助都将不胜感激。

- salgarcia

---

白色在红色中间，对吧？那就找那个。搜索红色之间的白色。或者搜索红色之间的空隙并检查是否为白色。 - Ander Biguri

@AnderBiguri 听起来差不多，我还不知道如何在OpenCV中实现它。 - salgarcia

你分享的阈值图像不是处理输入图像的结果。它们不匹配 :) - karlphillip

@karlphillip 对不起，我正在使用手持相机，当我更改代码以显示红色阈值图像时，它移动了。让我看看能否将其居中。 - salgarcia

@salgarcia 我用C++编写了一个愚蠢的想法，以帮助你开始真正的解决方案。欢迎所有赞 :) - karlphillip

Answer 1

一种方法是使用cv::inRange()函数对输入图像进行阈值处理:

cv::Mat image = cv::imread(argv[1]);
if (image.empty())
{
    std::cout << "!!! Failed imread()" << std::endl;
    return -1;
}

cv::Mat red_image;
cv::inRange(image, cv::Scalar(40, 0, 180), cv::Scalar(135, 110, 255), red_image);
//cv::imwrite("out1.png", red_image);

输出:

我们可以使用 cv::findContours 来检索阈值图像的轮廓，以便能够为它们创建边界框，这是一种在此处描述的技术。

std::vector<std::vector<cv::Point> > contours;
std::vector<cv::Vec4i> hierarchy;
cv::findContours( red_image, 
                  contours, 
                  hierarchy, 
                  CV_RETR_TREE, 
                  CV_CHAIN_APPROX_SIMPLE, 
                  cv::Point(0, 0) );

std::vector<std::vector<cv::Point> > contours_poly( contours.size() );
std::vector<cv::Rect> boundRect( contours.size() );
for( int i = 0; i < contours.size(); i++ )
    { 
        cv::approxPolyDP( cv::Mat(contours[i]), contours_poly[i], 3, true );
        boundRect[i] = cv::boundingRect( cv::Mat(contours_poly[i]) );
    }   


// Debug purposes: draw bonding rects
//cv::Mat tmp = cv::Mat::zeros( red_image.size(), CV_8UC3 );
//for( int i = 0; i< contours.size(); i++ )
//  rectangle( tmp, boundRect[i].tl(), boundRect[i].br(), cv::Scalar(0, 255, 0), 2, 8, 0 );
//cv::imwrite("out2.png", tmp);  

输出:

上图中展示的所有矩形都以 boundRect 向量中的 cv::Rect 对象的形式存储。每个 矩形 都由2个相反的 cv::Point 对象组成，因此我们迭代该向量以创建一个仅由 cv::Point 对象组成的新向量：

// Two opposite cv::Point can be used to draw a rectangle.
// Iterate on the cv::Rect vector and retrieve all cv::Point 
// and store them in a cv::Point vector.
std::vector<cv::Point> rect_points; 
for( int i = 0; i < contours.size(); i++ )
{
    rect_points.push_back(boundRect[i].tl());
    rect_points.push_back(boundRect[i].br());
}

//cv::Mat drawing = cv::Mat::zeros( red_image.size(), CV_8UC3 );
cv::Mat drawing = image.clone();

寻找白色方块的逻辑是：假设距离在25x25以内的两个像素定义了一个白色方块：

// Draw a rectangle when 2 points are less than 25x25 pixels of 
// distance from each other
for( int i = 0; i < rect_points.size(); i++ )
{
    for( int j = 0; j < rect_points.size(); j++ )
    {
        if (i == j) 
            continue;

        int x_distance = (rect_points[i].x - rect_points[j].x);
        if (x_distance < 0) 
            x_distance *= -1;

        int y_distance = (rect_points[i].y - rect_points[j].y);
        if (y_distance < 0) 
            y_distance *= -1;

        if ( (x_distance < 25) && (y_distance < 25) )
        {
            std::cout << "Drawing rectangle " << i << " from " 
                      << rect_points[i] << " to " << rect_points[j] 
                      << " distance: " << x_distance << "x" << y_distance << std::endl;

            cv::rectangle( drawing, 
                           rect_points[i], 
                           rect_points[j], 
                           cv::Scalar(255, 50, 0), 
                           2 );
            break;
        }
    }

}

    //cv::imwrite("out3.png", drawing);
cv::imshow("white rectangles", drawing);    
cv::waitKey();

输出:

该算法比较基础，因为下方没有红色的墙壁，只有上方的墙壁，所以错过了底部的2个白色正方形。

因此，我把改进这种方法的任务交给你 :)

祝你好运。

- karlphillip

Answer 2

在场景中，所有重要的信息似乎都在提取的红色条形图像的二值化图片中。在这一步骤中，我会尝试忽略原始图片，仅使用矩形的几何形状来找到它们之间的区域。

例如，您可以调用findContours 来获取示例图片中的8个斑点。如果您检查它们质心之间的连线上的点，则返回给pointPolygonTest的最小值的点是一个白色斑点的中心点（或者至少很接近）。

您可以利用已知的场景信息和将遇到的图像。例如，您可以将轮廓分组为“左”和“右”条，并仅在特定轮廓之间进行线搜索。但是，如果您需要更加不可知的输入，则从阈值处理后的图片中推导出几乎所有内容（场景方向、墙壁数量、矩形厚度等）应该是完全可能的。

- FvD