OpenCV的视差图

Question

我正在尝试制作视差图。我看到了opencv提供的示例代码“stereo_match.cpp”，并编写了以下代码。但是，当我在经过校正和重映射后显示左右图像时，图像变成了黑色。有人能告诉我我错在哪里吗？

int main(int argc, char* argv[])
{
    Mat img1, img2, g1, g2;
    Mat disp, disp8;
    char* method ="SGBM";
    float scale = 1.f; // don't know why
    //img1 = imread(argv[1]);
    //img2 = imread(argv[2]);
    img1=imread("l1.jpg");
    img2=imread("r1.jpg");
    cvtColor(img1, g1, CV_BGR2GRAY);
    cvtColor(img2, g2, CV_BGR2GRAY);
    Size img_size = img1.size();
    Rect roi1, roi2;
    Mat Q;

    /*reading parameters of ectrinssic & intrinssic file*/
    const char* intrinsic_filename="intrinsics";
    Mat img1r, img2r;
    if( intrinsic_filename )
    {
        FileStorage fs("intrinsics.yml", cv::FileStorage::READ);
        if(!fs.isOpened())
        {
            printf("Failed to open file %s\n");
            return -1;
        }

        Mat M1, D1, M2, D2;
        fs["M1"] >> M1;
        fs["D1"] >> D1;
        fs["M2"] >> M2;
        fs["D2"] >> D2;

        M1 *= scale;
        M2 *= scale;

        fs.open("extrinsics.yml", cv::FileStorage::READ);
        if(!fs.isOpened())
        {
            printf("Failed to open file %s\n");
            return -1;
        }

        Mat R, T, R1, P1, R2, P2;
        fs["R"] >> R;
        fs["T"] >> T;
        stereoRectify( M1, D1, M2, D2, img_size, R, T, R1, R2, P1, P2, Q, CALIB_ZERO_DISPARITY, -1, img_size, &roi1, &roi2 );

        Mat map11, map12, map21, map22;
        initUndistortRectifyMap(M1, D1, R1, P1, img_size, CV_16SC2, map11, map12);
        initUndistortRectifyMap(M2, D2, R2, P2, img_size, CV_16SC2, map21, map22);


        remap(img1, img1r, map11, map12, INTER_LINEAR);
        remap(img2, img2r, map21, map22, INTER_LINEAR);


        //  img1 = img1r;
        // img2 = img2r;

        imshow("left1", img1r);
        imshow("left2", img2r); 

    }
}

} ![原始左侧图像][3]

（注意：本文中的图片链接可能无法在中国访问）

- MMH

Answer 1

OpenCV 生成的视差图在 8 位显示器上的对比度较低，需要重新映射图像范围以增加对比度。

为了改进这个答案，以下是我在 Python 中使用的代码：

disp = cv2.normalize(sgbm.compute(ri_l, ri_r), alpha=0, beta=255, \
    norm_type=cv2.NORM_MINMAX, dtype=cv2.CV_8U)

sgmb.compute() 是生成视差图的函数。

- Jon Watte

Answer 2

你在以下代码中没有交换 cvtColor(...) 的输入/输出参数：

cvtColor(img1, g1, CV_BGR2GRAY);
cvtColor(img2, g2, CV_BGR2GRAY);

g1和g2似乎是输入图像的灰度版本，但在接下来的代码中从未被使用。 为什么不尝试反过来呢？：

g1=imread("l1.jpg");
g2=imread("r1.jpg");
cvtColor(g1, img1, CV_BGR2GRAY);
cvtColor(g2, img2, CV_BGR2GRAY);

- iriusf

---

谢谢你的回答。但是这并没有产生任何变化。输出仍然相同 :( - MMH

Answer 3

如果重新映射后只生成了灰度图像，那么这意味着您的内部/外部值有误。

您需要返回到校准阶段，重新进行操作，直到从stereoCalibrate获得小于1的误差为止。

- berak