OpenCV/Javacv：如何迭代轮廓以进行形状识别？

Question

我正在使用JavaCV开发一个图形识别项目，我找到了一些用于在特定图像中识别U形状的OpenCV代码。我尝试将其转换为JavaCV，但输出结果不同。您能否帮我将这段OpenCV代码转换为JavaCV？

以下是OpenCV代码：

import cv2
import numpy as np

img = cv2.imread('sofud.jpg')
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
ret,thresh = cv2.threshold(gray,127,255,1)
contours,hierarchy = cv2.findContours(thresh,cv2.RETR_LIST,cv2.CHAIN_APPROX_SIMPLE)

for cnt in contours:
    x,y,w,h = cv2.boundingRect(cnt)
    if 10 < w/float(h) or w/float(h) < 0.1:
        cv2.rectangle(img,(x,y),(x+w,y+h),(0,0,255),2)

cv2.imshow('res',img)
cv2.waitKey(0)
cv2.destroyAllWindows()

以下是预期输出结果：

以下是转换后的代码：

import com.googlecode.javacpp.Loader;
import com.googlecode.javacv.CanvasFrame;
import static com.googlecode.javacpp.Loader.*;
import static com.googlecode.javacv.cpp.opencv_core.*;
import static com.googlecode.javacv.cpp.opencv_imgproc.*;
import static com.googlecode.javacv.cpp.opencv_highgui.*;
import java.io.File;
import javax.swing.JFileChooser;

public class TestBeam {
    public static void main(String[] args) {
        CvMemStorage storage=CvMemStorage.create();
        CvSeq squares = new CvContour();
        squares = cvCreateSeq(0, sizeof(CvContour.class), sizeof(CvSeq.class), storage);
        JFileChooser f=new JFileChooser();
        int result=f.showOpenDialog(f);//show dialog box to choose files
            File myfile=null;
            String path="";
        if(result==0){
            myfile=f.getSelectedFile();//selected file taken to myfile
            path=myfile.getAbsolutePath();//get the path of the file
        }
        IplImage src = cvLoadImage(path);//hear path is actual path to image
        IplImage grayImage    = IplImage.create(src.width(), src.height(), IPL_DEPTH_8U, 1);
        cvCvtColor(src, grayImage, CV_RGB2GRAY);
        cvThreshold(grayImage, grayImage, 127, 255, CV_THRESH_BINARY);
        CvSeq cvSeq=new CvSeq();
        CvMemStorage memory=CvMemStorage.create();
        cvFindContours(grayImage, memory, cvSeq, Loader.sizeof(CvContour.class), CV_RETR_CCOMP, CV_CHAIN_APPROX_SIMPLE);
        System.out.println(cvSeq.total());
        for (int i = 0; i < cvSeq.total(); i++) {
            CvRect rect=cvBoundingRect(cvSeq, i);
            int x=rect.x(),y=rect.y(),h=rect.height(),w=rect.width();
            if (10 < (w/h) || (w/h) < 0.1){
                cvRectangle(src, cvPoint(x, y), cvPoint(x+w, y+h), CvScalar.RED, 1, CV_AA, 0);
                //cvSeqPush(squares, rect);
            }
        }
        CanvasFrame cnvs=new CanvasFrame("Beam");
        cnvs.setDefaultCloseOperation(javax.swing.JFrame.EXIT_ON_CLOSE);
        cnvs.showImage(src);
        //cvShowImage("Final ", src);

    }
}

这是我得到的输出结果。请问有人能帮我解决这个问题吗？

- Gum Slashy

---

我没有看到任何C++，所以我删除了标签。我假设第一个例子是Python。 - Jesse Good

我有一个关于这个问题的小问题。请问在执行“cvFindContours()”方法后，“cvSeq.total()”方法的值是什么意思？ - user1465195

Answer 1

编辑：这里是最有趣的发现 - 我认为您没有正确地遍历轮廓 - 您应该执行以下操作：

CvRect rect = cvBoundingRect(cvGetSeqElem(cvSeq, i),0); //python default?

或者：

// ... 
CvSeq contours = new CvSeq();
CvSeq ptr = new CvSeq();
CvRect rect = null;
// ...
cvFindContours(..., contours, ...);

for (ptr = contours; ptr != null; ptr = ptr.h_next()) {
    rect =  cvBoundingRect(ptr, 0);
    // ... Draw the box if meets criteria
}

首先，我认为pst在计算比例时是正确的 - 你需要将宽度转换为浮点数。

其次，我看到当你在python中制作灰色图像时，你使用了COLOR_BGR2GRAY，在java中你使用了CV_RGB2GRAY，这可能会导致完全不同的灰色图片。我建议在两个程序中添加一些调试步骤以保存临时的灰色图像，并将它们进行比较，同时打印出当(10 < (w/h) || (w/h) < 0.1)为真时的x、y、w和h的值。

另外一件事是，在java解决方案中，你使用CV_RETR_CCOMP获取轮廓，在python解决方案中，你使用CV_RETR_LIST。根据文档：

"CV_RETR_LIST检索所有轮廓而不建立任何层次关系CV_RETR_CCOMP检索所有轮廓并将它们组织成两级层次结构：在顶层是组件的外部边界，在第二级是孔的边界。如果在连接组件的孔中有另一个轮廓，则仍将其放在顶层"

所以首先我会仔细检查两个程序中所有cv的参数是否相同，然后我会添加调试步骤以查看中间变量包含相同的数据。

- zenpoy

---

在javacv的cvBoundingRect()中，我们不能将指针作为参数传递，因为它需要CvArr，所以我认为这不可能是问题的原因。 - Gum Slashy

@GumSlashy - 请看我的编辑。根据javacv的README（http://code.google.com/p/javacv/source/browse/README.txt），这是迭代轮廓的正确方法。我还在SO上找到了这个问题https://dev59.com/_GHVa4cB1Zd3GeqPmWII，它使用相同的方法获取轮廓并绘制其边界框。 - zenpoy

我尝试将cvBoundingRect(cvGetSeqElem(cvSeq, i),0);放入问题中，但它对我没有起作用，而且我已经提供了我得到正确结果的答案。无论如何，非常感谢您的回复。 - Gum Slashy

@GumSlashy - 我建议你尝试使用 h_next() 进行迭代（并且我还草图了如何使用它的方式），我也在评论中发布了链接，展示了如何完整地使用它的示例。 - zenpoy

Answer 2

请检查您的类型转换，例如：

if (10 < (w/h) || (w/h) < 0.1){

这里的代码存在着极大的问题。要进行浮点数除法，至少有一个操作数必须是float（对于双精度除法同理，必须至少有一个操作数是double）。否则，就像在这个例子中一样，它将变成整数除法。（请注意，原始代码也进行了float提升。）

例如：

 float ratio = (float)w/h; // (float / int) => (float / float) -> float
 if (10 < ratio || ratio < 0.1 ) { 

（虽然我不确定这是否是关键问题。）

编码愉快！

- user166390

---

感谢您的快速回复，我尝试了您的建议，但结果相同。 - Gum Slashy

我认为更新您的代码以反映更改会有所帮助。也许还有一个整数除法？ - Noremac

我已经放置了答案，而且我还尝试将w/h转换为浮点值，但它并没有产生显著的效果。但是确实可能在其他情况下产生显著影响。非常感谢您的回复。 - Gum Slashy

Answer 3

这段代码对我有效，我只是将cvSeq=cvSeq.h_next();行放入程序中，并删除了for循环，添加了while循环。

    package Beam;
    import com.googlecode.javacpp.Loader;
    import com.googlecode.javacv.CanvasFrame;
    import static com.googlecode.javacpp.Loader.*;
    import static com.googlecode.javacv.cpp.opencv_core.*;
    import static com.googlecode.javacv.cpp.opencv_imgproc.*;
    import static com.googlecode.javacv.cpp.opencv_highgui.*;
    import java.io.File;
    import javax.swing.JFileChooser;

    public class TestBeam2 {
        public static void main(String[] args) {
            JFileChooser f=new JFileChooser();
            int result=f.showOpenDialog(f);//show dialog box to choose files
                File myfile=null;
                String path="";
            if(result==0){
                myfile=f.getSelectedFile();//selected file taken to myfile
                path=myfile.getAbsolutePath();//get the path of the file
            }
            IplImage src = cvLoadImage(path);//hear path is actual path to image
            IplImage grayImage    = IplImage.create(src.width(), src.height(), IPL_DEPTH_8U, 1);
            cvCvtColor(src, grayImage, CV_RGB2GRAY);
            cvThreshold(grayImage, grayImage, 127, 255, CV_THRESH_BINARY);
            CvSeq cvSeq=new CvSeq();
            CvMemStorage memory=CvMemStorage.create();
            cvFindContours(grayImage, memory, cvSeq, Loader.sizeof(CvContour.class), CV_RETR_LIST, CV_CHAIN_APPROX_SIMPLE);

            while (cvSeq != null && !cvSeq.isNull()) {
                CvRect rect=cvBoundingRect(cvSeq, 0);
                int x=rect.x(),y=rect.y(),h=rect.height(),w=rect.width();
                if (10 < w/h || w/h < 0.1){
                    cvRectangle(src, cvPoint(x, y), cvPoint(x+w, y+h), CvScalar.RED, 1, CV_AA, 0);
                }
                cvSeq=cvSeq.h_next();
            }
            CanvasFrame cnvs=new CanvasFrame("Beam");
            cnvs.setDefaultCloseOperation(javax.swing.JFrame.EXIT_ON_CLOSE);
            cnvs.showImage(src);
            //cvShowImage("Final ", src);
        }
    }

- Gum Slashy

---

这正是我几天前建议的方法 - 很遗憾你没有尝试它：`// ... CvSeq轮廓=新的CvSeq(); CvSeq指针=新的CvSeq(); CvRect矩形=null; // ... cvFindContours(...,轮廓,...);for(指针=轮廓;指针!=null;指针=指针.h_next()){ 矩形=cvBoundingRect(指针,0); // ... 如果符合条件，则绘制框 }` - zenpoy