Python OpenCV：检测运动的大致方向？

Question

我正在编写一本书的扫描脚本，目前我需要的只是能够自动检测翻页。由于使用了一个不太好的网络摄像头进行运动检测，所以书占据了屏幕的90％，因此当我翻页时，运动方向基本上是相同的。

我修改了一个运动跟踪脚本，但派生版本并没有帮助到我：

#!/usr/bin/env python

import cv, numpy

class Target:
    def __init__(self):
        self.capture = cv.CaptureFromCAM(0)
        cv.NamedWindow("Target", 1)

    def run(self):
        # Capture first frame to get size
        frame = cv.QueryFrame(self.capture)
        frame_size = cv.GetSize(frame)
        grey_image = cv.CreateImage(cv.GetSize(frame), cv.IPL_DEPTH_8U, 1)
        moving_average = cv.CreateImage(cv.GetSize(frame), cv.IPL_DEPTH_32F, 3)
        difference = None
        movement = []

        while True:
            # Capture frame from webcam
            color_image = cv.QueryFrame(self.capture)

            # Smooth to get rid of false positives
            cv.Smooth(color_image, color_image, cv.CV_GAUSSIAN, 3, 0)

            if not difference:
                # Initialize
                difference = cv.CloneImage(color_image)
                temp = cv.CloneImage(color_image)
                cv.ConvertScale(color_image, moving_average, 1.0, 0.0)
            else:
                cv.RunningAvg(color_image, moving_average, 0.020, None)

            # Convert the scale of the moving average.
            cv.ConvertScale(moving_average, temp, 1.0, 0.0)

            # Minus the current frame from the moving average.
            cv.AbsDiff(color_image, temp, difference)

            # Convert the image to grayscale.
            cv.CvtColor(difference, grey_image, cv.CV_RGB2GRAY)

            # Convert the image to black and white.
            cv.Threshold(grey_image, grey_image, 70, 255, cv.CV_THRESH_BINARY)

            # Dilate and erode to get object blobs
            cv.Dilate(grey_image, grey_image, None, 18)
            cv.Erode(grey_image, grey_image, None, 10)

            # Calculate movements
            storage = cv.CreateMemStorage(0)
            contour = cv.FindContours(grey_image, storage, cv.CV_RETR_CCOMP, cv.CV_CHAIN_APPROX_SIMPLE)
            points = []

            while contour:
                # Draw rectangles
                bound_rect = cv.BoundingRect(list(contour))
                contour = contour.h_next()

                pt1 = (bound_rect[0], bound_rect[1])
                pt2 = (bound_rect[0] + bound_rect[2], bound_rect[1] + bound_rect[3])
                points.append(pt1)
                points.append(pt2)
                cv.Rectangle(color_image, pt1, pt2, cv.CV_RGB(255,0,0), 1)

            num_points = len(points)

            if num_points:
                x = 0
                for point in points:
                    x += point[0]
                x /= num_points

                movement.append(x)

            if len(movement) > 0 and numpy.average(numpy.diff(movement[-30:-1])) > 0:
              print 'Left'
            else:
              print 'Right'

            # Display frame to user
            cv.ShowImage("Target", color_image)

            # Listen for ESC or ENTER key
            c = cv.WaitKey(7) % 0x100
            if c == 27 or c == 10:
                break

if __name__=="__main__":
    t = Target()
    t.run()

它检测所有框的平均中心的平均运动，这是极其低效的。我该如何快速准确地检测这些运动（即在阈值内）？

我正在使用Python，并计划继续使用它，因为我的整个框架都基于Python。

感谢您的帮助，提前致谢。干杯。

- Blender

---

你真的需要运动跟踪吗？为什么不只是检测一些阈值上的变化呢？（例如 sum(abs(img2 - img1)) > threshold） - Joe Kington

嗯，我会调整一下。但是我怎么知道页面是向前翻还是向后翻，甚至更糟的是，翻了一半然后又回来了。我会玩一下图表，因为那是我的工作方式。谢谢！ - Blender

啊，没错，我只是假设你需要知道页面已经翻转了...... 如果你需要知道方向，我上面的评论显然不是一个好选择！ - Joe Kington

您似乎知道你在说什么。不知道您是否了解如何使用cv.CalcOpticalFlowLK()？我已经使它正常运行，但它给我的结果完全是不能用的（就像您提到的阈值方法的减速版本）。 - Blender

Answer 1

我之前没有在Python中使用过OpenCV，只是在openframeworks中用过C++。

对于这个问题，我认为可以使用OpticalFlow的velx和vely属性。

如果想了解更多有关Optical Flow的信息，请查看这篇论文。

希望对你有所帮助。

- George Profenza

---

哦！看起来很不错。我一定会去看看的，因为这似乎是我正在寻找的东西。 - Blender

我明白了，但是我弄不清楚发生了什么。velx 的值在波动，但是它的正负方向是随机的。你有什么东西可以让我参考吗？这似乎是我可以使用的东西，但是我就是搞不明白怎么用... - Blender

有点晚了，但我修改了一个OpenCV Python绑定的演示包以满足我的需求。谢谢！ - Blender

@Blender - 我正在尝试做你想要的事情，你介意分享一下你的代码吗？如果不行，你能否指引我使用的演示包的方向？这真的会让我的一天 :-) - kramer65

@kramer65：不幸的是，我不认为我还保留着那段代码。我只是修改了 opt_flow.py 演示脚本，并为 x 和 y 方向设置了一个阈值。它的效果并不如我所希望的那样好。 - Blender

Answer 2

为什么不使用cv.GoodFeaturesToTrack？它可以解决脚本运行时间问题...并且缩短代码...

- Conex