logo标签列表

如何在Python中反转光标移动方向？

pythonwindowsopencvpyautogui
14

这段代码使用的是Python 2.7.13、OpenCV 2.4.13和PyAutoGUI 0.9.36版本。其目的是根据面部运动来移动光标，但光标移动是相反的。例如，如果我的脸向右移动，光标会向左移动，如果我的脸向左移动，则光标会向右移动。我还希望光标在PC屏幕上整个区域内右移、左移、上移和下移。我的PC屏幕大小为x=1920，y=1080。

此程序的目的是展示获取更多独立性和访问能力的新方法，从而使四肢瘫痪的人能够进行一些简单的活动，这些活动是数百万人日常生活中的一部分，如开关灯和开关电视。

import cv2
import pyautogui

faceCascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')

video_capture = cv2.VideoCapture(0)

while True:
    # Capture frame-by-frame
    ret, frame = video_capture.read()

    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    faces = faceCascade.detectMultiScale(
        gray,
        scaleFactor=1.3,
        minNeighbors=5,
        minSize=(80, 80),
        flags=cv2.cv.CV_HAAR_SCALE_IMAGE
    )

    #print 'faces: ', faces

    # Draw a rectangle around the faces
    for (x, y, w, h) in faces:
        cv2.rectangle(frame, (x, y), (x+w, y+h), (0, 0, 255), 3)

    #width, height = pyautogui.size()
    #cursorx, cursory = pyautogui.position()
    #posx = width - cursorx
    #posy = cursory
    pyautogui.moveTo(x+w, y+h)

    # Display the resulting frame
    #cv2.imshow('Video', frame)
    rimg = cv2.flip(frame,1) #invert the object frame
    cv2.imshow("vertical flip", rimg) 

    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
# When everything is done, release the capture
video_capture.release()
cv2.destroyAllWindows()
如果您在获取帧后立即反转它，而不是仅仅为了显示而进行rimg操作，会发生什么？另外，如果将帧调整为屏幕大小，是否可以解决其他问题？ - Arash Rohani
还有一件事情可以做。虽然我认为在检测人脸之前仍需要翻转图像，但您不需要调整其大小（即使使用调整大小也无法到达屏幕的边缘）。您可以检测人脸是否在帧的中心区域，如果不是，则相应地移动光标（每x毫秒）。如果人脸离中心区域更远，则使鼠标向该方向移动得更快，如果更近则移动得更慢。如果接近中心位置，则停止鼠标移动。 - Arash Rohani
首先，您能够明确头部运动或面部表情（眉毛、眼睛等）的运动吗？我建议在程序中排除头部运动，以避免突然的绕行、加速、扭曲和下降运动过度刺激内耳（身体的陀螺仪）。您能否生成鼠标跟踪数据？只需在移动鼠标时打印出X、Y坐标，并编辑您的帖子即可。 - Danilo
3个回答
4

你正在做一件好事。

如果只想修复鼠标移动，您可以从屏幕尺寸中减去x、y运动。但是，使用pyautogui.moveTo(x,y) 将其跨越整个屏幕会非常不精确和嘈杂。相反，为了更平滑，您可以使用

pyautogui.moveRel(None, steps)

话虽如此，如果您首先使用面部级联，将非常难以通过相应的鼠标运动移动面部。我认为使用面部方向，如向左或向右倾斜，会更好。

在下面的代码中，我使用了眼睛级联进行左右运动。因此，稍微倾斜一下脸就足够了。我使用的是OpenCV 3.2，因此如果需要，请根据您的版本进行必要的更改。

代码

import numpy as np
import cv2
import pyautogui

right = cv2.CascadeClassifier('haarcascade_righteye_2splits.xml')
left = cv2.CascadeClassifier('haarcascade_lefteye_2splits.xml')
smile = cv2.CascadeClassifier('haarcascade_smile.xml')

cam=cv2.VideoCapture(0)

blank=np.zeros((480,848,3),dtype=np.uint8)  # Change this correctly to size of your image frame
fix=0 

print "press y to set reference box for y motion" #set a reference initially for y motion

while(cam.isOpened()):


        ret,img = cam.read()
        r=0
        l=0
        gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
        r_eye= right.detectMultiScale(gray, 1.9, 9)
        l_eye= left.detectMultiScale(gray, 1.9, 9)  #Change these values according to face distance from screen

        for (rx,ry,rw,rh) in r_eye:
                cv2.rectangle(img,(rx,ry),(rx+rw,ry+rh),(255,255,0),2)
                r_c=(rx+rw/2,ry+rh/2)
                r=1

        for (lx,ly,lw,lh) in l_eye:          
                cv2.rectangle(img,(lx,ly),(lx+lw,ly+lh),(0,255,255),2)
                l_c=(lx+lw/2,ly+lh/2)
                l=1

        if(r*l):

            if(l_c[0]-r_c[0]>50):
                cv2.line(img,r_c,l_c,(0,0,255),4)
                mid=((r_c[0]+l_c[0])/2,(r_c[1]+l_c[1])/2)
                cv2.circle(img,mid,2,(85,25,100),2)
                if(fix==1):                        # Change this part of code according to what you want
                                                   # for motion along y direction
                    if( mid[1]<one[1]):
                        pyautogui.moveRel(None, -15)
                    if(mid[1]>two[1]):
                        pyautogui.moveRel(None, 15)

                if(cv2.waitKey(1))== ord('y'):
                        blank=np.zeros_like(img)
                        one=(mid[0]-60,r_c[1]-7)   # Change the Value 60,7 to change box dimentions
                        two=(mid[0]+60,l_c[1]+7)   # Change the Value 60,7 to change box dimentions
                        cv2.rectangle(blank,one,two,(50,95,100),2)
                        fix=1


        elif(r) :   pyautogui.moveRel(-30, None)   # Change the Value and Sign to change speed and direction

        elif (l):   pyautogui.moveRel(30, None)    # Change the Value and Sign to change speed and direction



        img=cv2.bitwise_or(img,blank)
        cv2.imshow('img',img)
        if(cv2.waitKey(1))==27:break

cv2.destroyAllWindows()

在代码中，您需要按y键设置一个框来参考y轴运动。在框外，使用双眼将进行运动。
我们可以添加一个鼠标点击的微笑级联，但目前这有点不准确且缓慢。需要找到更好的选项，如眼睛点击或其他方式。
这是一个非常基本的代码，可以使事情工作。为面部表情标记神经网络可能会更好，但速度仍然是一个因素。
2

如果您知道屏幕尺寸，只需将现有的内容从屏幕尺寸中减去，即可将光标移到相反的一侧。例如：

pyautogui.moveTo(1920 - (x+w), 1080 - (y+h))

如果 x+w 让你的屏幕位置为2（在屏幕左侧），现在它会让你的屏幕位置变成1918（在屏幕右侧）。
0

对于垂直方向，只需将您的坐标乘以-1即可 inverse_y = current_y * -1

对于水平方向，您必须知道屏幕的宽度，然后执行以下操作inverse_x = width - current_x

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文，
原文链接