Python GIL和线程

Question

Python GIL和线程

6

我已将Python3嵌入到我的大型C++应用程序中。Python为用户提供了自定义数据处理的脚本功能。问题：我有许多与Python交互的线程，但我不知道如何使用GIL来保护我的代码。到目前为止，我唯一使我的代码工作的方法是使用boost::mutex。

这里有一个非常简化的示例，重现了我的问题：

线程A首先调用Init()来初始化Python（静态函数）。
线程B调用Pythonize()在Python上执行一些操作。线程B在第一次尝试锁定GIL时被阻塞。

代码：

#include <iostream>
#include <boost/thread.hpp>
#include <boost/bind.hpp>

#include "Python.h"

struct RTMaps_GILLock
{
    RTMaps_GILLock()
    {
        std::cout << "Locking..." << std::endl;
        m_state = PyGILState_Ensure();
    }

    ~RTMaps_GILLock()
    {
        std::cout << "Unlocking..." << std::endl;
        PyGILState_Release(m_state);
    }

private:
    PyGILState_STATE m_state;
};
#define GILLOCK RTMaps_GILLock lock;

class PythonEmbed
{
public:
    static void Init()
    {
        Py_Initialize();
        // EDIT : adding those two lines made my day :
        PyEval_InitThreads(); // This acquires GIL
        PyEval_SaveThread(); // Release the GIL
    }

    void Pythonize()
    {
        GILLOCK;
        // Never goes here :(
        std::cout << "OK" << std::endl;
    }
};

int main()
{
    PythonEmbed::Init();

    PythonEmbed pyt;
    boost::thread t(boost::bind(&PythonEmbed::Pythonize, pyt));

    t.join();
}

在第一个锁调用中出现死锁。控制台显示：正在锁定...

“OK”从未被打印。我做错了什么？

编辑：已更正代码，现在它可以工作了。我需要从主线程释放GIL。

- poukill

这些是唯一涉及的线程吗？通常情况下，当Python调用C时，GIL已经被获取。你是否可能在某个地方有另一个线程在C内部阻塞，而没有明确获取GIL？ - Kevin

@Kevin 是的。顺便说一下，Python没有调用C的机会。除非我死锁，否则我只有在线程A中初始化Python，当线程B到达并进行一些工作时，它会被卡在第一个锁上。实际上，线程A不会再触碰Python了，有什么办法吗？我已经读了1000遍文档，我正在做的应该是可以的...已经开始讨厌GIL了。 - poukill

@Kevin，我重写了我的帖子，展示了每个人都可以编译和测试的完整示例。但是这个示例失败了。 - poukill

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Leonardo Bernardini · Accepted Answer

我曾经遇到过你的问题，一定不要从主线程调用PyGILState_Ensure()，因为它需要一个完全不同的调用。我最终设置了一个线程映射器，并且每次调用acquirePython()时都会检查是哪个线程在调用它，如果是主线程，则使用：

PyEval_SaveThread();

否则，它会存储GIL。以下是我的类的相关部分：

void MManager::acquirePython(void) {
    MThread thisThread = MFramework::MProcesses::GetCurrentThread();
    if (thisThread != mainThread) {
        Lock();
        std::map<MThread,void*>::iterator i = threadStates.find(thisThread);
        if (i == threadStates.end()) {
            Unlock();
            PyGILState_STATE gstate = PyGILState_Ensure();
            _PyGILState_STATE_* encState = new _PyGILState_STATE_;
            encState->state = gstate;
            encState->refCount = 1;
            Lock();
            threadStates[thisThread] = encState;
            Unlock();
        } else {
            _PyGILState_STATE_* encState = (_PyGILState_STATE_*)i->second;
            encState->refCount = encState->refCount + 1;
            Unlock();
        }

    } else {
        if (mainThreadState) PyEval_RestoreThread((PyThreadState*)mainThreadState);
    }

}

void MManager::releasePython(void) {
    MThread thisThread = MFramework::MProcesses::GetCurrentThread();
    if (thisThread != mainThread) {
        Lock();
        std::map<MThread,void*>::iterator i = threadStates.find(thisThread);
        if (i != threadStates.end()) {
            _PyGILState_STATE_* encState = (_PyGILState_STATE_*)i->second;
            if (encState->refCount <= 1) {
                threadStates.erase(i);
                Unlock();

                PyGILState_Release(encState->state);
                delete encState;
            } else {
                encState->refCount = encState->refCount - 1;
                Unlock();
            }
        } else {
            Unlock();
        }

    } else {
        mainThreadState = PyEval_SaveThread();
    }
}