我遇到了一个问题,就是在Python中创建指向mmap后无法正确关闭它们。我的使用情况是打开文件(通常是UIO设备以便操作硬件,但是这个问题也会出现在普通文件上),将它们映射到内存并将其用作ctypes结构的缓冲区。通常是数据结构体或数据数组。最小化的示例代码如下:
import ctypes as ct
import mmap
import os
fileno = os.open('/tmp/testfile', os.O_RDWR | os.O_SYNC)
map = mmap.mmap(fileno, 32768, flags=mmap.MAP_SHARED)
memory = (ct.c_uint32 * 8192).from_buffer(map)
# Use the memory object to do things here
del memory
map.close()
os.close(fileno)
目前为止一切都很顺利。
但是,有时我需要调用一些需要访问该内存的C库函数,因此我必须向它们传递一个指针。我使用以下方式创建该指针:
ptr = ct.cast(memory, ct.c_void_p)
所有这一切都非常好,只有一个问题。一旦我创建这样一个指针,我就不能再关闭内存映射。看下这个稍微扩展的例子:
import ctypes as ct
import mmap
import os
fileno = os.open('/tmp/testfile', os.O_RDWR | os.O_SYNC)
map = mmap.mmap(fileno, 32768, flags=mmap.MAP_SHARED)
memory = (ct.c_uint32 * 8192).from_buffer(map)
# Use the memory object to do things here
ptr = ct.cast(memory, ct.c_void_p)
del ptr
del memory
map.close()
os.close(fileno)
运行此代码将导致以下异常:
Traceback (most recent call last):
File "pointer_test.py", line 14, in <module>
map.close()
BufferError: cannot close exported pointers exist
Process finished with exit code 1
我已经运行了一些分析(使用gc.get_referrers),查看引用map
实例的内容,发现还存在一个memoryview
实例。最终追踪到ctypes数组:
[<__main__.c_uint_Array_8192 object at 0x7f954bd1e0>,
[{547965620704: <__main__.c_uint_Array_8192 object at 0x7f954bd1e0>,
'ffffffff': <memory at 0x7f95621a08>},
[<memory at 0x7f95621a08>,
[<managedbuffer object at 0x7f95746d08>,
然而,这并没有真正帮助我。我想知道如何摆脱那个指针。我知道这可能并不完全安全,因为我当然可以随时在其他地方有指针的副本。但是完全防止在创建指针后关闭 mmap
也不是一个好主意。有人知道如何让 Python 相信我已经丢弃了所有指针,并且现在可以安全地关闭 mmap 吗?
import gc
和gc.collect()
,然后尝试立即关闭内存映射文件:它起作用了...我看不到其他任何方法来告诉Python在内存映射上没有引用了 :( - Neitsa