如何使用Python中的Managers()在多个进程之间共享字符串？

Question

我需要从主进程读取由multiprocessing.Process实例编写的字符串。 我已经使用管理器和队列将参数传递给进程，因此使用管理器似乎很明显，但是但管理器不支持字符串：

由Manager（）返回的管理器将支持类型列表、字典、命名空间、锁、可重入锁、信号量、有界信号量、条件、事件、队列、值和数组。

如何使用multiprocessing模块的管理器共享由字符串表示的状态？

- Bengt

Answer 1

多进程的管理器可以持有 Values，而这些值可以持有来自 ctypes 模块的 c_char_p 类型的实例：

>>> import multiprocessing
>>> import ctypes
>>> v = multiprocessing.Value('c', "Hello, World!")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/lib/python2.7/multiprocessing/__init__.py", line 253, in Value
    return Value(typecode_or_type, *args, **kwds)
  File "/usr/lib/python2.7/multiprocessing/sharedctypes.py", line 99, in Value
    obj = RawValue(typecode_or_type, *args)
  File "/usr/lib/python2.7/multiprocessing/sharedctypes.py", line 73, in RawValue
    obj.__init__(*args)
TypeError: one character string expected
>>> cstring = multiprocessing.Value(ctypes.c_char_p, "Hello, World!")
>>> cstring
<Synchronized wrapper for c_char_p(166841564)>
>>> cstring.value
'Hello, World!'

针对Python 3，请使用c_wchar_p而不是c_char_p。

另请参阅：包含原始解决方案的帖子，我曾经费了很大的力气才找到它。

因此，在Python中可以使用Manager来共享字符串在多个进程之间，像这样：

>>> from multiprocessing import Process, Manager, Value
>>> from ctypes import c_char_p
>>> 
>>> def greet(string):
>>>     string.value = string.value + ", World!"
>>> 
>>> if __name__ == '__main__':
>>>     manager = Manager()
>>>     string = manager.Value(c_char_p, "Hello")
>>>     process = Process(target=greet, args=(string,))
>>>     process.start()
>>>     process.join()    
>>>     print string.value
'Hello, World!'

- Bengt

---

我在想为什么这样可以工作（共享指针），从资料来源中我了解到managers.Value实际上并没有使用typecode参数。该字符串没有被转换成c_char_p。而multiprocessing.Value的工作方式则大相径庭。 - Janne Karila

我尝试过s = multiprocessing.Value(c_char_p, "old string")，但是s.value = "new string"经常会丢失指针。我还尝试了另一种解决方案Array('c', fixed_length)，它更加稳定。 - John Lin

如果你试图摆脱 Manager，它是行不通的，因为 c_wchar_p 只是一个指向数据的指针，所以当另一个进程访问它时，就会直接出现“分段错误”。更多的说明可以在这里找到：https://dev59.com/hWjWa4cB1Zd3GeqPoj_-#12343115。是的，正如之前的评论中提到的那样，`Array('c', fixed_length)` 对我也起作用。 - VladVin

这对我没有用。我得到了这个异常：期望字节或整数地址，而不是str实例。 - Ryan Glenn

有人可以展示一个使用Array('c', fixed_length)的示例代码吗？ - undefined

Answer 2

简单来说，将字符串放入一个dict中：

d = manager.dict()
d['state'] = 'xyz'

由于字符串本身是不可变的，直接共享一个字符串实例并没有太大用处。

- Janne Karila

---

manager.dict()速度较慢是因为它返回一个代理(proxy)，而代理总是会从一个线程复制数据到另一个线程，而multiprocessing.Value()速度较快是因为它返回一个实际的共享内存区域，每个进程都可以直接访问它。 - user