在谷歌上有很多与numpy内存错误相关的帖子,但我找不到解决我的问题的帖子。我正在使用一台配备256GB RAM的高端服务器,64位opensuse 13.1,64位python和64位numpy(据我所知)。请参见下文。
原始作者无法提供帮助请求,因此我尽力确定numpy试图创建的对象的内存大小。首先,这是堆栈跟踪:
我使用以下for循环来尽可能准确地估算对象大小:
结果是
根据这些信息,我怀疑存在系统限制(ulimit)阻止Python访问内存。运行
原始作者无法提供帮助请求,因此我尽力确定numpy试图创建的对象的内存大小。首先,这是堆栈跟踪:
File "/home/<me>/cmsRelease/trunk/Classes/DotData.py", line 193, in __new__
DataObj = numpy.rec.fromarrays(Columns,names = names)
File "/usr/lib64/python2.7/site-packages/numpy/core/records.py", line 562, in fromarrays
_array = recarray(shape, descr)
File "/usr/lib64/python2.7/site-packages/numpy/core/records.py", line 400, in __new__
self = ndarray.__new__(subtype, shape, (record, descr), order=order)
MemoryError
我使用以下for循环来尽可能准确地估算对象大小:
size = 0
for i in Columns: # Columns is the list passed into numpy.rec.fromarrays
size += sys.getsizeof(i)
print "Columns size: " + str(size)
结果是
列大小:12051648
。除非我弄错了,那只有12MB,但无论如何,它都远远达不到256GB。根据这些信息,我怀疑存在系统限制(ulimit)阻止Python访问内存。运行
ulimit -a
报告如下(在运行程序之前,我设置了ulimit -s 256000000
):core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 2065541
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 10000
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 256000000
cpu time (seconds, -t) unlimited
max user processes (-u) 2065541
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
问题:
- 我错过了什么?
- 我没有正确测量
Columns
列表对象的大小吗? - 是否还有其他系统属性需要设置?
我希望Memory Error
能更具体。感谢您的帮助。
支持系统信息:
系统内存:
> free -h
total used free shared buffers cached
Mem: 252G 1.6G 250G 4.2M 12M 98M
-/+ buffers/cache: 1.5G 250G
Swap: 2.0G 98M 1.9G
操作系统版本:
> cat /etc/os-release
NAME=openSUSE
VERSION="13.1 (Bottle)"
VERSION_ID="13.1"
PRETTY_NAME="openSUSE 13.1 (Bottle) (x86_64)"
ID=opensuse
ANSI_COLOR="0;32"
CPE_NAME="cpe:/o:opensuse:opensuse:13.1"
BUG_REPORT_URL="https://bugs.opensuse.org"
HOME_URL="https://opensuse.org/"
ID_LIKE="suse"
Python 版本:
Python 2.7.6 (default, Nov 21 2013, 15:55:38) [GCC] on linux2
>>> import platform; platform.architecture()
('64bit', 'ELF')
Numpy版本:
>>> numpy.version
<module 'numpy.version' from '/usr/lib64/python2.7/site-packages/numpy/version.pyc'>
>>> numpy.version.version
'1.7.1'
shape
参数在__new__
调用中传递的值是多少?sys.getsizeof
仅返回容器的大小,而不是其内容的大小,因此很难确定重载在哪里,除非更多地了解数据的性质。 - BrenBarnColumns
是一个numpyndarray
列表,使用Columns[n].nbytes
获取第n列的大小(以字节为单位)。 - ali_mnumpy
中的shape
值。你能解释一下吗?调试这个软件是不现实的。它使用了四种主要语言(Python、Perl、Java和C)。是的,真的。 - Mark Ebbertsys.sizeof(<instance>)
将是获取内置标量(int
、float
、double
、str
等)大小的正确方法。我还问了他标量元素的类,因为相应的numpy数组itemsize
当然会比整个Python容器小。 - ali_m