我正在尝试优化一些Python代码(加速一些矩阵运算),我的代码与此类似(我的真实数据集也类似于“gps”),
import numpy as np
gps = [np.random.rand(50,50) for i in xrange(1000)]
ips = np.zeros( (len(gps),len(gps)), dtype='float32')
for i in xrange(len(gps)):
for j in xrange(0,i+1):
ips[i,j]= f.innerProd(gps[i],gps[j])
ips[j,i]= ips[i,j]
print "Inner product matrix: %3.0f %% done (%d of %d)"% \
(((i+1)**2.)/(len(gps)**2.)*100, i, len(gps))
def innerProd(mat1,mat2):
return float(np.sum(np.dot(np.dot(mat1,mat2),mat1)))
我想了解的是,为什么程序在开始迭代时运行速度很快,随着迭代的进行逐渐变慢?我知道这个问题可能有点天真,但我真的想更清楚地了解在尝试其他操作之前正在发生的事情。我已经在Fortran中实现了我的函数(在Fortran领域内留下任何for循环),并使用f2py创建了一个动态库以从Python调用该函数,这将是Python中的新代码..
import numpy as np
import myfortranInnProd as fip
gps = [np.random.rand(50,50) for i in xrange(1000)]
ips = np.zeros( (len(gps),len(gps)), dtype='float32')
ips = fip.innerProd(gps)
不幸的是,我惊讶地发现我的Fortran-Python版本运行速度比第一个版本慢1.5~2倍(值得一提的是,在Fortran实现中使用了MATMUL())。我已经搜索了一段时间,认为这种“减速”与内存带宽、内存分配或缓存有关,考虑到大数据集,但我不太确定真正发生了什么以及如何提高性能。我在小型英特尔原子电脑、2GB RAM和4核英特尔至强处理器、8GB(当然使用相应比例的数据集)上运行代码,并且“减速”的情况是相同的。
我只需要理解为什么会出现这种“减速”?如果我在C中实现该函数,是否有好处?还是尝试实现在GPU上运行?还有其他改进方法吗? 预先感谢。
profile
模式下运行了这段代码,发现大部分时间都花在了np.dot
函数上,你可以通过执行python -m profile filename.py
来对任何文件进行性能分析。 - Dan D.(i+1)
,它将花费相同的时间。因此它的行为就像应该的那样。 - jfs