25得票4回答
如何在IPython(Jupyter)Notebook上为远程机器添加内核?

本地计算机(PC)用户界面(UI)右上角的下拉菜单:Kernel-> Change kernel-> Python 2 (on a local PC) Python 3 (on a local PC) My new kern...

24得票4回答
IPython Notebook:Mac中的jupyter_notebook_config.py在哪里?

我刚开始使用Mac电脑,如果听起来太幼稚,请见谅。 我正在尝试安装交互式并行软件Interactive Parallel。从https://github.com/ipython/ipyparallel上看,它说我需要找到jupyter_notebook_config.py文件。 我已经使用...

19得票2回答
如何在ipyparallel客户端和远程引擎之间最好地共享静态数据?

我正在使用不同的参数在循环中运行相同的模拟。每次模拟都会使用一个名为 data 的 Pandas DataFrame,该 DataFrame 仅被读取,从未被修改。使用 ipyparallel(IPython 并行),在模拟开始之前,我可以将这些 DataFrames 放入视图中每个引擎的全局...

14得票2回答
如何将线程固定到具有预定内存池对象的核心?(80核 Nehalem 架构 2Tb RAM)

我在一台80核(160超线程)的nehalem架构、搭载有2TB DRAM的服务器上进行了一些测试后,遇到了一个小型HPC问题: 拥有超过2个插槽的服务器会开始频繁出现延迟,因为每个线程开始从“错误”的插槽请求有关对象的信息。也就是说,请求从正在处理某些来自一个插槽上的对象的线程发出,以获取...

12得票1回答
如何在Jupyter中启用ipyparallel?

虽然在Jupyter或ipyparallel中有一些零散的文档,但没有一份完整的文档可以从头到尾地说明整个过程。我感到非常困惑,有没有人有相关经验可以分享一下? 这里是关于我的环境的检查。$ipcluster --version 5.2.0 $which -a ipcluster /hom...

11得票1回答
IPython.parallel没有使用多核心处理器?

我正在尝试使用IPython.parallel进行实验,只想在不同的引擎上启动几个shell命令。 我有以下笔记本: Cell 0:from IPython.parallel import Client client = Client() print len(client) 5 请执行以下...

10得票2回答
无法在Jupyter Notebook上创建ipyparallel集群

我有以下内容: ipyparallel(5.0.0) ipython(4.0.3) 我已通过在命令行中输入以下命令启用了ipcluster:ipcluster nbextension enable 我正在尝试在Jupyter笔记本的IPython Clusters选项卡上创建一个新的群...

10得票2回答
iPython 并行模块的内存消耗过大

我正在使用ipyparallel模块来加速全量列表比较,但是我遇到了巨大的内存消耗问题。 这里是我正在运行的脚本的简化版本: 从SLURM脚本开始启动集群并运行Python脚本。ipcluster start -n 20 --cluster-id="cluster-id-dummy&...

9得票1回答
使用sync_imports()在IPython.parallel引擎上导入自定义模块

我一直在使用IPython.parallel,并想要使用自己的一些自定义模块,但是按照手册中使用dview.sync_imports()的方法无法实现。对我有效的唯一方法是像下面这样: def my_parallel_func(args): import sys sys.pa...

8得票1回答
在IPython并行处理中将内容打印到标准输出

我是IPython的新手,想在运行IPython并行集群函数时将中间结果打印到标准输出。 (我知道使用多个进程可能会破坏输出,但这没关系--这只是为了测试/调试,并且我要运行的进程足够长,不太可能发生这样的冲突。) 我查看了IPython的文档,但找不到并行化函数打印输出的示例。 基本上,我正...