什么是Intel MKL致命错误:在MacOs中运行pyspark时无法加载libmkl_core.dylib?

13

我在我的Mac上安装了Pyspark。当我尝试从命令行运行Pyspark时,出现了这个错误。

我使用Homebrew安装Pyspark,并按照这篇博客中的指示进行操作 (https://medium.com/@roshinijohri/spark-with-jupyter-notebook-on-macos-2-0-0-and-higher-c61b971b5007)。 当我在shell中开始运行Pyspark时,出现了以下错误。

    Python 3.7.1 (default, Dec 14 2018, 13:28:58) 
    [Clang 4.0.1 (tags/RELEASE_401/final)] :: Anaconda, Inc. on darwin
    Type "help", "copyright", "credits" or "license" for more information.
    Intel MKL FATAL ERROR: Cannot load libmkl_core.dylib.
5个回答

8

MKL是英特尔公司的“数学核心库”,主要用于处理计算。

Numpy的新版本默认使用MKL,这可能是出现此错误的原因。

尝试更新numpy。

conda update numpy

或通过以下方式禁用MKL:

conda install nomkl

希望有所帮助!
参考链接: https://github.com/BVLC/caffe/issues/3884

4
首先,我尝试了以上所有的解决方案,但它们都无法解决我的问题。针对和我类似情况的人,我写下了下面解决这个 bug 的方法。
在我的情况下,我有一个 anaconda 虚拟环境,并在其中执行所有操作。
不要删除 mkl 或安装 nomkl 等等方案,而是使用以下命令重新安装它:
conda install -c anaconda mkl

这个解决方案为我解决了一个我努力解决了一天的问题。希望这对你们也有用。


哦,你太客气了。你也让我开心哈哈!! - msc

1

enter image description here

更新您的mkl软件包。这应该可以解决问题。


1
我也遇到了同样的错误。然后我尝试创建了一个虚拟环境,然后这个错误就消失了。

0
如果您在运行Django中的makemigrations命令后遇到此错误,很有可能是因为您的虚拟环境未激活。
这是因为当venv未激活时,Python会开始在其他目录中寻找不同的库。
运行source venv/bin/activate(其中venv是您的虚拟环境的名称)可以解决此问题。

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接