Python在Pig中的UDF

Question

无论何时我尝试在Pig UDF中引入Python的外部包，都会显示以下错误消息：

Python 错误。Traceback (most recent call last): File "pythonudf.py", line 5, in from bs4 import BeautifulSoup ImportError: No module named bs4

我已经尝试过将库路径包含进去。

import sys
sys.path.append('/usr/local/lib/python3.5/dist-packages')

并设置。

export JYTHONPATH=$JYTHONPATH:/usr/local/lib/python3.5/dist-packages

但它仍然显示相同的错误。我还能做什么？ 该脚本未在本地或MapReduce模式下运行。

附注：其他不导入外部软件包的函数运行良好。

编辑： Python代码中的软件包已安装。

- RitikaNandi

---

尝试安装beautifulsoup：pip install bs4。 - Druta Ruslan

已安装。Python脚本在单独的Python中运行。 - RitikaNandi

Answer 1

在使用 Python UDF 导入包时，执行 Pig 时请使用 -embedded 选项。参考文献

pig -embedded jython pythonudf.py

- nobody