我需要在AWS上的Python Lambda函数中运行pdf2image,但这需要在机器上安装poppler和poppler-utils。
我已经尝试在许多不同的地方搜索如何做到这一点,但是找不到任何人使用Lambda函数完成这个任务。
您是否知道如何生成poppler二进制文件,将其放入我的Lambda包中并告诉Lambda使用它?
谢谢大家。
我需要在AWS上的Python Lambda函数中运行pdf2image,但这需要在机器上安装poppler和poppler-utils。
我已经尝试在许多不同的地方搜索如何做到这一点,但是找不到任何人使用Lambda函数完成这个任务。
您是否知道如何生成poppler二进制文件,将其放入我的Lambda包中并告诉Lambda使用它?
谢谢大家。
我的方法是使用AWS Linux 2映像作为基础,以确保与Lambda环境的最大兼容性,在容器构建中编译openjpeg和poppler,并构建一个zip文件,其中包含所需的二进制文件和库,然后可以将其用作层。
这使您可以在自己的Lambda中编写代码,该代码将poppler依赖项作为层引入,简化了构建和部署。
层的内容将解压缩到/opt/
中。这意味着默认情况下,在Lambda环境中,这些内容将自动可用,因为:
$PATH
是/usr/local/bin:/usr/bin/:/bin:/opt/bin
$LD_LIBRARY_PATH
是/lib64:/usr/lib64:$LAMBDA_RUNTIME_DIR:$LAMBDA_RUNTIME_DIR/lib:$LAMBDA_TASK_ROOT:$LAMBDA_TASK_ROOT/lib:/opt/lib
Dockerfile
:
# https://www.petewilcock.com/using-poppler-pdftotext-and-other-custom-binaries-on-aws-lambda/
ARG POPPLER_VERSION="21.10.0"
ARG POPPLER_DATA_VERSION="0.4.11"
ARG OPENJPEG_VERSION="2.4.0"
FROM amazonlinux:2
ARG POPPLER_VERSION
ARG POPPLER_DATA_VERSION
ARG OPENJPEG_VERSION
WORKDIR /root
RUN yum update -y
RUN yum install -y \
cmake \
cmake3 \
fontconfig-devel \
gcc \
gcc-c++ \
gzip \
libjpeg-devel \
libpng-devel \
libtiff-devel \
make \
tar \
xz \
zip
RUN curl -o poppler.tar.xz https://poppler.freedesktop.org/poppler-${POPPLER_VERSION}.tar.xz
RUN tar xf poppler.tar.xz
RUN curl -o poppler-data.tar.gz https://poppler.freedesktop.org/poppler-data-${POPPLER_DATA_VERSION}.tar.gz
RUN tar xf poppler-data.tar.gz
RUN curl -o openjpeg.tar.gz https://codeload.github.com/uclouvain/openjpeg/tar.gz/refs/tags/v${OPENJPEG_VERSION}
RUN tar xf openjpeg.tar.gz
WORKDIR poppler-data-${POPPLER_DATA_VERSION}
RUN make install
WORKDIR /root
RUN mkdir openjpeg-${OPENJPEG_VERSION}/build
WORKDIR openjpeg-${OPENJPEG_VERSION}/build
RUN cmake .. -DCMAKE_BUILD_TYPE=Release
RUN make
RUN make install
WORKDIR /root
RUN mkdir poppler-${POPPLER_VERSION}/build
WORKDIR poppler-${POPPLER_VERSION}/build
RUN cmake3 .. -DCMAKE_BUILD_TYPE=release -DBUILD_GTK_TESTS=OFF -DBUILD_QT5_TESTS=OFF -DBUILD_QT6_TESTS=OFF \
-DBUILD_CPP_TESTS=OFF -DBUILD_MANUAL_TESTS=OFF -DENABLE_BOOST=OFF -DENABLE_CPP=OFF -DENABLE_GLIB=OFF \
-DENABLE_GOBJECT_INTROSPECTION=OFF -DENABLE_GTK_DOC=OFF -DENABLE_QT5=OFF -DENABLE_QT6=OFF \
-DENABLE_LIBOPENJPEG=openjpeg2 -DENABLE_CMS=none -DBUILD_SHARED_LIBS=OFF
RUN make
RUN make install
WORKDIR /root
RUN mkdir -p package/{lib,bin,share}
RUN cp -d /usr/lib64/libexpat* package/lib
RUN cp -d /usr/lib64/libfontconfig* package/lib
RUN cp -d /usr/lib64/libfreetype* package/lib
RUN cp -d /usr/lib64/libjbig* package/lib
RUN cp -d /usr/lib64/libjpeg* package/lib
RUN cp -d /usr/lib64/libpng* package/lib
RUN cp -d /usr/lib64/libtiff* package/lib
RUN cp -d /usr/lib64/libuuid* package/lib
RUN cp -d /usr/lib64/libz* package/lib
RUN cp -rd /usr/local/lib/* package/lib
RUN cp -rd /usr/local/lib64/* package/lib
RUN cp -d /usr/local/bin/* package/bin
RUN cp -rd /usr/local/share/poppler package/share
WORKDIR package
RUN zip -r9 ../package.zip *
并且要运行...
docker build -t poppler .
docker run --name poppler -d -t poppler cat
docker cp poppler:/root/package.zip .
然后使用控制台或 AWS CLI 上传 package.zip
作为一层。
为了将Poppler放在Lambda上,我们将构建一个包含poppler的压缩文件夹,并将其作为层添加。请按照以下步骤在运行Amazon Linux 2的EC2实例(t2micro已足够)上执行。
在EC2机器上安装Docker。请参阅此处的说明。
mkdir -p poppler_binaries
使用此链接或从以下内容复制/粘贴。
FROM ubuntu:18.04
# Installing dependencies
RUN apt update
RUN apt-get update
RUN apt-get install -y locate \
libopenjp2-7 \
poppler-utils
RUN rm -rf /poppler_binaries; mkdir /poppler_binaries;
RUN updatedb
RUN cp $(locate libpoppler.so) /poppler_binaries/.
RUN cp $(which pdftoppm) /poppler_binaries/.
RUN cp $(which pdfinfo) /poppler_binaries/.
RUN cp $(which pdftocairo) /poppler_binaries/.
RUN cp $(locate libjpeg.so.8 ) /poppler_binaries/.
RUN cp $(locate libopenjp2.so.7 ) /poppler_binaries/.
RUN cp $(locate libpng16.so.16 ) /poppler_binaries/.
RUN cp $(locate libz.so.1 ) /poppler_binaries/.
运行下面的命令将在您的主目录中生成一个zip文件。
docker build -t poppler-build .
# Run the container
docker run -d --name poppler-build-cont poppler-build sleep 20
#docker exec poppler-build-cont
sudo docker cp poppler-build-cont:/poppler_binaries .
# Cleaning up
docker kill poppler-build-cont
docker rm poppler-build-cont
docker image rm poppler-build
cd poppler_binaries
zip -r9 ..poppler.zip .
cd ..
下载您的zip文件或将其上传到S3。前往Lambda控制台页面创建一个Layer,然后将其添加到您的函数中。有关层的信息在此处。
为了避免像这里所描述的那样添加不必要的文件夹结构到zip中,我们将添加一个环境变量来指向我们的依赖项。
PYTHONPATH: /opt/
完成!您现在拥有一个带有Poppler的工作Lambda函数!
注意:感谢这两篇文章,它们帮助我将这些内容整合在一起。
警告:不要尝试将pdf2image添加到同一层中。我不确定为什么,但当它们在同一层中时,pdf2image找不到poppler。
嗨@Alex Albracht,感谢您编写易于理解的说明!它们帮了我很多忙。但是,我确实很难让lambda函数找到poppler路径。因此,我将尝试添加一些内容来澄清这一点。
二进制文件应该放在具有以下结构的zip文件夹中: poppler.zip -> bin/poppler 其中poppler文件夹包含二进制文件。然后可以将此zip文件夹作为AWS lambda中的层上传。
要使pdf2image正常工作,它需要poppler路径。应以格式“/opt/bin/poppler”将其包含在lambda函数中。
例如, poppler_path = "/opt/bin/poppler" pages = convert_from_path(PDF_file, 500, poppler_path=poppler_path)
RUN cp -d /usr/lib64/libbz* package/lib
- teyzer