我个人喜欢使用Scrapy、Selenium并将它们分别运行在Docker容器中。这样您可以最小化安装工作来爬取现代网站，这些网站几乎都包含某种形式的JavaScript。以下是一个示例：
使用scrapy startproject创建您的爬虫并编写爬虫代码，框架骨架可以非常简单，就像这样：
import scrapy
class MySpider(scrapy.Spider):
name = 'my_spider'
start_urls = ['https://somewhere.com']
def start_requests(self):
yield scrapy.Request(url=self.start_urls[0])
def parse(self, response):
print(response.body)
真正的魔法发生在middlewares.py中。以以下方式覆盖下载器中间件中的两个方法__init__和process_request：
import os
from copy import deepcopy
from time import sleep
from scrapy import signals
from scrapy.http import HtmlResponse
from selenium import webdriver
class SampleProjectDownloaderMiddleware(object):
def __init__(self):
SELENIUM_LOCATION = os.environ.get('SELENIUM_LOCATION', 'NOT_HERE')
SELENIUM_URL = f'http://{SELENIUM_LOCATION}:4444/wd/hub'
chrome_options = webdriver.ChromeOptions()
self.driver = webdriver.Remote(command_executor=SELENIUM_URL,
desired_capabilities=chrome_options.to_capabilities())
def process_request(self, request, spider):
self.driver.get(request.url)
sleep(4)
body = deepcopy(self.driver.page_source)
url = deepcopy(self.driver.current_url)
return HtmlResponse(url, body=body, encoding='utf-8', request=request)
不要忘记在settings.py文件中取消注释下一行以启用这个中间件:
DOWNLOADER_MIDDLEWARES = {
'sample_project.middlewares.SampleProjectDownloaderMiddleware': 543,}
从一个轻量级镜像（我这里使用的是python Alpine）创建你的Dockerfile，将你的项目目录复制到其中，安装要求。下一步是docker化。创建您的Dockerfile。
Dockerfile
FROM python:3.6-alpine
RUN apk --update add linux-headers libffi-dev openssl-dev build-base libxslt-dev libxml2-dev curl python-dev
WORKDIR /my_scraper
ADD requirements.txt /my_scraper/
RUN pip install -r requirements.txt
ADD . /scrapers
最后，在docker-compose.yaml中将所有内容整合在一起：
version: '2'
services:
selenium:
image: selenium/standalone-chrome
ports:
- "4444:4444"
shm_size: 1G
my_scraper:
build: .
depends_on:
- "selenium"
environment:
- SELENIUM_LOCATION=samplecrawler_selenium_1
volumes:
- .:/my_scraper
command: tail -f /dev/null
运行
docker-compose up -d。如果您是第一次这样做，它将花费一些时间来获取最新的selenium/standalone-chrome并构建您的爬虫镜像。
完成后，您可以使用
docker ps检查容器是否在运行，并检查Selenium容器的名称是否与我们传递给爬虫容器的环境变量的名称相匹配（在这里，它是
SELENIUM_LOCATION=samplecrawler_selenium_1）。
使用
docker exec -ti YOUR_CONTAINER_NAME sh进入您的爬虫容器，我的命令是
docker exec -ti samplecrawler_my_scraper_1 sh，然后进入正确的目录并使用
scrapy crawl my_spider运行您的爬虫。
整个过程都在我的github页面上，您可以从
此处获取。
