我正在尝试在Scrapy的CrawlSpider中限制每个URL爬取的页面数量。我有一个start_urls列表,希望对正在爬取的每个URL设置一个页面数量限制。一旦达到限制,蜘蛛应该移动到下一个start_url。
我知道有DEPTH_LIMIT参数可以设置,但这不是我要找的。
任何帮助都将是有用的。
以下是我目前的代码:
我知道有DEPTH_LIMIT参数可以设置,但这不是我要找的。
任何帮助都将是有用的。
以下是我目前的代码:
class MySpider(CrawlSpider):
name = 'test'
allowed_domains = domainvarwebsite
start_urls = httpvarwebsite
rules = [Rule(LinkExtractor(),
callback='parse_item',
follow=True)
]
def parse_item(self, response):
#here I parse and yield the items I am interested in.
编辑
我尝试了实现这个,但是我收到了 exceptions.SyntaxError: invalid syntax (filter_domain.py, line 20)
。有什么想法吗?
再次感谢。
filter_domain.py
import urlparse
from collections import defaultdict
from scrapy.exceptions import IgnoreRequest
class FilterDomainbyLimitMiddleware(object):
def __init__(self, domains_to_filter):
self.domains_to_filter = domains_to_filter
self.counter = defaultdict(int)
@classmethod
def from_crawler(cls, crawler):
settings = crawler.settings
spider_name = crawler.spider.name
max_to_filter = settings.get('MAX_TO_FILTER')
o = cls(max_to_filter)
return o
def process_request(self, request, spider):
parsed_url = urlparse.urlparse(request.url)
(LINE 20:) if self.counter.get(parsed_url.netloc, 0) < self.max_to_filter[parsed_url.netloc]):
self.counter[parsed_url.netloc] += 1
else:
raise IgnoreRequest()
settings.py
MAX_TO_FILTER = 30
DOWNLOADER_MIDDLEWARES = {
'myproject.filter_domain.FilterDomainbyLimitMiddleware' :400,
}