我正在使用爬虫抓取一个视频网站，该网站频繁过期内容。我考虑使用scrapy进行爬虫，但不确定如何删除过期的内容。
检测项目是否过期的策略有：
请告诉我如何在scrapy中删除过期的内容。我将通过django将我的scrapy项目存储在mysql数据库中。
我已经找到了一个可行的解决方案，但可能还不是最优的。我在同步每个视频时维护一个“found_in_last_scan”标志。当爬虫启动时，它将所有标志设置为False。完成后，删除仍然设置为False的视频。我通过连接signals.spider_opened和signals.spider_closed来实现这一点。请确认这是一个有效的策略，没有问题。
我没有测试过这个！
我必须承认，我没有尝试在Scrapy中使用Django模型，但是我们开始吧：
我想象中最简单的方法是通过扩展XMLFeedSpider创建一个新的爬虫来处理deleted.rss文件（从Scrapy文档中复制，然后修改）。我建议您创建一个新的爬虫，因为以下逻辑与用于抓取网站的逻辑非常不相关：
from scrapy import log
from scrapy.contrib.spiders import XMLFeedSpider
from myproject.items import DeletedUrlItem
class MySpider(XMLFeedSpider):
domain_name = 'example.com'
start_urls = ['http://www.example.com/deleted.rss']
iterator = 'iternodes' # This is actually unnecesary, since it's the default value
itertag = 'item'
def parse_node(self, response, url):
url['url'] = node.select('#path/to/url').extract()
return url # return an Item
SPIDER = MySpider()
deleted.rss的样子，但我相信你可以从XML中提取URL。现在，这个示例导入了myproject.items.DeletedUrlItem，在这个示例中它只是一个字符串，但是你需要使用类似下面的代码创建DeletedUrlItem：
你需要创建DeletedUrlItem：
class DeletedUrlItem(Item):
url = Field()
不要保存，使用Django的Model API 删除项目，在Scrapy的ItemPipeline中 - 我假设你正在使用DjangoItem：
# we raise a DropItem exception so Scrapy
# doesn't try to process the item any further
from scrapy.core.exceptions import DropItem
# import your model
import django.Model.yourModel
class DeleteUrlPipeline(item):
def process_item(self, spider, item):
if item['url']:
delete_item = yourModel.objects.get(url=item['url'])
delete_item.delete() # actually delete the item!
raise DropItem("Deleted: %s" % item)
delete_item.delete()。
我知道这个答案可能有错误，它是根据我的记忆写的 :-) 但如果您有评论或无法理解，请放心我会更新。
DeleteUrlItems和VideoItems，您会在DeleteUrlPipeline中执行isinstance检查，以确保它仅在DeletedUrlItems上运行吗？ - GattsterHEAD 请求到该URL。在Python中，最好使用标准库的httplib模块：先用HTTPConnection建立一个与目标主机的连接对象c（如果是HTTP 1.1协议，则可重复利用以提高性能和降低系统负载），然后调用c的request方法一次（或多次，如果可行，即如果使用了HTTP 1.1协议）,第一个参数为'HEAD'，第二个参数为你要检查的URL（当然不包括主机部分;-)）。request之后，您调用c.getresponse()以获取一个HTTPResponse对象，其status属性将告诉您URL是否仍然有效。GET隐式）而不是仅使用HTTP HEAD进行检查，这只是对宝贵资源的浪费。 - Alex Martelli