使用Scrapy爬取XML页面

Question

使用Scrapy爬取XML页面

pythonxmlweb-scrapingscrapy

3

我想练习和开发XML爬虫，因此我正在尝试从API中抓取多个页面。但是遇到的一个问题是，当我试图从格式如下的文档中获取数据时：http://i.imgur.com/zJqeYvG.png ，并将其存储为XML时，它无法实现。

在CMD中，它会获取URL并在我的计算机上创建XML文件，但是里面什么也没有。

要如何修复它以回显整个文档或其中一部分？

以下是我的代码：

from scrapy.spider import BaseSpider
from scrapy.selector import XmlXPathSelector
from doitapi.items import DoIt
import random

class MySpider(BaseSpider):
    name = "craig"
    allowed_domains = ["do-it.org.uk"]
    start_urls = []
    number = []
    for count in range(100):
        number.append(random.randint(2000000,2500000))


    for i in number:
        start_urls.append("http://www.do-it.org.uk/syndication/opportunities/%d?apiKey=XXXXX-XXXX-XXX-XXX-XXXXX" %i)



       def parse(self, response):
    xxs = XmlXPathSelector(response)
    titles = xxs.register_namespace("d", "http://www.do-it.org.uk/volunteering-opportunity")
    items = []
    for titles in titles:
        item = DoIt()
        item ["url"] = response.url
        item ["name"] = titles.select("//d:title").extract()
        item ["description"] = titles.select("//d:description").extract()
        item ["username"] = titles.select("//d:info-provider/name").extract()
        item ["location"] = titles.select("//d:info-provider/address").extract()
        items.append(item)
    return items

- user2927435

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- paul trmbrth · Accepted Answer

您的XML文件在使用命名空间"http://www.do-it.org.uk/volunteering-opportunity"，因此要选择title，name等，您有两个选择：

要么使用xxs.remove_namespaces()一次，然后使用.select("./title")，.select("./description")等。
要么注册一个带有前缀“doit”的命名空间，xxs.register_namespace("doit", "http://www.do-it.org.uk/volunteering-opportunity")，然后使用.select("./doit:title")，.select("./doit:description")等。

有关XML命名空间的更多详细信息，请参见FAQ中的此页面和文档中的此页面。