我有一个具有以下结构的XML页面:
<item>
<pubDate>Sat, 12 Dec 2015 16:35:00 GMT</pubDate>
<title>
some text
</title>
<link>
http://www.example.com/index.xml
</link>
...
我希望能够提取并跟踪<links>
标签内的链接。
我只有默认代码:
start_urls = ['example.com/example.xml']
rules = (
Rule(LinkExtractor(allow="example.com"),
callback='parse_item',),
)
但我不知道如何跟随 "text" 标签。我实际上尝试了 linkextractor
的 tags='links'
选项,但没有成功。日志有效地到达页面,获得了 200 的回复,但没有获取到任何链接。
restrict_xpaths ='//link'
来获取链接标签中的链接。 - Vaulsteinresponse.xpath("//item/link/text()").extract()
,它确实会返回链接的文本,但如果在主代码中执行,它肯定不会跟随它们。 - Dervin Thunkhref
属性中提取链接,我认为它们被设计为从属性中获取链接,但我很确定你也可以指向文本。 - alecxeLinkExtractor
中的tags
参数,但是我也无法获取链接列表。 - Dervin Thunk