我想写一个简单的网络爬虫,或者仅使用
wget
从Google学术中下载PDF结果。这实际上是获取研究论文的很好的方法。我已经阅读了stackoverflow上的以下页面:使用wget爬取网站并限制总爬取链接数,Web爬虫和wget的爬虫有何不同?,从网站下载所有PDF文件,如何使用wget从网站下载所有文件(但不是HTML)?,最后一篇可能是最有启发性的。我确实尝试过像这样建议的使用wget
。我的Google学术搜索结果页面是这样的,但没有进行下载。考虑到我对网络爬虫的理解很少,我应该怎么做才能实现这个目标?我意识到编写爬虫可能非常复杂,可能是我不想承担的项目。如果可以使用wget
,那将非常棒。
firefox 3.0.3
更改为firefox 15
,但没有任何效果。 - dearN