使用wget爬取带有rel="nofollow"的链接

Question

我有一个网站 (http://a-site.com)，里面有许多类似的链接。我该如何使用wget来抓取并筛选出这些链接，并将它们保存到一个文件中?

<a href="/user/333333/follow_user" class="btn" rel="nofollow">Follow</a>

我尝试过这个命令，但是它无法获取nofollow链接。

$ wget --no-verbose -r -l1 http://a-site.com 2>&1

- angelokh

---

黑客解决方案 - 打开wget源代码并搜索和破解“nofollow”字符串。 - Nick

是否有其他工具可以允许nofollow链接？ - angelokh

我不知道，我们曾经使用Lynx实现过类似的功能。 - Nick

Answer 1

这里的信息：

http://skeena.net/kb/wget%20ignore%20robots.txt

尝试：

wget -erobots=off http://your.site.here

- Nick

---

这在deny的网站上失败了。我只想看到菜单而不必输入位置数据。 - j0h

尝试使用用户代理等进行玩耍。 - Nick

使用版本1.21.2时可以工作，但使用1.20.3时无法正常运行。 - tillmo