仅记录成功下载的URL的wget日志

Question

4

我希望只记录下载成功的URL。我尝试使用-o log.txt，但这会记录所有内容，如头文件、IP地址等。

我只需要一个简单的列表，例如：

http://example/
http://example/toto.html
http://example/sub/tata.html

How I can do this ?

My wget :

wget http://example.com/ -r -v -S -R js,css,png,gif,jpg,pdf -o log.txt

- RemRem

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- gpoo · Answer 1

你可以尝试类似这样的代码：

wget http://example.com/ -r -nv -S -R js,css,png,gif,jpg,pdf 2>&1 | perl -ne 's|^.*URL:(https?://.*?) .*|\1|; print "$1\n"'

请注意我使用-nv（无冗余）而不是-v。我还将stderr的输出重定向到stdout，以便Perl可以在管道中处理它。wget输出中的损坏链接具有不同的格式，因此您只会得到成功下载的链接（这就是您要求的内容）。