我需要一段能够爬取网站并以纯文本或类似格式返回所有爬取页面列表的脚本;我将把它作为网站地图提交给搜索引擎。我可以使用WGET生成网站地图吗?还是有一个可以完成同样工作的PHP脚本?
我需要一段能够爬取网站并以纯文本或类似格式返回所有爬取页面列表的脚本;我将把它作为网站地图提交给搜索引擎。我可以使用WGET生成网站地图吗?还是有一个可以完成同样工作的PHP脚本?
wget --spider --recursive --no-verbose --output-file=wgetlog.txt http://somewebsite.com
sed -n "s@.\+ URL:\([^ ]\+\) .\+@\1@p" wgetlog.txt | sed "s@&@\&@" > sedlog.txt
这将创建一个名为sedlog.txt
的文件,其中包含指定网站上找到的所有链接。您可以使用PHP或shell脚本将文本文件网站地图转换为XML网站地图。调整wget命令的参数(accept/reject/include/exclude)以获取您需要的链接。
--wait=1
,否则可能会影响网站的性能。 - Liamtee
https://unix.stackexchange.com/a/128476/312058,你也可以在 stdout 中查看输出,或者使用tail -f
更好。 - Phani Rithvijgsed
而不是内置的sed
。感谢您的提示! - GDP2