我对Python不太熟悉,但需要编写一个脚本来执行许多功能。基本上,我仍需要的模块是如何检查网站代码是否与预先提供的链接匹配。
from BeautifulSoup import BeautifulSoup, SoupStrainer
import re
import urllib2
doc = urllib2.urlopen("http://somesite.com").read()
links = SoupStrainer('a', href=re.compile(r'^test'))
soup = [str(elm) for elm in BeautifulSoup(doc, parseOnlyThese=links)]
for elm in soup:
print elm
这将获取 somesite.com
的HTML内容,然后使用BeautifulSoup解析它,仅查找HREF属性以"test"开头的链接。然后它构建了一个这些链接的列表并将它们打印出来。
您可以根据文档修改此内容以执行任何操作。