我有丰富的PHP经验,但我意识到对于大规模的网络爬虫来说,PHP可能不是最好的语言,因为一个进程无法无限期地运行。人们建议使用哪些语言?
我有丰富的PHP经验,但我意识到对于大规模的网络爬虫来说,PHP可能不是最好的语言,因为一个进程无法无限期地运行。人们建议使用哪些语言?
大多数编程语言都可以胜任,关键组件如下:
现在大多数编程语言都有良好支持上述功能的库。当然,您还需要一些方法来保存结果,例如数据库。
比语言更重要的是理解需要处理的所有概念。以下是一些Python示例,可以帮助您入门。
在编写多核/线程爬虫方面,C语言是万能的神器,但它也有自己的复杂性。在C语言之后,一些人选择JAVA(因为其广泛的探索和使用),而其他人则转向Python。如果您有良好的架构,我可以保证这三种语言不会限制您的效率。
这段Python代码是一个Curl实现,可以在一个不错的服务器上在300秒内爬取大约10,000个页面。
#! /usr/bin/env python
# -*- coding: iso-8859-1 -*-
# vi:ts=4:et
# $Id: retriever-multi.py,v 1.29 2005/07/28 11:04:13 mfx Exp $
#
# Usage: python retriever-multi.py <file with URLs to fetch> [<# of
# concurrent connections>]
#
import sys
import pycurl
# We should ignore SIGPIPE when using pycurl.NOSIGNAL - see
# the libcurl tutorial for more info.
try:
import signal
from signal import SIGPIPE, SIG_IGN
signal.signal(signal.SIGPIPE, signal.SIG_IGN)
except ImportError:
pass
# Get args
num_conn = 10
try:
if sys.argv[1] == "-":
urls = sys.stdin.readlines()
else:
urls = open(sys.argv[1]).readlines()
if len(sys.argv) >= 3:
num_conn = int(sys.argv[2])
except:
print "Usage: %s <file with URLs to fetch> [<# of concurrent connections>]" % sys.argv[0]
raise SystemExit
# Make a queue with (url, filename) tuples
queue = []
for url in urls:
url = url.strip()
if not url or url[0] == "#":
continue
filename = "doc_%03d.dat" % (len(queue) + 1)
queue.append((url, filename))
# Check args
assert queue, "no URLs given"
num_urls = len(queue)
num_conn = min(num_conn, num_urls)
assert 1 <= num_conn <= 10000, "invalid number of concurrent connections"
print "PycURL %s (compiled against 0x%x)" % (pycurl.version, pycurl.COMPILE_LIBCURL_VERSION_NUM)
print "----- Getting", num_urls, "URLs using", num_conn, "connections -----"
# Pre-allocate a list of curl objects
m = pycurl.CurlMulti()
m.handles = []
for i in range(num_conn):
c = pycurl.Curl()
c.fp = None
c.setopt(pycurl.FOLLOWLOCATION, 1)
c.setopt(pycurl.MAXREDIRS, 5)
c.setopt(pycurl.CONNECTTIMEOUT, 30)
c.setopt(pycurl.TIMEOUT, 300)
c.setopt(pycurl.NOSIGNAL, 1)
m.handles.append(c)
# Main loop
freelist = m.handles[:]
num_processed = 0
while num_processed < num_urls:
# If there is an url to process and a free curl object, add to multi stack
while queue and freelist:
url, filename = queue.pop(0)
c = freelist.pop()
c.fp = open(filename, "wb")
c.setopt(pycurl.URL, url)
c.setopt(pycurl.WRITEDATA, c.fp)
m.add_handle(c)
# store some info
c.filename = filename
c.url = url
# Run the internal curl state machine for the multi stack
while 1:
ret, num_handles = m.perform()
if ret != pycurl.E_CALL_MULTI_PERFORM:
break
# Check for curl objects which have terminated, and add them to the freelist
while 1:
num_q, ok_list, err_list = m.info_read()
for c in ok_list:
c.fp.close()
c.fp = None
m.remove_handle(c)
print "Success:", c.filename, c.url, c.getinfo(pycurl.EFFECTIVE_URL)
freelist.append(c)
for c, errno, errmsg in err_list:
c.fp.close()
c.fp = None
m.remove_handle(c)
print "Failed: ", c.filename, c.url, errno, errmsg
freelist.append(c)
num_processed = num_processed + len(ok_list) + len(err_list)
if num_q == 0:
break
# Currently no more I/O is pending, could do something in the meantime
# (display a progress bar, etc.).
# We just call select() to sleep until some more data is available.
m.select(1.0)
# Cleanup
for c in m.handles:
if c.fp is not None:
c.fp.close()
c.fp = None
c.close()
m.close()
C++ - 如果你知道你在做什么。你将不需要一个 Web 服务器和 Web 应用程序,因为爬虫毕竟只是一个客户端。
为什么要自己写,当你可以复制别人的呢http://code.activestate.com/recipes/576551-simple-web-crawler/。
你可能需要修补一些东西,例如使用htmlentities而不是将&替换为&
C#和C++可能是最适合的两种语言,只是取决于你更熟悉哪一种以及哪一种更快(C#可能更容易些)。
我不建议使用Python、Javascript或PHP。它们在文本处理方面通常比C系列语言慢。如果你想爬取任何大量的网页,你需要尽可能地提高速度。
我以前用过C#和HtmlAgilityPack来做这件事,它的效果相当不错,而且很容易上手。能够使用许多与XML相同的命令来处理HTML使其非常好用(我有在C#中处理XML的经验)。
你可能需要测试可用的C# HTML解析库与C++解析库的速度。我知道在我的应用程序中,我每秒运行60-70个相当混乱的页面,并从每个页面中提取了大量的数据(但那是一个布局相当固定的网站)。
编辑:我注意到你提到了访问数据库。C++和C#都有用于大多数常见数据库系统的库,从SQLite(对于在几个站点上进行快速爬虫非常好)到中端引擎如MySQL和MSSQL,再到更大的DB引擎(我从未使用过Oracle或DB2,但这是可能的)。
strlen()
(时间复杂度为线性)和Tcl中的string length
(时间复杂度为常数)。这是因为高级语言中的“字符串”通常在后端作为适当的数据结构实现,而不是裸的C字符串。当然,并没有保证。例如,Microsoft的JavaScript表现得好像String对象只是C字符串的薄包装器。 - slebetman