我想要对大约2000个查询抓取200个结果,但是它给了我一个“超过每日限制”的错误。
我想确认一下我们每天可以抓取多少个结果。有没有什么解决方案可以解决这个问题?或者唯一的方法就是每天只抓取一小部分查询...?
我用来抓取谷歌的代码如下:
def crawl(query_list):
http = httplib2.Http()
# Construct the service object for the interacting with the CustomSearch API.
service = discovery.build('customsearch', 'v1', developerKey='my api key', http=http)
res_list = []
for query in query_list:
json_res = service.cse().list(q = query, cx = 'my search engine id', num = 200,).execute()
res_list.append(json_res)
谢谢你!