好的,我相对新手编程,这让我完全困惑。我正在从一个网站上爬取数据,而且数据每周都会更改。我想在数据更改时每次运行我的爬取过程,从2015年9月9日开始运行到现在。
我知道如何轻松地运行每个数字,比如0909,然后是0910,然后是0911,但那不是我需要的,因为那将向服务器请求太多无用的请求。
这是URL的格式: http://www.myexamplesite.com/?date=09092015
我知道简单的:
for i in range(startDate, endDate):
url = 'http://www.myexamplesite.com/?date={}'.format(i)
driver.get(url)
但是有一件事情我一直无法理解,就是如何操作Python的dateTime来准确反映网站使用的格式。
例如: 09092015 09162015 09232015 09302015 10072015 ... 09272017
如果其他方法都失败了,我只需要这样做一次,因此忽略循环并手动输入我希望从中抓取的日期,然后将所有数据框附加在一起也不会花费太长时间。我主要是想知道如何在这种情况下操作datetime函数,以备未来可能需要更多数据的项目。