我有一些使用BeautifulSoup
库进行解析的代码,但速度非常慢。代码编写的方式不支持使用线程。
我使用BeautifulSoup
进行解析,然后保存到数据库中。如果我注释掉save
语句,仍然需要很长时间,所以数据库没有问题。
def parse(self,text):
soup = BeautifulSoup(text)
arr = soup.findAll('tbody')
for i in range(0,len(arr)-1):
data=Data()
soup2 = BeautifulSoup(str(arr[i]))
arr2 = soup2.findAll('td')
c=0
for j in arr2:
if str(j).find("<a href=") > 0:
data.sourceURL = self.getAttributeValue(str(j),'<a href="')
else:
if c == 2:
data.Hits=j.renderContents()
#and few others...
c = c+1
data.save()
有什么建议吗?
注意: 我已经在这里提出了这个问题,但由于信息不完整而被关闭。