我正在从网站中获取HTML内容,通过发送头部信息使网站认为我只是一名浏览该网站的用户,操作如下:
def page(goo):
import fileinput
import sys, heapq, array, urllib
import BeautifulSoup
from BeautifulSoup import BeautifulSoup
import re
from urllib import FancyURLopener
class MyOpener(FancyURLopener):
version = 'Mozilla/5.0 (Windows; U; Windows NT 5.1; it; rv:1.8.1.11) Gecko/20071127 Firefox/2.0.0.11'
myopener = MyOpener()
filehandle = myopener.open(goo)
return filehandle.read()
page=page(WebSite)
这在大多数网站上都可以完美运行,甚至包括Google和Wikipedia,但是在Tmart.com上却不行。不知何故,Tmart能看出这不是一个Web浏览器,并返回错误信息。我该怎么解决?