186得票12回答
让JSON对象接受字节或让urlopen输出字符串

我正在使用Python 3从一个URL请求一个json文档。response = urllib.request.urlopen(request) response对象是一个类似文件的对象,具有read和readline方法。通常情况下,可以使用以文本模式打开的文件创建JSON对象。obj = ...

83得票10回答
Python检查网站是否存在

我想确认一个特定的网站是否存在,这是我的做法:user_agent = 'Mozilla/20.0.1 (compatible; MSIE 5.5; Windows NT)' headers = { 'User-Agent':user_agent } link = "http://www.ab...

69得票10回答
Python 3.5.1中的urllib模块没有request属性。

我已经尝试过import urllib.request 或者import urllib 我的urllib路径是/Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/urllib/__init__.py我想知道urlope...

56得票10回答
如何使用urlopen获取非ASCII字符的URL?

我需要从一个包含非ASCII字符的URL中提取数据,但是urllib2.urlopen拒绝打开该资源并引发以下错误: UnicodeEncodeError: 'ascii' codec can't encode character u'\u0131' in position 26: ordi...

54得票5回答
在Python中解析HTTP响应

我希望能够操纵这个URL上的信息:THIS。我可以成功地打开它并读取其内容。但是我真正想做的是舍弃所有我不想要的东西,并操作我想保留的东西。 有没有一种将字符串转换为字典的方法,以便我可以迭代它?还是我只能按原样解析它(str类型)? from urllib.request import ...

29得票11回答
如何在Python中使用urllib2加速网页获取?

我有一个脚本,可以获取多个网页并解析信息。(例如:http://bluedevilbooks.com/search/?DEPT=MATH&CLASS=103&SEC=01) 我对它进行了cProfile分析,正如我所预料的,urlopen占用了大量时间。有没有一种方法可以更快...

29得票6回答
Python 2.6版本之前的urllib2.urlopen()超时设置

urllib2文档中提到在Python 2.6中添加了timeout参数。不幸的是,我的代码库运行在Python 2.5和2.4平台上。 有没有其他方法来模拟超时?我只想让代码与远程服务器通信一定的时间。 也许有其他替代的内置库?(不想安装第三方库,如pycurl)

27得票5回答
使用urlopen.read返回的“类字节对象”与JSON一起使用?

我只是想尝试一些非常简单的Python JSON命令,但我遇到了一些问题。urlopen('http://www.similarsitesearch.com/api/similar/ebay.com').read() 应该输出'{"num":20,"status":"ok","r0":"htt...

19得票3回答
Python urllib2 urlopen响应

Python urllib2 urlopen响应:<addinfourl at 1081306700 whose fp = <socket._fileobject object at 0x4073192c>> 期望结果: {"token":"mYWmzpunvasAT...

18得票3回答
告诉urllib2使用自定义DNS

我想告诉urllib2.urlopen(或自定义的opener)使用127.0.0.1(或::1)来解析地址。但我不想改变/etc/resolv.conf。 一种可能的解决方案是使用类似于dnspython这样的工具查询地址,并使用httplib构建自定义url opener。不过,我更喜欢...