43得票3回答
grequests是如何实现异步的?

我已经使用 Python requests 库有一段时间了,最近需要异步地发出请求,也就是说,我想发送 HTTP 请求后,让我的主线程继续执行,并在请求返回时调用回调函数。 自然而然,我找到了 grequests 库(https://github.com/kennethreitz/grequ...

28得票3回答
将<class 'requests.models.Response'>转换为Json格式

我从未进行过面向对象编程,只是进行基本的脚本编写。我正在尝试使用grequests。rs = (grequests.get('https://api.github.com/repositories?since='+str(page), auth=(login, password)) for p...

24得票2回答
使用grequests向sourceforge发出数千个get请求,出现“超过url的最大重试次数”错误。

我对这一切都很陌生;我需要获取几千个sourceforge项目的数据,以便撰写论文。这些数据都以json格式在以下网址中自由提供:http://sourceforge.net/api/project/name/[project name]/json。我有一个包含数千个此类URL的列表,并且正在...

19得票3回答
使用Python 3.7中的Requests库进行异步请求

我需要使用Requests库进行异步请求。在Python 3.7中,如果我尝试from requests import async,会出现SyntaxError: invalid syntax。 async已成为Python 3.7中的保留字。我该如何解决这个问题?

18得票2回答
在requests库中,如何避免“HttpConnectionPool已满,丢弃连接”警告?

我正在使用带有会话的Python请求库:def _get_session(self): if not self.session: self.session = requests.Session() return self.session 有时候在我的日志中会看到...

15得票1回答
如何使用grequests进行HTTP POST请求

我尝试了以下方法:import grequests urls = ['http://localhost/test', 'http://localhost/test'] params = {'a':'b', 'c':'d'} rs = (grequests.post(u, params) f...

12得票2回答
理解requests和grequests的区别

我正在处理以下基本过程: 获取url列表。 从每个url获取Response对象。 从每个Response的text创建BeautifulSoup对象。 从该BeautifulSoup对象中提取特定标记的文本。 据我理解,这似乎非常适合使用grequests: GRequests允...

11得票2回答
Celery + Eventlet + 非阻塞请求

我正在使用Python的requests库在celery的workers中进行大量(约10个/秒)的API调用(包括GET,POST,PUT,DELETE)。每个请求需要大约5-10秒完成。 我尝试在具有1000并发的eventlet池中运行celery工作进程。 由于requests是阻...

10得票2回答
GRequests猴子补丁警告

每次使用模块时,我都会收到以下警告,尽管模块按预期工作: /usr/local/lib/python3.7/site-packages/grequests.py:21: MonkeyPatchWarning: Monkey-patching ssl after ssl has already...

10得票2回答
在Python中使用多进程和请求并行发送POST请求

我有以下这段小的代码片段:import requests import multiprocessing header = { 'X-Location': 'UNKNOWN', 'X-AppVersion': '2.20.0', 'X-UniqueId': '2397123', 'X-User...