考虑一个 PHP Web 应用程序,其目的是接受用户请求启动通用异步作业,然后创建工作进程 / 线程来运行该作业。这些作业不是特别 CPU 或内存密集型,但预计在 I/O 调用上经常阻塞。每秒最多只能启动一两个作业,但由于长时间运行,可能有许多作业同时运行。 因此,作业并行运行至关重要。此外...
我正在进行一个Perl项目,需要在单台机器上(UNIX)的多个进程之间分发任务的FIFO消息队列。队列大小可能会增长到1M个作业。 我已经尝试过IPC::DirQueue,但是当有大约50k个作业排队时,它变得非常慢。有没有好的替代该模块的Perl模块呢?
谷歌文档中关于Bucket_size参数的解释只给出了一个简要定义,一个维基百科链接和一个示例: bucket_size 限制队列处理的突发性, 即更高的bucket_size允许队列执行速率的更大波动。 例如,考虑一个速率为5/s且bucket_size为10的队列。 如果该...
我有几个需要在后台执行的操作,但它们必须按顺序同步执行。 我想知道是否使用Task.ContinueWith方法来实现这一点是一个好主意。您是否预见到任何问题? 我的代码大致如下: private object syncRoot =new object(); private Task l...
我正在寻找一种好的方法来捕获RQ作业的超时,以便在超时后可以重新排队。 基本上,正确的解决方案将提供一种方式(例如,在工作者中使用异常处理程序或类似方法),以重新排队超时的作业。此外,如果作业返回到failed队列,那也是一个不错的答案。 非常感谢!任何帮助都将不胜感激!
我需要一个任务队列,以便将一些重操作从uwsgi上下文中移出,而不会影响用户。由于我们已经在使用uwsgi应用服务器,如果可以使用uwsgi spooler作为任务队列,那么这将是可取的。我想知道它是如何工作的。排队的任务是否仍然在其他uwsgi worker中执行?如果是,则服务器仍然会过载...
我正在寻找一个Python库/框架来管理任务分配(例如,任务队列)。 然而,任务需要专门的工人:工人A只能处理类型为a的任务,工人B和C只能处理类型为b等的任务。 此外,这些工人将在不同的计算机上运行,并且不能共享相同的代码库(因为,就像在制造线上一样,每个任务都绑定到控制特定硬件的计算机上,...
我需要访问 Bull Queue 来查看作业统计信息并在页面上展示。我正在使用 bull-repl 通过 CLI 访问队列,如下所示: > bull-repl BULL-REPL> connect marathon reddis://localhost:6379 Connect...
我们有一个 cron 作业,每小时在后端模块上运行并创建任务。cron 作业在 Cloud SQL 数据库上运行查询,并且任务对其他服务器进行 HTTP 调用并更新数据库。通常情况下,它们运行得很好,即使创建了数千个任务,但有时会“卡住”,日志中没有任何可以解释情况的内容。 例如,昨天我们监...
在 Postgres 12 数据库中,我有一个函数包含多个查询语句 (SELECT, UPDATE, ...),这些语句一起需要大约 20 分钟才能完成。 我在顶部进行了一个检查,如果 status 不是“running”,则执行一个 UPDATE。 create or replace fu...