我目前正在尝试在PHP中实现一个作业队列。该队列将作为批处理作业进行处理，并应能够并行处理一些作业。
我已经进行了一些研究，发现了几种实现方法，但我并不真正了解它们的优缺点。
例如，通过多次调用脚本来使用fsockopen进行并行处理，如此处所述：
在PHP中轻松进行并行处理
我找到的另一种方式是使用curl_multi函数。
curl_multi_exec PHP文档
但是，我认为这两种方法会为创建主要运行在后台的队列的批处理增加相当大的开销？
我还阅读了有关pcntl_fork的信息，这似乎也是处理问题的一种方法。但是，如果你不真正知道自己在做什么（就像我现在一样），那看起来会非常混乱。
我还看过Gearman，但在那里，我还需要根据需要动态生成工作线程，而不仅仅运行一些线程，然后让gearman作业服务器将其发送到空闲的工人。特别是因为线程应在执行完一个作业后干净地退出，以免遇到潜在的内存泄漏（代码在该问题上可能不完美）。
Gearman入门
因此，我的问题是，你如何处理PHP中的并行处理？为什么选择你的方法，不同方法可能有哪些优缺点？
exec()。它简单而干净。你基本上需要构建一个线程管理器和线程脚本，以完成你所需的功能。fsockopen()，因为它会打开一个服务器连接，并且可能会达到Apache的连接限制。curl函数。pnctl，因为它需要可用的pnctl扩展，并且你必须跟踪父/子关系。exec 命令会阻塞，直到命令执行完毕，所以我不能并行运行任务，或者我理解有误吗？ - enricog好的，我想我们在这里有三个选择：
A. 多线程：
PHP 不支持原生的多线程。但有一个 PHP 扩展（实验性的）叫做 pthreads (https://github.com/krakjoe/pthreads) 可以让你实现多线程。
B. 多进程：
有三种方式可以实现：
C. 分布式并行处理：
它是如何工作的：
客户端 应用程序向引擎（MQ 引擎）发送数据（也可以是 JSON 格式的消息）“可以是本地或外部 Web 服务”MQ 引擎 将数据“大多数情况下存储在内存中，可选地存储在数据库中”存储在队列中（您可以定义队列名称）客户端 应用程序请求 MQ 引擎按顺序（FIFO 或基于优先级）处理数据（消息）“您还可以从特定队列请求数据”。一些 MQ 引擎：
更多信息可在http://queues.io找到。
采用本地PHP (7.2+) Parallel 库，即：
use \parallel\Runtime;
$sampleFunc = function($num, $param2, $param3) {
echo "[Start: $num]";
sleep(rand(1,3) );
echo "[end:$num]";
};
for($i = 0; $i < 11; $i++) {
\parallel\run($sampleFunc, [$param1=$i, $param2=null, $param3="blabla"] );
}
for ($i = 0; $i < 11; $i++) {
echo " <REGULAR_CODE> ";
sleep(1);
}
请查看Amp - 简化异步并发 - 这似乎是我见过的最成熟的PHP库，用于并行处理。
这个类发布在PHP的exec()函数的评论中，为创建新进程和跟踪它们提供了一个真正简单的起点。
例子：
// You may use status(), start(), and stop(). notice that start() method gets called automatically one time.
$process = new Process('ls -al');
// or if you got the pid, however here only the status() metod will work.
$process = new Process();
$process.setPid(my_pid);
// Then you can start/stop/check status of the job.
$process.stop();
$process.start();
if ($process.status()) {
echo "The process is currently running";
} else {
echo "The process is not running.";
}
还有一篇很棒的文章在PHP中进行异步处理或多任务处理，解释了各种方法的优缺点：
然后，还有这个简单的教程，并被封装成一个小库叫做Doorman。
希望这些链接为更多研究提供一个有用的起点。
pecl install parallel来安装它，但它有一些先决条件：
extension=parallel.so添加到其中。如果您的应用程序将在Unix/Linux环境下运行，建议您采用分叉选项。这基本上很容易实现。我曾经用它来管理Cron并编写代码，以便在无法使用分叉选项时可以恢复到Windows友好的代码路径。
多次运行整个脚本的选项确实会增加相当大的开销，正如您所说。如果您的脚本很小，这可能不是问题。但是，您可能会习惯于通过您选择的方式在PHP中进行并行处理。下一次，如果您有一个使用200MB数据的作业，这可能非常困难。因此，最好学习一种适合您的方法。
我还测试了Gearman，我非常喜欢它。有一些要考虑的事情，但总体而言，它提供了一种非常好的方式，可以将作业分发到运行不同语言编写的不同应用程序的不同服务器上。除了设置它之外，实际上从PHP或任何其他语言内部使用它都非常简单。
对于您需要做的事情来说，这可能是过度杀伤。但是，它将为您打开处理数据和作业的新可能性，因此我建议您尝试Gearman。
我更喜欢使用exec()和gearman。 exec()简单易用，不需要连接，占用的内存较少。 gearman需要建立套接字连接，工作进程会占用一些内存。 但是gearman比exec()更加灵活和快速。最重要的是，它可以在其他服务器上部署工作进程。如果工作需要耗费时间和资源，那么我会在我的当前项目中使用gearman。
在“PHP中的简单并行处理”中描述的方法真是太可怕了——原则上没问题，但实现方式？正如你已经指出的那样，curl_multi_函数提供了更好的实现方式。
但我认为这两种方法会增加很多开销
是的，你可能不需要客户端和服务器HTTP堆栈来处理任务，但除非你为Google工作，否则你的开发时间比硬件成本更昂贵，并且有很多工具可以管理HTTP/分析性能，而且有一个定义良好的标准涵盖状态通知和身份验证等内容。
你实现解决方案的方式很大程度上取决于你需要的事务完整性级别以及是否需要按顺序处理。
在你提到的方法中，我建议专注于使用curl_multi_的HTTP请求方法。但如果你需要良好的事务控制/按顺序交付，则一定要在消息源和处理代理之间运行代理守护程序（这里有一个适用于代理的单线程服务器框架here）。请注意，处理代理应一次只处理一条消息。
如果您需要高度可扩展的解决方案，那么请看一下适当的消息队列系统，例如RabbitMQ。