如何在Clojure中执行同步并行函数？

Question

如何在Clojure中执行同步并行函数？

3

我有一个应用程序，其初始流程可以并行完成：

获取两个JSON文档（我使用clj-http来完成）
解析这些文档（仅提取所需数据）
合并结果
将它们转储到一个文件中

因此，大致如下：

some-entry-point
      /\
     /  \
    /    \
   /      \
fetchA   fetchB
  |         |
  |         |
parseA   parseB
  \        /
   \      /
    \    /
     \  /
      \/
     join
      |
      |
     dump

如何正确且最新地实现这一目标？

我所发现的方法有：

- Kamil Lelonek

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Leonid Beschastny · Accepted Answer

既然你在这里只有两个分支，最好使用future函数将并行作业分派到单独的线程中。future将返回一个未来对象（一个特殊的承诺，当作业完成时将自动解决）。

以下是它的样子：

(defn some-entry-point
  [obja objb]
  (let [pa (-> (fetchA obja)
               parseA
               future)
        pb (-> (fetchB objb)
               parseB
               future)]
    (-> (join @pa @pb)
        dump)))

@ 是 deref 函数的快捷方式（读取宏）。

当然，您可以在主线程中执行其中一个分支，仅创建一个 future 对象：

(defn some-entry-point
  [obja objb]
  (let [p (-> (fetchB objb)
              parseB
              future)]
    (-> (fetchA obja)
        parseA
        (join @p)
        dump)))

你可以推广这种方法，使用一些通用的fetch和parse函数来获取和解析多个对象，使用pmap进行并行处理：

(defn some-entry-point
  "Fetch and parse multiple objects in parallel"
  [objs]
  (->>  objs
        (pmap (comp parse fetch))
        (apply join)
        dump))