什么是递归函数的网络类比？

Question

这是一个来自 Wolfram Science Conference 的野心勃勃的问题：是否存在一种递归函数的网络类比？可能是一种迭代的“map-reduce”模式吗？如果将交互添加到迭代中，事情就变得复杂了：大量相互作用实体的连续迭代可以产生非常复杂的结果。我们需要找到一种方法，以便能够看到定义复杂系统的无数相互作用的后果。在包含嵌套传播循环的连通节点的迭代网络中，我们能否找到递归函数的对应物呢？

分布式计算的基本模式之一是Map-Reduce：它可以在元胞自动机（CA）和神经网络（NN）中找到。 NN中的神经元通过它们的突触收集信息（reduce），并将其发送给其他神经元（map）。CA中的细胞类似地行动，它们从它们的邻居处收集信息（reduce），应用过渡规则（reduce），然后再次向邻居提供结果。因此，如果存在递归函数的网络类比，则Map-Reduce肯定是其中重要的一部分。哪些迭代的“map-reduce”模式存在？某些类型的“map-reduce”模式会导致某些类型的流甚至漩涡吗？我们能否为map-reduce模式制定一个演算法？

- 0x4a6f4672

Answer 1

我来尝试回答有关神经网络中递归的问题，但我真的不明白map-reduce如何与此相关。我知道神经网络可以执行分布式计算，然后将其缩减为更本地的表示，但是“map-reduce”这个术语是这种分布式/本地管道的一个非常特定的品牌，主要与Google和Hadoop相关。

无论如何，你的问题的简单答案是，在神经网络中没有一种“通用”的递归方法；实际上，实现神经网络中的通用角色-值绑定这个相关但更简单的问题目前仍然是一个未解决的问题。

为什么像角色绑定和神经网络（ANNs）中的递归这样的事情如此困难的一般原则是，由于本质上神经网络非常相互依赖；事实上，这就是它们大部分计算能力的来源。而函数调用和变量绑定都是非常明确的操作；它们包含的内容是一个全有或全无的事情，这种离散性在许多情况下都是一个有价值的属性。因此，在不牺牲任何计算能力的情况下在其中一个内部实现另一个是非常棘手的。

以下是一些试图解决部分问题的论文样本。幸运的是，很多人都觉得这个问题非常有趣！

视觉分割和动态绑定问题：提高人工神经网络浮游生物分类器的鲁棒性（1993年）

解决组合连接主义的绑定问题的方法

一种（有点）新的绑定问题解决方案

- zergylord

---

有趣的回答，尽管我不确定绑定问题与问题有什么关系。 - 0x4a6f4672

我知道map-reduce是一个与Google和Hadoop主要相关的非常具体的术语。我认为他们可能在分布式系统中发现了一件非常基本的事情，即交互式计算的基本抽象。在神经网络中，我们在许多层面上都有map-reduce模式：从底部神经元之间的信息拉伸和折叠，到中间神经元集合的合并和分裂，再到顶部信息的收集和减少以做出决策。这其中有一些非常基本的东西。 - 0x4a6f4672