神经网络输出：缩放输出范围

Question

3

我的神经网络（3层）的输出层使用sigmoid作为激活函数，只能输出[0-1]范围内的值。但是，如果我想要训练它输出超出[0-1]的值，比如在千位数级别上，我该怎么办？

例如，如果我想要进行以下训练：

输入 ----> 输出

0 0 -------> 0

0 1 -------> 1000

1000 1 -----> 1

1 1 --------> 0

我的程序可以处理AND、OR、XOR等二进制输入输出的情况。

有人建议使用以下方法：

激活函数：

y = lambda*(abs(x)1/(1+exp(-1(x))))

激活函数的导数： lambda*(abs(y)y(1-y))

这对于上述训练模式没有收敛（如果我没有做错什么的话）。请问是否有其他建议？

- Ashikur Rahman

2个回答

2

将输出值放大到所需的值，或将训练数据归一化为[0,1]范围是显而易见的解决方案。我想不出任何先验原因需要缩放是线性的（尽管它显然希望是单调递增的），因此您可以在这里尝试对数函数。

您正在处理什么样的问题，以便具有如此大的范围？

- Novak

- Ashikur Rahman

你的输入就是它们本来的样子，我会让它们保持原样。你要做的是匹配输出神经元提供的范围，以符合你的训练数据所规定的值。你可以通过直接更改输出神经元的传递函数，或在需要时将其放大，或将训练数据所规定的输出缩小来实现这一点。从某种意义上说，这些方法都是等效的。神经元保持不变。 - Novak

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Amro · Accepted Answer

对于分类问题，通常在输出层使用sigmoid / logistic激活函数以获得在[0,1]范围内的合适概率值；与多类别分类中的1-of-N编码配合使用，每个节点的输出将代表实例属于每个类别值的概率。

另一方面，如果你有一个回归问题，则不需要在输出上应用其他函数，只需获取原始线性组合输出即可。网络将自动学习权重以给出任何输出值（甚至在数千个数值）。

你还需要注意的是，对于输入特征，要进行缩放（例如通过将所有特征归一化为[-1,1]的范围）。