卷积神经网络中全连接层的输出是什么？

Question

7

例如，在Caffe中，应该在内积（全连接）层中定义num_output。这个输出数字的意义是什么？

- cerebrou

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Anoop K. Prabhu · Accepted Answer

考虑全连接层是将一个1xN矩阵和一个NxM矩阵进行简单的矩阵乘法运算，得到一个维度为1xM的结果。

假设我们将大小为56x56x3的数据作为全连接层的输入，并且权重的维度为未知的NxM。假设我们设置num_output= 4096。

为了计算这些数据，全连接层将56x56x3维度的输入数据重新塑形为1xN，即1x（56x56x3）= 1x9408。

因此，

N = 9408

M = num_output = 4096

实际上，我们需要执行(1x9408)矩阵-（9408x4096）矩阵乘法运算。

如果将num_output值更改为例如100，则会执行(1x9408)矩阵-（9408x100）矩阵乘法运算。

因此，增加num_output值将增加模型学习的权重参数数量。