在Caffe CNN的架构中计算乘加操作（MAC）的数量

Question

最近我一直在对一些卷积神经网络进行基准测试，包括时间、乘加操作（MAC）数量、参数数量和模型大小。我看到了一些类似的SO问题(这里和这里)，在后者中，他们建议使用Netscope CNN分析器。这个工具可以通过输入我的Caffe网络定义来计算我需要的大部分内容。

然而，一些文章和互联网上出现的一些架构的乘加操作数量与Netscope输出的不匹配，而其他架构则匹配。我总是将FLOPs或MAC与netscope的MACC列进行比较，但有一个约为10倍的因素我在某个时候忘记了(详见下表)。

Architecture  ----  MAC (paper/internet) ---- macc column in netscope
VGG 16                    ~15.5G                       ~157G
GoogLeNet                 ~1.55G                       ~16G

参考 GoogLeNet macc number 和 VGG16 macc number 在Netscope中的相关信息。

有没有使用过该工具的人能够指出我在阅读Netscope输出时犯了什么错误？

- rafaspadilha

Answer 1

我已经找到了导致Netscope和我在论文中找到的信息不一致的原因。在Nestcope中，大多数预设架构都使用批处理大小为10（例如VGG和GoogLeNet），因此乘以10的因子会使乘加运算的数量增加10倍。请注意，HTML标签已被保留。

- rafaspadilha