Keras的凯明初始化

Question

我的模型层采用 relu激活函数。 我正在使用 he_uniform作为内核初始化器，但我发现 kaiming初始化比he_uniform表现更好 。我正在使用keras，并且keras没有kaiming初始化器，如何实现它？

- claymorehack

---

Keras没有，因为它已经有了。你提到的初始化方法是由Kaiming He共同编写的，所以基本上你所说的两种方法其实是完全相同的东西。请参阅论文。 - null

@null 哦，天啊，没错，我感觉自己好蠢。 - claymorehack

这不是关于你的问题。而是因为不同的框架使用了不同的命名方式。Tensorflow通过Keras使用“He”，而Torch则使用“Kaiming”作为名称。我会提供一个答案。 - null

Answer 1

命名方式的混淆源于使用姓氏或名字作为命名区别。基本上，该论文是由Kaiming He共同提出的初始化方法。然而，框架实现有所不同；

Tensorflow通过Keras后端使用名称为He的初始化方法。Torch使用Kaiming作为方法名称。

事实上，相同的情况也适用于Glorot/Xavier初始化。请参阅由Xavier Glorot共同撰写的论文。

在这里，Tensorflow通过Keras使用姓氏Glorot，而Torch使用名字Xavier。

- null