我希望在TensorFlow上实现一个通用模块,该模块接收一组TensorFlow模型(这里称为专家),并从中构建出一个混合专家模型,如下图所示,该图来自http://www.aclweb.org/anthology/C16-1133。请注意,保留HTML标签。
所以,这个模型接收一个输入
重要的是,该模块适用于批量训练。我正在寻找一些已经实现的内容,并找到了https://github.com/AmazaspShumik/Mixture-Models,尽管它不是基于TensorFlow的。
因此,我现在正在寻找关于构建此模块的最佳方法的指针和建议,特别是关于一些已经实现的TF层或包装器,它们对于此应用程序特别合适。
x
,并将其馈送到不同的专家以及门控网络。最终输出对应于集成输出
,它是由来自不同专家的输出乘以相应的门控函数gm
的总和给出的,该函数来自门控网络。所有专家网络都是同时训练的。重要的是,该模块适用于批量训练。我正在寻找一些已经实现的内容,并找到了https://github.com/AmazaspShumik/Mixture-Models,尽管它不是基于TensorFlow的。
因此,我现在正在寻找关于构建此模块的最佳方法的指针和建议,特别是关于一些已经实现的TF层或包装器,它们对于此应用程序特别合适。