Keras：如何连接两个卷积神经网络？

Question

我正在尝试在这篇文章中实现CNN模型（https://arxiv.org/abs/1605.07333）。

这里，他们有两个不同的上下文作为输入，分别由两个独立的卷积和最大池化层进行处理。在池化之后，他们将结果连接起来。

假设每个卷积神经网络都像这样建模，我该如何实现上述模型？

def baseline_cnn(activation='relu'):

model = Sequential()
model.add(Embedding(SAMPLE_SIZE, EMBEDDING_DIMS, input_length=MAX_SMI_LEN))
model.add(Dropout(0.2))
model.add(Conv1D(NUM_FILTERS, FILTER_LENGTH, padding='valid', activation=activation, strides=1))
model.add(GlobalMaxPooling1D())
model.add(Dense(1))
model.add(Activation('sigmoid'))
model.compile(loss='binary_crossentropy', optimizer='adam',  metrics=['accuracy'])

return model

谢谢您的提前帮助！ 最终代码：我只是使用了@FernandoOrtega的解决方案：

def build_combined(FLAGS, NUM_FILTERS, FILTER_LENGTH1, FILTER_LENGTH2):
    Dinput = Input(shape=(FLAGS.max_dlen, FLAGS.dset_size))
    Tinput = Input(shape=(FLAGS.max_tlen, FLAGS.tset_size))


    encode_d= Conv1D(filters=NUM_FILTERS, kernel_size=FILTER_LENGTH1,  activation='relu', padding='valid',  strides=1)(Dinput)
    encode_d = Conv1D(filters=NUM_FILTERS*2, kernel_size=FILTER_LENGTH1,  activation='relu', padding='valid',  strides=1)(encode_d)
    encode_d = GlobalMaxPooling1D()(encode_d)

    encode_tt = Conv1D(filters=NUM_FILTERS, kernel_size=FILTER_LENGTH2,  activation='relu', padding='valid',  strides=1)(Tinput)
    encode_tt = Conv1D(filters=NUM_FILTERS*2, kernel_size=FILTER_LENGTH1,  activation='relu', padding='valid',  strides=1)(encode_tt)
    encode_tt = GlobalMaxPooling1D()(encode_tt)

    encode_combined = keras.layers.concatenate([encode_d, encode_tt])


    # Fully connected 
    FC1 = Dense(1024, activation='relu')(encode_combined)
    FC2 = Dropout(0.1)(FC1)
    FC2 = Dense(512, activation='relu')(FC2)

    predictions = Dense(1, kernel_initializer='normal')(FC2) 

    combinedModel = Model(inputs=[Dinput, Tinput], outputs=[predictions])
    combinedModel.compile(optimizer='adam', loss='mean_squared_error', metrics=[accuracy])

    print(combinedModel.summary())

    return combinedModel

- patti_jane

---

我也遇到了同样的问题。你能在这里添加你的最终源代码吗？ - Chris_007

@BarotShalin 我已经更新了问题并附上了最终代码。 - patti_jane

Answer 1

如果您想连接两个子网络，应使用keras.layer.concatenate函数。

此外，我建议您使用Functional API，因为它更容易设计复杂的网络，例如：

def baseline_cnn(activation='relu')

    # Defining input 1
    input1 = Embedding(SAMPLE_SIZE, EMBEDDING_DIMS, input_length=MAX_SMI_LEN)
    x1 = Dropout(0.2)(input)
    x1 = Conv1D(NUM_FILTERS, FILTER_LENGTH, padding='valid', activation=activation, strides=1)(x1)
    x1 = GlobalMaxPooling1D()(x1)

    # Defining input 2
    input2 = Embedding(SAMPLE_SIZE, EMBEDDING_DIMS, input_length=MAX_SMI_LEN)
    x2 = Dropout(0.2)(input)
    x2 = Conv1D(NUM_FILTERS, FILTER_LENGTH, padding='valid', activation=activation, strides=1)(x2)
    x2 = GlobalMaxPooling1D()(x2)

    # Merging subnetworks
    x = concatenate([input1, input2])

    # Final Dense layer and compilation
    x = Dense(1, activation='sigmoid')
    model = Model(inputs=[input1, input2], x)
    model.compile(loss='binary_crossentropy', optimizer='adam',  metrics=['accuracy'])

return model

编译此模型后，您可以通过 model.fit([data_split1, data_split2]) 进行拟合/评估，其中 data_split1 和 data_split2 是不同的上下文输入。

有关 Keras 文档中多输入的更多信息，请参见： 多输入和多输出模型。

- Fernando Ortega

---

抱歉晚了，但是你的代码应该像这样 x1 = Dropout(0.2)... x1 = GlobalMaxPooling1D()(x1) 吗？ - JZ_42