在Keras中,损失函数的输出形状应该是什么?

7
例如,如果我正在进行图像预测,并且我的网络输出是形状为[299,299,3]的张量,则如何编写损失函数loss(y_true,y_pred)。我应该期望y_truey_pred具有形状[batch_size,299,299,3],并且损失函数的输出是形状数组[batch_size]还是其他某些形状?
1个回答

0

编辑:我的第一个答案是基于您的输入为(299,299,3),而不是您的输出。非常抱歉!“图像预测”相当模糊,但如果您的意图确实是将3D张量作为y_pred输出,则仍然可能需要创建一个生成标量的损失函数。这是因为样本的损失需要与所有其他样本的误差汇总。联合损失允许模型推广其行为。请参见this wiki snippet。实质上,多维损失函数等效于在随机梯度下降中将批次大小设置为1。

第一个答案:
通常情况下,您希望您的损失函数输出单个数字。如果您正在进行图像分类,则几乎肯定希望您的损失函数输出单个数字。

假设“图像预测”意味着“图像分类”,则您的输入很可能是您的图像,而y_pred通常将是一批长度等于可能类别数的一维数组。

你的 y_true 将是一个批量的与 y_pred 相同大小的 one_hot 编码数组。这意味着它们是长度等于图像可分类数量的数组。不同之处在于,y_true 向量除了对应图像类别的索引处有一个 1 外,其余位置都是 0。

例如,如果你的图像只包括狗、猫或羊,则有 3 个可能的类别。假设 0 表示狗,1 表示猫,2 表示羊。那么如果一张图片是一只羊,则相应的 y_true 将是 [0,0,1]。如果这张图片是一只猫,则 y_true 将是 [0,1,0]。如果你的图像是一只熊,你的分类器将会感到困惑...

至于损失函数,通常你可以计算每个 y_pred 与相应的 y_true 的误差,并将批次中所有差异加起来。这将得到一个代表批次总损失的单个数字。

Keras已经很好地设置了损失函数处理。当您拥有一个模型时,您可以调用model.compile(loss='some_loss_fxn_here', optimizer='some_optimizer_here')并指定要使用的损失函数作为字符串。您可能希望使用'categorical_crossentropy'

根据您提出问题的方式,您可能需要先创建一个模型,然后再考虑所有这些内容。

您可以尝试类似于以下内容:

from keras.models import Sequential, Model
from keras.layers import Conv2D, MaxPooling2D, Dense, Flatten, Dropout
from keras.layers.normalization import BatchNormalization

def conv_block(x, depth, filt_shape=(3,3), padding='same', act='relu'):
    x = Conv2D(depth, filt_shape, padding=padding, activation=act)(x)
    x = BatchNormalization()(x)
    pool_filt, pool_stride = (2,2), (2,2)
    return MaxPooling2D(pool_filt, strides=pool_stride, padding='same')(x)

# Don't forget to preprocess your images!
inputs = Input(shape(299,299,3))
layer1 = conv_block(inputs, 64) # shape = [batch_size,150,150,64]
layer1 = Dropout(.05)(layer1) # Note early dropout should be low
layer2 = conv_block(layer1, 64) # shape = [batch_size,75,75,64]
layer2 = Dropout(.1)(layer2)
layer3 = conv_block(layer2, 64) # shape = [batch_size,38,38,64]
layer3 = Dropout(.2)(layer3)
layer4 = conv_block(layer3, 64) # shape = [batch_size,19,19,64]
layer4 = Dropout(.25)(layer4)
layer5 = conv_block(layer4, 64) # shape = [batch_size,10,10,30]

flat_layer = Flatten()(layer5) # shape = [batch_size, 3000]
flat_layer = Dropout(.4)(flat_layer)

def dense_block(x, output_dim, act='relu'):
    x = Dense(output_dim, activation=act)(x)
    return BatchNormalization()(x)

layer6 = dense_block(flat_layer, 300)
layer7 = dense_block(layer6, 50)

n_labels = 10 # change this number depending on the number of image classes
outputs = dense_block(layer7, n_labels, 'softmax')

model = Model(inputs=inputs, outputs=outputs)
model.compile(loss='categorical_crossentropy', optimizer='adam')

# Be sure to make your own images and y_trues arrays!
model.fit(x=images,y=y_trues,batch_size=124)

如果以上方法都没有帮助,请查看教程或尝试 fast.ai 课程。fast.ai 课程可能是世界上最好的东西,所以我建议从那里开始。

3
谢谢详细的回答。虽然我更希望解释Keras的行为,而不是一般的深度学习。目前不清楚如何使用Keras进行结构预测(比图像预测更为确立的术语)。 - DikobrAz

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接