我有一个图像数据和元数据,其中包含图像的描述,如何使用图像和元数据一起训练图像?

6

我需要构建一个皮肤病变分类器,并有图像数据集和元数据,其中描述包括分类信息。 请问如何匹配数据和图像,以及如何在训练卷积神经网络时使用这两个元素。


你能发布一个数据集的样本或者至少是描述吗?你的元数据有哪些属性,你正在进行什么类型的分类任务? - Saket Kumar Singh
@SaketKumarSingh OP 可能需要一些点赞才能发布图片。 - Mark Setchell
@SaketKumarSingh 这个数据集是皮肤上的痣的图像,元数据包括图像来自身体的哪个部位,是否患有癌症,以及患者的年龄和性别等详细信息。 - pooja baluja
1个回答

3
似乎您正在询问如何在您尝试训练的神经网络中将非数字数据纳入元数据。希望您会发现this关于tf.feature_columns的文档有所帮助。它将帮助您将分类、序数等作为数字列纳入其中。
要使用这两种信息来训练模型,一种方法是:
  1. 对图像应用CNN并获得密集表示
  2. 同时,构建另一个NN以通过您的元数据
  3. 连接来自两个NN的两个结果张量,然后将其全部通过softmax
希望这能有所帮助。
现在上述提到的tf.feature_columns不再推荐用于新代码。而是使用Keras预处理层

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接