我正在训练一个tensorflow keras顺序模型,使用一个大小约为20GB的基于文本分类的PostgreSQL数据库中的数据,并且需要为模型提供类权重。 以下是我的操作步骤:
class_weights = sklearn.utils.class_weight.compute_class_weight('balanced', classes, y)
model.fit(x, y, epochs=100, batch_size=32, class_weight=class_weights, validation_split=0.2, callbacks=[early_stopping])
由于我无法将整个东西加载到内存中,所以我想在Keras模型中使用fit_generator方法。
然而,我该如何计算这些数据的类别权重?sklearn没有提供任何特殊的函数来处理这个问题,它是否是处理这个问题的正确工具?
我考虑对多个随机样本进行操作,但是否有更好的方法可以使用全部数据?