使用tensorboard.plugins.hparams api进行超参数调整,配合自定义损失函数

3

我正在构建一个神经网络,并使用自定义损失函数(相当长且复杂)。我的网络是无监督的,因此我的输入和期望输出是相同的,而且目前我只使用单个输入(仅尝试为单个输入优化损失)。

我正在尝试使用tensorboard.plugins.hparams api进行超参数调整,并不知道如何在其中加入我的自定义损失函数。我正尝试按照Tensorflow 2.0 网站上建议的代码进行操作。

这是该网站的建议内容:

    HP_NUM_UNITS = hp.HParam('num_units', hp.Discrete([16, 32]))
    HP_DROPOUT = hp.HParam('dropout', hp.RealInterval(0.1, 0.2))
    HP_OPTIMIZER = hp.HParam('optimizer', hp.Discrete(['adam', 'sgd']))

    METRIC_ACCURACY = 'accuracy'

    with tf.summary.create_file_writer('logs/hparam_tuning').as_default():
      hp.hparams_config(
        hparams=[HP_NUM_UNITS, HP_DROPOUT, HP_OPTIMIZER],
        metrics=[hp.Metric(METRIC_ACCURACY, display_name='Accuracy')],
          )

我需要进行更改,因为我不想使用dropout层,所以可以将其删除。关于METRIC_ACCURACY,我不想使用accuracy,因为它在我的模型中没有用处,而是使用自定义的损失函数。如果我要执行常规的fit model,则会像这样:

    model.compile(optimizer=adam,loss=dl_tf_loss, metrics=[dl_tf_loss])

所以我尝试将建议的代码更改为以下代码,但是我遇到了一个错误,想知道我应该如何更改它以适合我的需求。这是我尝试过的内容:

    HP_NUM_UNITS = hp.HParam('num_units', hp.Discrete([16, 32]))
    HP_OPTIMIZER = hp.HParam('optimizer', hp.Discrete(['adam', 'sgd']))

    #METRIC_LOSS = dl_tf_loss

    with tf.summary.create_file_writer('logs/hparam_tuning').as_default():
      hp.hparams_config(hparams=[HP_NUM_UNITS, HP_OPTIMIZER],metrics= 
       [hp.Metric(dl_tf_loss, display_name='Loss')])

它给我以下错误:
---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-26-27d079c6be49> in <module>()
      5 
      6 with tf.summary.create_file_writer('logs/hparam_tuning').as_default():
----> 7   hp.hparams_config(hparams=[HP_NUM_UNITS, HP_OPTIMIZER],metrics=[hp.Metric(dl_tf_loss, display_name='Loss')])
      8 

3 frames
/usr/local/lib/python3.6/dist-packages/tensorboard/plugins/hparams/summary_v2.py in hparams_config(hparams, metrics, time_created_secs)
    127       hparams=hparams,
    128       metrics=metrics,
--> 129       time_created_secs=time_created_secs,
    130   )
    131   return _write_summary("hparams_config", pb)

/usr/local/lib/python3.6/dist-packages/tensorboard/plugins/hparams/summary_v2.py in hparams_config_pb(hparams, metrics, time_created_secs)
    161       domain.update_hparam_info(info)
    162     hparam_infos.append(info)
--> 163   metric_infos = [metric.as_proto() for metric in metrics]
    164   experiment = api_pb2.Experiment(
    165       hparam_infos=hparam_infos,

/usr/local/lib/python3.6/dist-packages/tensorboard/plugins/hparams/summary_v2.py in <listcomp>(.0)
    161       domain.update_hparam_info(info)
    162     hparam_infos.append(info)
--> 163   metric_infos = [metric.as_proto() for metric in metrics]
    164   experiment = api_pb2.Experiment(
    165       hparam_infos=hparam_infos,

/usr/local/lib/python3.6/dist-packages/tensorboard/plugins/hparams/summary_v2.py in as_proto(self)
    532         name=api_pb2.MetricName(
    533             group=self._group,
--> 534             tag=self._tag,
    535         ),
    536         display_name=self._display_name,

TypeError: <tensorflow.python.eager.def_function.Function object at 0x7f9f3a78e5c0> has type Function, but expected one of: bytes, unicode

我也尝试运行了以下代码:

    with tf.summary.create_file_writer('logs/hparam_tuning').as_default():
      hp.hparams_config(hparams=[HP_NUM_UNITS, HP_OPTIMIZER],metrics= 
      [dl_tf_loss])

但是出现了以下错误:
AttributeError                            Traceback (most recent call last)
<ipython-input-28-6778bdf7f1b1> in <module>()
      8 
      9 with tf.summary.create_file_writer('logs/hparam_tuning').as_default():
---> 10   hp.hparams_config(hparams=[HP_NUM_UNITS, HP_OPTIMIZER],metrics=[dl_tf_loss])

2 frames
/usr/local/lib/python3.6/dist-packages/tensorboard/plugins/hparams/summary_v2.py in <listcomp>(.0)
    161       domain.update_hparam_info(info)
    162     hparam_infos.append(info)
--> 163   metric_infos = [metric.as_proto() for metric in metrics]
    164   experiment = api_pb2.Experiment(
    165       hparam_infos=hparam_infos,

AttributeError: 'Function' object has no attribute 'as_proto'

我非常感谢您的帮助。 提前致谢!


没事了,我想出来了。 - Keren
2个回答

4
我弄清楚了。
我之前更改的METRIC_ACCURACY只是名称,我需要将'tf_dl_loss'作为字符串而不是函数进行编写。
在调整的后续部分,我需要编写拟合命令,并像我在常规拟合函数的示例中所示那样插入实际损失函数。
强烈建议这种方式来调整超参数。

1
你可能会对这个演示感兴趣。在度量中使用dl_tf_loss编译模型会浪费时间。可以使用group参数让hp.Metric知道不同目录中记录的其他摘要。

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接