Tensorflow随机停止训练并在GPU上挂起

Question

Tensorflow随机停止训练并在GPU上挂起

7

当我在GPU上运行以下代码时，它会训练几个epoch，然后就卡住了。被卡住的进程仍然存在，但是GPU使用率变为0％。在下面的代码中，我正在使用来自tf.contrib.data.Dataset的Dataset API。但我也尝试过使用placeholder和feed字典方法进行训练，但是也会在随机的epoch卡住。我已经苦苦挣扎了2-3周，但是找不到解决方法。我正在远程GPU集群上运行代码。以下是有关群集节点的一些信息，使用tensorflow gpu版本1.4

节点名称=node050 Arch=x86_64 CoresPerSocket=1 CPUAlloc=0 CPUErr=0 CPUTot=24 CPULoad=12.03 Features=Proc24、GPU4 Gres=gpu:4 NodeAddr=node050 NodeHostName=node050 Version=15.08 OS=Linux RealMemory=129088 AllocMem=0 FreeMem=125664 Sockets=24 Boards=1 状态=IDLE ThreadsPerCore=1 TmpDisk=0 Weight=1 Owner=N / A BootTime = 2017-11-07T08：20：00 SlurmdStartTime = 2017-11-07T08：24：06 CapWatts = n / a CurrentWatts = 0 LowestJoules = 0 ConsumedJoules = 0 ExtSensorsJoules = n / s ExtSensorsWatts = 0 ExtSensorsTemp = n / s

代码

dat_split = np.load('data/dat_split2.npy')
X_train = dat_split[0].astype(np.float32)
X_test = dat_split[1].astype(np.float32)
y_train = dat_split[2].astype(np.int32)
y_test = dat_split[3].astype(np.int32)

num_epochs = 100


train_data_len = X_train.shape[0]
test_data_len = X_test.shape[0]
num_joints = len(considered_joints)
num_classes = len(classes)


############ taking batch_size even data##########
even_train_len = (train_data_len//batch_size)*batch_size
even_test_len = (test_data_len//batch_size)*batch_size

X_train = X_train[:even_train_len]
X_test = X_test[:even_test_len]
y_train = y_train[:even_train_len]
y_test = y_test[:even_test_len]


train_dat = Dataset.from_tensor_slices((X_train, y_train))
train_dat = train_dat.batch(batch_size)

test_dat  = Dataset.from_tensor_slices((X_test, y_test))
test_dat = test_dat.batch(batch_size)

iterator = Iterator.from_structure(train_dat.output_types, train_dat.output_shapes)

trainig_iterator_init = iterator.make_initializer(train_dat)
test_iterator_init = iterator.make_initializer(test_dat)

if __name__ == '__main__':

    global_cell = GlobalLSTM(num_units=num_units_each_cell, num_joints=num_joints)   #GlobalLSTM is a subtype of RNNCell
    next_element = iterator.get_next()
    X_loaded2, Y_loaded = next_element
    X_loaded = tf.where(tf.is_nan(X_loaded2), tf.zeros_like(X_loaded2), X_loaded2)

    init_state = global_cell.zero_state((batch_size), tf.float32)
    rnn_ops, rnn_state = tf.nn.dynamic_rnn(global_cell, X_loaded, dtype=tf.float32)

    with tf.variable_scope('softmax__'):
        W = tf.get_variable('W', [(num_joints)*num_units_each_cell, num_classes], initializer=tf.truncated_normal_initializer(0.0, 1.0))
        b = tf.get_variable('b', [num_classes], initializer=tf.truncated_normal_initializer(0.0, 1.0))



    final_logits = tf.matmul(rnn_state[1], W) + b       # taking h state of rnn 
    with tf.name_scope("loss_comp"):
        total_loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=final_logits, labels=tf.one_hot(Y_loaded, num_classes)))
    with tf.name_scope("train_step"):
        train_step = tf.train.AdamOptimizer(learning_rate).minimize(total_loss)

    with tf.name_scope("pred_accu"):
        predictions = tf.nn.softmax(final_logits)
        pred2 = tf.reshape(tf.argmax(predictions, 1), [-1, 1])
        correct_pred = tf.equal(pred2, tf.cast(Y_loaded, tf.int64))
        accuracy_ = tf.reduce_mean(tf.cast(correct_pred, tf.float32))



    with tf.Session() as sess:
        sess.run(tf.global_variables_initializer())

        tic = time.clock()    
        for step in range(num_epochs):
            sess.run(trainig_iterator_init)
            batch_cnt = train_data_len//batch_size
            epch_loss = 0.0
            epch_acc = 0.0
            for bt in range(batch_cnt):
                _, loss_, acc = sess.run([train_step, total_loss, accuracy_])
                epch_loss += loss_
                epch_acc += acc
            print ('loss after epoch, ', step,': ', epch_loss/batch_cnt, ' ## accuracy : ', epch_acc/batch_cnt)

        print ("optimization finished, time required: ", time.clock()-tic)


        #############test accuracy##############
        batch_cnt = test_data_len//batch_size
        sess.run(test_iterator_init)
        print ('testing accuracy on test data : batch number', batch_cnt)
        epch_acc = 0.0
        for bt in range(batch_cnt):
            acc = sess.run(accuracy_)
            epch_acc += acc
        print ('testing accuracy : ', epch_acc/batch_cnt)

以下是不同挂起的屏幕截图， 挂在一个epoch上 hanged_epc

该时间的GPU使用情况 hanged

运行时的GPU使用情况（未挂起） running_gpuusage

挂在另一个epoch上 hanged2

这种随机挂起的行为在每次运行时都会重复出现。每次它都会在随机的epoch上挂起。这就是为什么我无法找出问题所在。通过查看代码或其他设置，有没有人可以给我任何关于出了什么问题或如何调试的想法？谢谢

- amin__

好的，开始调试的一种方法是从 TensorFlow 中提取堆栈跟踪，同时它被挂起（例如，在 gdb 中运行 Python 并在其停止时发送 SIGINT）。您能在单个 GPU 上重现吗？ - Allen Lavoie

4个回答

2

我解决了一个类似的问题，步骤如下：

我在虚拟设备上运行我的代码，使用了GTX 1080 Ti GPU、Python 3.7和最新版本的tensorflow-gpu 2.1。我遇到了同样的问题长达一周，没有任何解决方案和变通方法适用于我。

我降级了我的tensorflow-gpu。由于tensorflow-gpu 1.*版本不支持Python 3.7，因此我还必须降级Python。

Python从3.7降至3.6
Tensorflow-gpu从2.1降至1.12

当然，我必须更改代码的某些部分以兼容较旧版本的tensorflow-gpu，但它消除了GPU挂起问题。

- vahid Geraeinejad

0

Halo9Pan的答案非常好，使我朝着正确的方向前进。我添加了这段代码

configproto = tf.compat.v1.ConfigProto() 
configproto.gpu_options.allow_growth = True
configproto.gpu_options.polling_inactive_delay_msecs = 10
sess = tf.compat.v1.Session(config=configproto) 
tf.compat.v1.keras.backend.set_session(sess)

按照这个问题中所描述的方法，我回到了我的网络起点。这解决了我的问题。

- Hagbard

0

在编程中，始终需要具有相同数量或更高的RAM内存以匹配CUDA内存。

尝试检查num_workers

- Nivesh Gadipudi

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Halo9Pan · Accepted Answer

我遇到了同样的问题。其中一个CPU核心的工作负载达到了100％，而GPU则挂起了。我认为这是锁定问题，检查了tensorflow gpu_event_mgr.cc的代码。 "queue_empty"没有被mutex_lock保护，因此CPU将挂起，无法向GPU发送数据。

我的临时解决方案是设置参数 gpu_options.polling_inactive_delay_msecs = 10（默认值为1） 或在会话的ConfigProto中设置更大的数字。这将使CPU在队列为空时等待更长时间并填充更多数据，然后将其发送到GPU。它将防止死锁。这个解决方案只是减少了GPU挂起的概率，不是最终解决方案。但是，它让我的深度神经网络训练大部分时间都能完成。