Tensorflow.js LSTM时间序列预测

Question

我正在尝试使用LSTM RNN在Tensorflow.js中构建一个简单的时间序列预测脚本。显然，我是机器学习方面的新手。我一直在试图从Keras RNN/LSTM层API中调整我的JS代码，这显然是相同的东西。据我所知，我的层、形状等都是正确的。对于我在这里做错了什么，您有什么想法吗？

async function predictfuture(){

    ////////////////////////
    // create fake data
    ///////////////////////

    var xs = tf.tensor3d([
        [[1],[1],[0]],
        [[1],[1],[0]],
        [[1],[1],[0]],
        [[1],[1],[0]],
        [[1],[1],[0]],
        [[1],[1],[0]]
    ]);
    xs.print();

    var ys = tf.tensor3d([
        [[1],[1],[0]],
        [[1],[1],[0]],
        [[1],[1],[0]],
        [[1],[1],[0]],
        [[1],[1],[0]],
        [[1],[1],[0]]
    ]);
    ys.print();


    ////////////////////////
    // create model w/ layers api
    ///////////////////////

    console.log('Creating Model...');

    /*

    model design:

                    i(xs)   h       o(ys)
    batch_size  ->  *       *       * -> batch_size
    timesteps   ->  *       *       * -> timesteps
    input_dim   ->  *       *       * -> input_dim


    */

    const model = tf.sequential();

    //hidden layer
    const hidden = tf.layers.lstm({
        units: 3,
        activation: 'sigmoid',
        inputShape: [3 , 1]
    });
    model.add(hidden);

    //output layer
    const output = tf.layers.lstm({
        units: 3,
        activation: 'sigmoid',
        inputShape: [3] //optional
    });
    model.add(output);

    //compile
    const sgdoptimizer = tf.train.sgd(0.1)
    model.compile({
        optimizer: sgdoptimizer,
        loss: tf.losses.meanSquaredError
    });

    ////////////////////////
    // train & predict
    ///////////////////////

    console.log('Training Model...');

    await model.fit(xs, ys, { epochs: 200 }).then(() => {

        console.log('Training Complete!');
        console.log('Creating Prediction...');

        const inputs = tf.tensor2d( [[1],[1],[0]] );
        let outputs = model.predict(inputs);
        outputs.print();

    });

}

predictfuture();

我遇到了错误：

- barrylachapelle

---

据我所了解，在tensorflow中使用LSTM时，它们总是需要一个额外的维度来反映时间步。因此，const inputs = tf.tensor3d( [[[1],[1],[0]]] ); 可能是我的猜测。 - Sebastian Speitel

很好的发现，但不幸的是仍然出现相同的错误。 - barrylachapelle

Answer 1

代码运行时需要将returnSequences参数设置为true，并将输出层的单元数更改为1：

//hidden layer
const hidden = tf.layers.lstm({
    units: 3,
    activation: 'sigmoid',
    inputShape: [3 , 1],
    returnSequences: true
});
model.add(hidden);

//output layer
const output = tf.layers.lstm({
    units: 1, 
    activation: 'sigmoid',
    returnSequences: true
})
model.add(output);

正如@Sebastian Speitel所提到的，将输入更改为：

const inputs = tf.tensor3d( [[[1],[1],[0]]] );

- Chris Buck