C++/OpenCV - 视频稳定的卡尔曼滤波器

Question

我尝试使用Kalman滤波器对视频进行平滑处理，但是我遇到了一些问题。

每次，我都有两帧：一个当前帧和另一个帧。 我的工作流程如下：

• 使用goodFeaturesToTrack()计算良好的特征点
• 使用calcOpticalFlowPyrLK()计算光流
• 仅保留好的特征点
• 估计刚体变换
• 使用Kalman过滤器平滑
• 图像扭曲。

但是我认为Kalman存在问题，因为最终我的视频仍然没有稳定，并且不流畅，甚至比原始视频更糟糕...

这是我的Kalman代码

void StabilizationTestSimple2::init_kalman(double x, double y)
{

    KF.statePre.at<float>(0) = x;
    KF.statePre.at<float>(1) = y;
    KF.statePre.at<float>(2) = 0;
    KF.statePre.at<float>(3) = 0;

    KF.transitionMatrix = *(Mat_<float>(4,4) << 1,0,1,0,    0,1,0,1,     0,0,1,0,   0,0,0,1);
    KF.processNoiseCov = *(Mat_<float>(4,4) << 0.2,0,0.2,0,  0,0.2,0,0.2,  0,0,0.3,0,
                           0,0,0,0.3);
    setIdentity(KF.measurementMatrix);
    setIdentity(KF.processNoiseCov,Scalar::all(1e-6));
    setIdentity(KF.measurementNoiseCov,Scalar::all(1e-1));
    setIdentity(KF.errorCovPost, Scalar::all(.1));
}

下面是我如何使用它。 我只放了有趣的部分。 所有代码都在flor循环内部。 cornerPrev2和cornerCurr2包含刚刚检测到的所有特征点（使用calcOpticalFlowPyrLK()函数）。

    /// Transformation
    Mat transformMatrix = estimateRigidTransform(cornersPrev2,cornersCurr2 ,false);

    // in rare cases no transform is found. We'll just use the last known good transform.
    if(transformMatrix.data == NULL) {
        last_transformationmatrix.copyTo(transformMatrix);
    }

    transformMatrix.copyTo(last_transformationmatrix);

    // decompose T
    double dx = transformMatrix.at<double>(0,2);
    double dy = transformMatrix.at<double>(1,2);
    double da = atan2(transformMatrix.at<double>(1,0), transformMatrix.at<double>(0,0));

    // Accumulated frame to frame transform
    x += dx;
    y += dy;
    a += da;
    std::cout << "accumulated x,y: (" << x << "," << y << ")" << endl;

    if (compteur==0){
        init_kalman(x,y);
    }
    else {


          vector<Point2f> smooth_feature_point;
          Point2f smooth_feature=kalman_predict_correct(x,y);
          smooth_feature_point.push_back(smooth_feature);
          std::cout << "smooth x,y: (" << smooth_feature.x << "," << smooth_feature.y << ")" << endl;

          // target - current
          double diff_x = smooth_feature.x - x;//
          double diff_y = smooth_feature.y - y;

          dx = dx + diff_x;
          dy = dy + diff_y;

          transformMatrix.at<double>(0,0) = cos(da);
          transformMatrix.at<double>(0,1) = -sin(da);
          transformMatrix.at<double>(1,0) = sin(da);
          transformMatrix.at<double>(1,1) = cos(da);
          transformMatrix.at<double>(0,2) = dx;
          transformMatrix.at<double>(1,2) = dy;

          warpAffine(currFrame,outImg,transformMatrix,prevFrame.size(), INTER_NEAREST|WARP_INVERSE_MAP, BORDER_CONSTANT);

          namedWindow("stabilized");
          imshow("stabilized",outImg);
          namedWindow("Original");
          imshow("Original",originalFrame);


    }

有人知道为什么它不起作用吗？

谢谢

- lilouch

Answer 1

KF.transitionMatrix = *(Mat_<float>(4,4) << 1,0,1,0,    0,1,0,1,     0,0,1,0,   0,0,0,1);
KF.processNoiseCov = *(Mat_<float>(4,4) << 0.2,0,0.2,0,  0,0.2,0,0.2,  0,0,0.3,0,
                       0,0,0,0.3);
setIdentity(KF.measurementMatrix);
setIdentity(KF.processNoiseCov,Scalar::all(1e-6));
setIdentity(KF.measurementNoiseCov,Scalar::all(1e-1));
setIdentity(KF.errorCovPost, Scalar::all(.1));

您的processNoiseCov矩阵不对称，我怀疑您没有正确填写其非对角线项。在您更好地了解卡尔曼滤波之前，建议您使用对角矩阵。

另一方面，您似乎立即用微小值覆盖了它，这可能是一个错误。也许您是在遇到上述无效矩阵后添加的？

如果您描述帧速率和状态单位（米？像素？），我们可以讨论如何为processNoiseCov和measurementNoiseCov选择良好的值。

编辑：

好的，考虑到您的状态是[ x_pixels, y_pixels, dx_pixels, dy_pixels ]，以下是一些提示：

• 您的测量矩阵是I，因此您正在测量与状态中完全相同的内容（这有点不寻常：通常您只会测量状态的某个子集，例如，在您的测量中没有速度估计）。
• 鉴于您的测量矩阵是I，processNoiseCov和measurementNoiseCov的含义相似，因此我将一起讨论它们。您的processNoiseCov应该是一个对角矩阵，其中每个项都是这些值在帧之间可能发生变化的方差（标准差的平方）。例如，如果您的像素偏移量在每个帧内有68％的概率（请参阅正态分布）在100个像素以内，则位置的对角线条目应为100 * 100 = 10000（请记住，方差是平方标准差）。您需要对速度如何变化进行类似的估计。（高级：应该存在共变（非对角线）项，因为速度的变化与位置的变化有关，但在理解此之前可以不考虑。我已经在其他答案中解释过了。）
• processNoiseCov中的加性协方差是每个帧添加的，因此请记住所表示的更改是在1/25秒内完成的。
• 您的measurementNoiseCov具有相同类型的单位（再次强调，测量矩阵为单位矩阵），但应反映您的测量与无法知道的实际真实值相比的准确程度。
• 通常，您可以测量过程和测量的实际值，并计算它们的实际协方差（在Excel或Python或Matlab或任何其他工具中）。
• 您的errorCovPost是您的初始不确定性，就像每个帧的加性协方差一样表达，但它描述了您对初始状态正确性的确定程度。
• 在使用KF时，将这些协方差矩阵搞对是最重要的事情。设计KF时，您将始终花费更多时间来获取这些正确的值，而不是执行任何其他操作。

- Ben Jackson

---

谢谢你的回答。实际上，在做这个之前我不知道卡尔曼滤波器，所以我尝试阅读了一些关于它的论文，现在我大致知道它是如何工作的。但是，尽管我知道它是如何工作的，我并不真正知道如何为我的问题设置自己的参数，因此我是在不真正了解的情况下进行的。我认为我正在使用像素而不是米。然后我的视频帧率大约是25-27fps。 但是，如果您可以解释一下如何设置processNoisCov、setIdentity和measurementNoiseCov，那会对我很有帮助。 提前感谢您！ - lilouch

@lilouch: 添加了更多内容。 - Ben Jackson

你的测量值为 z = H * x，或者用你的术语来说是 meas = measurementMatrix * statePost。目前你正在将 measurementMatrix 设置为单位矩阵，这意味着你测量了状态变量。如果你只能测量位置，则矩阵应该是非方形的：[[1 0 0 0],[0 1 0 0]]，以便产生一个测量值 [x y]'。你的 measurementNoiseCov 然后只需要是 2x2 的。 - Ben Jackson

@lilouch：无论您将什么放入processNoiseCov（抱歉，那是一个打字错误），都会被添加（由滤波器）到errorCovPre中，以表示在帧之间可能发生的情况。因此，这些值的比例应该是在1/25秒内可能发生的事情。 - Ben Jackson

好的，谢谢您的解释！我会尝试一下！ - lilouch