我尝试使用Kalman滤波器对视频进行平滑处理,但是我遇到了一些问题。
每次,我都有两帧:一个当前帧和另一个帧。 我的工作流程如下:
这是我的Kalman代码
每次,我都有两帧:一个当前帧和另一个帧。 我的工作流程如下:
- 使用goodFeaturesToTrack()计算良好的特征点
- 使用calcOpticalFlowPyrLK()计算光流
- 仅保留好的特征点
- 估计刚体变换
- 使用Kalman过滤器平滑
- 图像扭曲。
这是我的Kalman代码
void StabilizationTestSimple2::init_kalman(double x, double y)
{
KF.statePre.at<float>(0) = x;
KF.statePre.at<float>(1) = y;
KF.statePre.at<float>(2) = 0;
KF.statePre.at<float>(3) = 0;
KF.transitionMatrix = *(Mat_<float>(4,4) << 1,0,1,0, 0,1,0,1, 0,0,1,0, 0,0,0,1);
KF.processNoiseCov = *(Mat_<float>(4,4) << 0.2,0,0.2,0, 0,0.2,0,0.2, 0,0,0.3,0,
0,0,0,0.3);
setIdentity(KF.measurementMatrix);
setIdentity(KF.processNoiseCov,Scalar::all(1e-6));
setIdentity(KF.measurementNoiseCov,Scalar::all(1e-1));
setIdentity(KF.errorCovPost, Scalar::all(.1));
}
下面是我如何使用它。 我只放了有趣的部分。 所有代码都在flor循环内部。 cornerPrev2和cornerCurr2包含刚刚检测到的所有特征点(使用calcOpticalFlowPyrLK()函数)。
/// Transformation
Mat transformMatrix = estimateRigidTransform(cornersPrev2,cornersCurr2 ,false);
// in rare cases no transform is found. We'll just use the last known good transform.
if(transformMatrix.data == NULL) {
last_transformationmatrix.copyTo(transformMatrix);
}
transformMatrix.copyTo(last_transformationmatrix);
// decompose T
double dx = transformMatrix.at<double>(0,2);
double dy = transformMatrix.at<double>(1,2);
double da = atan2(transformMatrix.at<double>(1,0), transformMatrix.at<double>(0,0));
// Accumulated frame to frame transform
x += dx;
y += dy;
a += da;
std::cout << "accumulated x,y: (" << x << "," << y << ")" << endl;
if (compteur==0){
init_kalman(x,y);
}
else {
vector<Point2f> smooth_feature_point;
Point2f smooth_feature=kalman_predict_correct(x,y);
smooth_feature_point.push_back(smooth_feature);
std::cout << "smooth x,y: (" << smooth_feature.x << "," << smooth_feature.y << ")" << endl;
// target - current
double diff_x = smooth_feature.x - x;//
double diff_y = smooth_feature.y - y;
dx = dx + diff_x;
dy = dy + diff_y;
transformMatrix.at<double>(0,0) = cos(da);
transformMatrix.at<double>(0,1) = -sin(da);
transformMatrix.at<double>(1,0) = sin(da);
transformMatrix.at<double>(1,1) = cos(da);
transformMatrix.at<double>(0,2) = dx;
transformMatrix.at<double>(1,2) = dy;
warpAffine(currFrame,outImg,transformMatrix,prevFrame.size(), INTER_NEAREST|WARP_INVERSE_MAP, BORDER_CONSTANT);
namedWindow("stabilized");
imshow("stabilized",outImg);
namedWindow("Original");
imshow("Original",originalFrame);
}
有人知道为什么它不起作用吗?
谢谢
z = H * x
,或者用你的术语来说是meas = measurementMatrix * statePost
。目前你正在将measurementMatrix
设置为单位矩阵,这意味着你测量了状态变量。如果你只能测量位置,则矩阵应该是非方形的:[[1 0 0 0],[0 1 0 0]]
,以便产生一个测量值[x y]'
。你的measurementNoiseCov
然后只需要是 2x2 的。 - Ben JacksonprocessNoiseCov
(抱歉,那是一个打字错误),都会被添加(由滤波器)到errorCovPre
中,以表示在帧之间可能发生的情况。因此,这些值的比例应该是在1/25秒内可能发生的事情。 - Ben Jackson