将OpenCV图像Mat转换为1D CHW(RR...R, GG..G, BB..B)向量

Question

Nvidia公司的深度学习cuDNN中，图像使用一种名为CHW的有趣格式。我有一个cv::Mat img;需要转换为一个浮点数的一维向量。问题是CHW的一维向量格式是(RR...R, GG..G,BB..B)。因此，我想知道该如何提取每个像素的通道值，并按照此格式排序。

- Gepard

---

使用cv::split并将单个通道复制到单个内存空间应该可以工作吗？但可能有更简单的方法。 - Micka

Answer 1

我面临了相同的问题，并通过以下方式解决它:

#include <opencv2/opencv.hpp>

cv::Mat hwc2chw(const cv::Mat &image){
    std::vector<cv::Mat> rgb_images;
    cv::split(image, rgb_images);

    // Stretch one-channel images to vector
    cv::Mat m_flat_r = rgb_images[0].reshape(1,1);
    cv::Mat m_flat_g = rgb_images[1].reshape(1,1);
    cv::Mat m_flat_b = rgb_images[2].reshape(1,1);

    // Now we can rearrange channels if need
    cv::Mat matArray[] = { m_flat_r, m_flat_g, m_flat_b};
    
    cv::Mat flat_image;
    // Concatenate three vectors to one
    cv::hconcat( matArray, 3, flat_image );
    return flat_image;
}

顺便说一句，如果输入的图像不是RGB格式，您可以在matArray创建行中更改通道顺序。

- Anton Ganichev

Answer 2

使用 cv::dnn::blobFromImage 方法：

cv::Mat bgr_image = cv::imread(imageFileName);

cv::Mat chw_image = cv::dnn::blobFromImage
(
    bgr_image,
    1.0, // scale factor
    cv::Size(), // spatial size for output image
    cv::Scalar(), // mean
    true, // swapRB: BGR to RGB
    false, // crop
    CV_32F // Depth of output blob. Choose CV_32F or CV_8U.
);

const float* data = reinterpret_cast<const float*>(chw_image.data);

int data_length = 1 * 3 * bgr_image.rows * bgr_image.cols;

- Amir Saniyan

Answer 3

您可以手动迭代图像并将值复制到正确的位置，也可以使用类似 cv::extractChannel 的东西逐个复制通道，如下所示：

#include <opencv2/opencv.hpp>

int main()
{
    //create dummy 3 channel float image
    cv::Mat sourceRGB(cv::Size(100,100),CV_32FC3);
    auto size = sourceRGB.size();
    for (int y = 0; y < size.height; ++y)
    {
        for (int x = 0; x < size.width; ++x)
        {
            float* pxl = sourceRGB.ptr<float>(x, y);
            *pxl = x / 100.0f;
            *(pxl+1) = y / 100.0f;
            *(pxl + 2) = (y / 100.0f) * (x / 100.0f);
        }
    }

    cv::imshow("test", sourceRGB);
    cv::waitKey(0);

    //create single image with all 3 channels one after the other
    cv::Size newsize(size.width,size.height*3);
    cv::Mat destination(newsize,CV_32FC1);

    //copy the channels from the source image to the destination
    for (int i = 0; i < sourceRGB.channels(); ++i)
    {
        cv::extractChannel(
            sourceRGB,
            cv::Mat(
                size.height,
                size.width,
                CV_32FC1,
                &(destination.at<float>(size.height*size.width*i))),
            i);
    }

    cv::imshow("test", destination);
    cv::waitKey(0);
    return 0;
}

- PeterT