将位图数组转换为YUV(YCbCr NV21)

32

如何将BitmapFactory.decodeFile()返回的位图转换为YUV格式(类似于相机的onPreviewFrame()返回的字节数组)?

6个回答

59

这里是一些真正可行的代码:

    // untested function
    byte [] getNV21(int inputWidth, int inputHeight, Bitmap scaled) {

        int [] argb = new int[inputWidth * inputHeight];

        scaled.getPixels(argb, 0, inputWidth, 0, 0, inputWidth, inputHeight);

        byte [] yuv = new byte[inputWidth*inputHeight*3/2];
        encodeYUV420SP(yuv, argb, inputWidth, inputHeight);

        scaled.recycle();

        return yuv;
    }

    void encodeYUV420SP(byte[] yuv420sp, int[] argb, int width, int height) {
        final int frameSize = width * height;

        int yIndex = 0;
        int uvIndex = frameSize;

        int a, R, G, B, Y, U, V;
        int index = 0;
        for (int j = 0; j < height; j++) {
            for (int i = 0; i < width; i++) {

                a = (argb[index] & 0xff000000) >> 24; // a is not used obviously
                R = (argb[index] & 0xff0000) >> 16;
                G = (argb[index] & 0xff00) >> 8;
                B = (argb[index] & 0xff) >> 0;

                // well known RGB to YUV algorithm
                Y = ( (  66 * R + 129 * G +  25 * B + 128) >> 8) +  16;
                U = ( ( -38 * R -  74 * G + 112 * B + 128) >> 8) + 128;
                V = ( ( 112 * R -  94 * G -  18 * B + 128) >> 8) + 128;

                // NV21 has a plane of Y and interleaved planes of VU each sampled by a factor of 2
                //    meaning for every 4 Y pixels there are 1 V and 1 U.  Note the sampling is every other
                //    pixel AND every other scanline.
                yuv420sp[yIndex++] = (byte) ((Y < 0) ? 0 : ((Y > 255) ? 255 : Y));
                if (j % 2 == 0 && index % 2 == 0) { 
                    yuv420sp[uvIndex++] = (byte)((V<0) ? 0 : ((V > 255) ? 255 : V));
                    yuv420sp[uvIndex++] = (byte)((U<0) ? 0 : ((U > 255) ? 255 : U));
                }

                index ++;
            }
        }
    }

6
如果有人需要YV12而不是NV21,则可以稍微修改此答案以生成每个人喜爱的三平面格式:https://gist.github.com/wobbals/5725412 - wobbals
5
根据yuv420sp规范,在缓冲区的最后1/3处存储U值,然后是V值,因此我必须在if语句内交换行以防止蓝色/红色被翻转。 - Mattias
2
我在使用BitmapFactory.decodeResource()方法处理位图时遇到了问题,但是当我改为从BitmapFactory.decodeStream(getAssets().open("myasset.bmp"))加载位图时,它可以正常工作。 - VinceFior
8
当输入的宽度或高度为奇数时,encodeYUV420SP会抛出ArrayIndexOutOfRange异常。将yuv数组声明为byte[] yuv = new byte[inputHeight * inputWidth + 2 * (int) Math.ceil(inputHeight/2.0) *(int) Math.ceil(inputWidth/2.0)];可以解决这个问题。 - Mike Mat
2
永远不要使用Java进行这样的转换,而应该使用RenderScript或Lubyuv库。Java清晰转换非常慢。 - user25
显示剩余13条评论

4
以下是将位图转换为Yuv(NV21)格式的代码。
void yourFunction(){

    // mBitmap is your bitmap

    int mWidth = mBitmap.getWidth();
    int mHeight = mBitmap.getHeight();

    int[] mIntArray = new int[mWidth * mHeight];

    // Copy pixel data from the Bitmap into the 'intArray' array
    mBitmap.getPixels(mIntArray, 0, mWidth, 0, 0, mWidth, mHeight);

    // Call to encoding function : convert intArray to Yuv Binary data
    encodeYUV420SP(data, intArray, mWidth, mHeight);

}

static public void encodeYUV420SP(byte[] yuv420sp, int[] rgba,
        int width, int height) {
    final int frameSize = width * height;

    int[] U, V;
    U = new int[frameSize];
    V = new int[frameSize];

    final int uvwidth = width / 2;

    int r, g, b, y, u, v;
    for (int j = 0; j < height; j++) {
        int index = width * j;
        for (int i = 0; i < width; i++) {

            r = Color.red(rgba[index]);
            g = Color.green(rgba[index]);
            b = Color.blue(rgba[index]);

            // rgb to yuv
            y = (66 * r + 129 * g + 25 * b + 128) >> 8 + 16;
            u = (-38 * r - 74 * g + 112 * b + 128) >> 8 + 128;
            v = (112 * r - 94 * g - 18 * b + 128) >> 8 + 128;

            // clip y
            yuv420sp[index] = (byte) ((y < 0) ? 0 : ((y > 255) ? 255 : y));
            U[index] = u;
            V[index++] = v;
        }
    }

1
尝试过了,但在r = (rgba [index]&0xff000000)>> 24;行遇到了ArrayIndexOutOfBoundsException。 - sschrass
这段代码效率非常低,最好避免使用。 - sandun dhammika

0
如果使用Java将位图转换为YUV字节数组速度太慢,您可以尝试Google的libyuv

0

通过OpenCV库,您可以用一个本地的OpenCV行替换encodeYUV420SP Java函数,速度快了约4倍

Mat mFrame = Mat(height,width,CV_8UC4,pFrameData).clone();

完整示例:

Java端:

    Bitmap bitmap = mTextureView.getBitmap(mWidth, mHeight);
    int[] argb = new int[mWidth * mHeight];
    // get ARGB pixels and then proccess it with 8UC4 opencv convertion
    bitmap.getPixels(argb, 0, mWidth, 0, 0, mWidth, mHeight);
    // native method (NDK or CMake)
    processFrame8UC4(argb, mWidth, mHeight);

本地端(NDK):

JNIEXPORT jint JNICALL com_native_detector_Utils_processFrame8UC4
    (JNIEnv *env, jobject object, jint width, jint height, jintArray frame) {

    jint *pFrameData = env->GetIntArrayElements(frame, 0);
    // it is the line:
    Mat mFrame = Mat(height,width,CV_8UC4,pFrameData).clone();
    // the next only is a extra example to gray convertion:
    Mat mout;
    cvtColor(mFrame, mout,CV_RGB2GRAY);
    int objects = face_detection(env, mout);
    env->ReleaseIntArrayElements(frame, pFrameData, 0);
    return objects;
}

听起来很快 - 你能解释得更好吗?我没能使用这段代码。 - kfir

-1

BMP文件将以RGB888格式呈现,因此您需要将其转换为YUV。

我在Android中没有遇到过任何可以为您完成此操作的API。

但是您可以自己完成此操作,请参阅link了解如何进行操作。


请提供实际答案,而不是链接到内容。链接可能会过时。 - TJ Biddle

-1

首先计算RGB数据:

r=(p>>16) & 0xff;
g=(p>>8) & 0xff;
b= p & 0xff;
y=0.2f*r+0.7*g+0.07*b;
u=-0.09991*r-0.33609*g+0.436*b;
v=0.615*r-0.55861*g-0.05639*b;

y、u和v是yuv矩阵的组成部分。


这几乎没有回答任何问题,数据是如何打包的并没有解释。 - b005t3r

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接