使用像素数据创建CVPixelBuffer，但最终图像失真

Question

我使用OpenGLES方法（glReadPixels）或其他方式获取像素，然后创建CVPixelBuffer（带或不带CGImage）进行视频录制，但最终图片会变形。当我在iPhone 5c、5s和6上测试时，这种情况发生在iPhone6上。

它看起来像这样： 这是代码：

CGSize viewSize=self.glView.bounds.size;
NSInteger myDataLength = viewSize.width * viewSize.height * 4;

// allocate array and read pixels into it.
GLubyte *buffer = (GLubyte *) malloc(myDataLength);
glReadPixels(0, 0, viewSize.width, viewSize.height, GL_RGBA, GL_UNSIGNED_BYTE, buffer);

// gl renders "upside down" so swap top to bottom into new array.
// there's gotta be a better way, but this works.
GLubyte *buffer2 = (GLubyte *) malloc(myDataLength);
for(int y = 0; y < viewSize.height; y++)
{
    for(int x = 0; x < viewSize.width* 4; x++)
    {
        buffer2[(int)((viewSize.height-1 - y) * viewSize.width * 4 + x)] = buffer[(int)(y * 4 * viewSize.width + x)];
    }
}

free(buffer);

// make data provider with data.
CGDataProviderRef provider = CGDataProviderCreateWithData(NULL, buffer2, myDataLength, NULL);

// prep the ingredients
int bitsPerComponent = 8;
int bitsPerPixel = 32;
int bytesPerRow = 4 * viewSize.width;
CGBitmapInfo bitmapInfo = kCGBitmapByteOrderDefault;
CGColorRenderingIntent renderingIntent = kCGRenderingIntentDefault;

// make the cgimage
CGColorSpaceRef colorSpaceRef = CGColorSpaceCreateDeviceRGB();
CGImageRef imageRef = CGImageCreate(viewSize.width , viewSize.height, bitsPerComponent, bitsPerPixel, bytesPerRow, colorSpaceRef, bitmapInfo, provider, NULL, NO, renderingIntent);

//UIImage *photo = [UIImage imageWithCGImage:imageRef];

int width = CGImageGetWidth(imageRef);
int height = CGImageGetHeight(imageRef);

CVPixelBufferRef pixelBuffer = NULL;
CVReturn status = CVPixelBufferPoolCreatePixelBuffer(NULL, _recorder.pixelBufferAdaptor.pixelBufferPool, &pixelBuffer);

NSAssert((status == kCVReturnSuccess && pixelBuffer != NULL), @"create pixel buffer failed.");

CVPixelBufferLockBaseAddress(pixelBuffer, 0);
void *pxdata = CVPixelBufferGetBaseAddress(pixelBuffer);
NSParameterAssert(pxdata != NULL);//CGContextRef
CGContextRef context = CGBitmapContextCreate(pxdata,
                                             width,
                                             height,
                                             CGImageGetBitsPerComponent(imageRef),
                                             CGImageGetBytesPerRow(imageRef),
                                             colorSpaceRef,
                                             kCGImageAlphaPremultipliedLast);
NSParameterAssert(context);

CGContextDrawImage(context, CGRectMake(0, 0, width, height), imageRef);

CVPixelBufferUnlockBaseAddress(pixelBuffer, 0);

CGColorSpaceRelease(colorSpaceRef);
CGContextRelease(context);
CGImageRelease(imageRef);

free(buffer2);

//CIImage *image = [CIImage imageWithCVPixelBuffer:pixelBuffer];

// ...

CVPixelBufferRelease(pixelBuffer);

- Sinkup

---

也遇到这个问题了... :( - jamesfzhang

我通过确保每个帧的尺寸完全相同来解决了这个问题。结果发现一些帧的大小略有不同，导致了扭曲。 - jamesfzhang

Answer 1

注意 - 本答案涉及图像的整体问题，而不是具体代码。

这种问题通常与“步幅”有关，与用于保存图像的内存布局相关，其中每行像素并没有紧密地打包在一起。

例如，源图像可能为240个像素宽。CMPixelBuffer可能为每行分配320个像素，其中前240个像素保存图像，额外的80个像素是填充。在这种情况下，宽度为240个像素，步幅为320个像素。

步幅通常意味着您需要在循环中逐行复制每个像素行。

- RogerH

---

还有其他的提示吗？您能解释一下“步幅”以及它与CGContext代码的关系吗？ - jamesfzhang

Answer 2

我遇到了同样的问题，我认为解决方法如下： 尝试在CGBitmapContextCreate调用中将CGImageGetBytesPerRow（imageRef）更改为CVPixelBufferGetBytesPerRow（pxbuffer）。原因是您的上下文是由您创建的像素缓冲区的原始数据支持的，而不是您正在绘制的CGImage。CVPixelBuffer的每行字节数可能大于每像素字节数*像素缓冲区宽度。

- Sergey Nikitin

Answer 3

在代码中的任何地方都使用这个大小。

int width_16 = (int)yourImage.size.width - (int)yourImage.size.width%16; 
int height_ = (int)(yourImage.size.height/yourImage.size.width * width_16) ;
CGSize video_size_ = CGSizeMake(width_16, height_);

- jjpp