Question

在较高的层次上，我创建了一个应用程序，使用户可以将他或她的iPhone相机指向周围，并查看经过视觉效果处理的视频帧。此外，用户可以点击一个按钮以将当前预览的定格图像作为高分辨率照片保存在其iPhone库中。

为此，该应用遵循以下过程：

1）创建一个AVCaptureSession

captureSession = [[AVCaptureSession alloc] init];
[captureSession setSessionPreset:AVCaptureSessionPreset640x480];

2）使用后置摄像头连接AVCaptureDeviceInput。

videoInput = [[[AVCaptureDeviceInput alloc] initWithDevice:backFacingCamera error:&error] autorelease];
[captureSession addInput:videoInput];

3）将AVCaptureStillImageOutput连接到会话，以便能够以照片分辨率捕获静止帧。

stillOutput = [[AVCaptureStillImageOutput alloc] init];
[stillOutput setOutputSettings:[NSDictionary
    dictionaryWithObject:[NSNumber numberWithInt:kCVPixelFormatType_32BGRA]
    forKey:(id)kCVPixelBufferPixelFormatTypeKey]];
[captureSession addOutput:stillOutput];

4）将AVCaptureVideoDataOutput连接到会话，以便能够以较低的分辨率捕获单个视频帧（CVImageBuffers）

videoOutput = [[AVCaptureVideoDataOutput alloc] init];
[videoOutput setVideoSettings:[NSDictionary dictionaryWithObject:[NSNumber numberWithInt:kCVPixelFormatType_32BGRA] forKey:(id)kCVPixelBufferPixelFormatTypeKey]];
[videoOutput setSampleBufferDelegate:self queue:dispatch_get_main_queue()];
[captureSession addOutput:videoOutput];

5）捕获视频帧后，将使用每个新帧作为CVImageBuffer调用委托的方法：

- (void)captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection
{
    CVImageBufferRef pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);
    [self.delegate processNewCameraFrame:pixelBuffer];
}

6）然后，委托人处理/绘制它们：

- (void)processNewCameraFrame:(CVImageBufferRef)cameraFrame {
    CVPixelBufferLockBaseAddress(cameraFrame, 0);
    int bufferHeight = CVPixelBufferGetHeight(cameraFrame);
    int bufferWidth = CVPixelBufferGetWidth(cameraFrame);

    glClear(GL_COLOR_BUFFER_BIT);

    glGenTextures(1, &videoFrameTexture_);
    glBindTexture(GL_TEXTURE_2D, videoFrameTexture_);
    glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR);
    glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR);
    glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE);
    glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE);

    glTexImage2D(GL_TEXTURE_2D, 0, GL_RGBA, bufferWidth, bufferHeight, 0, GL_BGRA, GL_UNSIGNED_BYTE, CVPixelBufferGetBaseAddress(cameraFrame));

    glBindBuffer(GL_ARRAY_BUFFER, [self vertexBuffer]);
    glBindBuffer(GL_ELEMENT_ARRAY_BUFFER, [self indexBuffer]);

    glDrawElements(GL_TRIANGLE_STRIP, 4, GL_UNSIGNED_SHORT, BUFFER_OFFSET(0));

    glBindBuffer(GL_ARRAY_BUFFER, 0);
    glBindBuffer(GL_ELEMENT_ARRAY_BUFFER, 0);
    [[self context] presentRenderbuffer:GL_RENDERBUFFER];

    glDeleteTextures(1, &videoFrameTexture_);

    CVPixelBufferUnlockBaseAddress(cameraFrame, 0);
}

所有这些都起作用，并导致正确的结果。我可以看到通过OpenGL处理的640x480的视频预览。看起来像这样：

640x480正确的预览

但是，如果我从此会话中捕获静止图像，则其分辨率也将为640x480。我希望它具有高分辨率，因此在第一步中，将预设行更改为：

[captureSession setSessionPreset:AVCaptureSessionPresetPhoto];

这样可以正确捕获iPhone4（2592x1936）最高分辨率的静止图像。

但是，视频预览（由代表在步骤5和6中收到）现在看起来像这样：

照片预览不正确

我已经确认所有其他预设（高，中，低，640x480和1280x720）都能按预期进行预览。但是，“照片”预设似乎以不同的格式发送缓冲区数据。

我还通过获取缓冲区并从中创建UIImage而不是将其发送到openGL来确认，在“照片”预设处发送到缓冲区的数据实际上是有效的图像数据：

CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB();
CGContextRef context = CGBitmapContextCreate(CVPixelBufferGetBaseAddress(cameraFrame), bufferWidth, bufferHeight, 8, bytesPerRow, colorSpace, kCGBitmapByteOrder32Little | kCGImageAlphaPremultipliedFirst); 
CGImageRef cgImage = CGBitmapContextCreateImage(context); 
UIImage *anImage = [UIImage imageWithCGImage:cgImage];

这显示了未失真的视频帧。

我已经做了很多搜索，但似乎无法解决。我的直觉是这是数据格式问题。也就是说，我相信缓冲区设置正确，但是格式是该行不理解的：

glTexImage2D(GL_TEXTURE_2D, 0, GL_RGBA, bufferWidth, bufferHeight, 0, GL_BGRA, GL_UNSIGNED_BYTE, CVPixelBufferGetBaseAddress(cameraFrame));

我的直觉是，将外部格式从GL_BGRA更改为其他格式会有所帮助，但这无济于事……并且通过各种方式，看起来缓冲区实际上在GL_BGRA中。

有人知道这是怎么回事吗？还是您对我如何调试这种情况的原因有任何建议？（超级奇怪的是，这发生在iphone4上，而不是在iPhone 3GS上……都运行ios4.3）