Обработка данных изображения предварительного просмотра камеры с Android L и Camera2 API

Поскольку Camera2 API сильно отличается от текущего Camera API, может быть полезно просмотреть документацию.

Хорошей отправной точкой является camera2basic пример. В нем показано, как использовать Camera2 API и настроить ImageReader для получения изображений JPEG и зарегистрировать ImageReader.OnImageAvailableListener для получения этих изображений.

Чтобы получать кадры предварительного просмотра, вам нужно добавить поверхность вашего ImageReader в CaptureRequest.Builder setRepeatingRequest.

Кроме того, вы должны установить для формата ImageReader значение YUV_420_888, что даст вам 30 кадров в секунду при 8MP (документация гарантирует 30 кадров в секунду при 8MP для Nexus 5).

Объединение нескольких ответов в более удобоваримый, потому что ответ @ VP, хотя технически ясный, трудно понять, если вы впервые переходите с Camera на Camera2:

Используя https://github.com/googlesamples/android-Camera2Basic в качестве отправной точки, измените следующий:

В createCameraPreviewSession() инициализируйте новый Surface из mImageReader

Surface mImageSurface = mImageReader.getSurface();

Добавьте эту новую поверхность в качестве выходной цели вашей переменной CaptureRequest.Builder. Используя пример Camera2Basic, переменная будет mPreviewRequestBuilder

mPreviewRequestBuilder.addTarget(mImageSurface);

Вот фрагмент с новыми строками (см. Мои комментарии @AngeloS):

private void createCameraPreviewSession() {

    try {

        SurfaceTexture texture = mTextureView.getSurfaceTexture();
        assert texture != null;

        // We configure the size of default buffer to be the size of camera preview we want.
        texture.setDefaultBufferSize(mPreviewSize.getWidth(), mPreviewSize.getHeight());

        // This is the output Surface we need to start preview.
        Surface surface = new Surface(texture);

        //@AngeloS - Our new output surface for preview frame data
        Surface mImageSurface = mImageReader.getSurface();

        // We set up a CaptureRequest.Builder with the output Surface.
        mPreviewRequestBuilder = mCameraDevice.createCaptureRequest(CameraDevice.TEMPLATE_PREVIEW);

        //@AngeloS - Add the new target to our CaptureRequest.Builder
        mPreviewRequestBuilder.addTarget(mImageSurface);

        mPreviewRequestBuilder.addTarget(surface);

        ...

Затем в setUpCameraOutputs() измените формат с ImageFormat.JPEG на ImageFormat.YUV_420_888, когда вы инициализируете свой ImageReader. (PS, я также рекомендую уменьшить размер предварительного просмотра для более плавной работы - одна приятная особенность Camera2)

mImageReader = ImageReader.newInstance(largest.getWidth() / 16, largest.getHeight() / 16, ImageFormat.YUV_420_888, 2);

Наконец, в вашем onImageAvailable() методе ImageReader.OnImageAvailableListener обязательно используйте предложение @ Kamala, потому что предварительный просмотр остановится через несколько кадров, если вы его не закроете.

    @Override
    public void onImageAvailable(ImageReader reader) {

        Log.d(TAG, "I'm an image frame!");

        Image image =  reader.acquireNextImage();

        ...

        if (image != null)
            image.close();
    }

В классе ImageReader.OnImageAvailableListener закройте изображение после чтения, как показано ниже (это освободит буфер для следующего захвата). Вам придется обрабатывать исключение при закрытии

      Image image =  imageReader.acquireNextImage();
      ByteBuffer buffer = image.getPlanes()[0].getBuffer();
      byte[] bytes = new byte[buffer.remaining()];
      buffer.get(bytes);
      image.close();

Мне нужно было то же самое, поэтому я использовал их пример и добавил вызов новой функции, когда камера находится в состоянии предварительного просмотра.

private CameraCaptureSession.CaptureCallback mCaptureCallback
            = new CameraCaptureSession.CaptureCallback()
    private void process(CaptureResult result) {
        switch (mState) {
            case STATE_PREVIEW: {
                    if (buttonPressed){
                        savePreviewShot();
                    }
                break;
            }

savePreviewShot() - это просто переработанная версия оригинального captureStillPicture(), адаптированная для использования шаблона предварительного просмотра.

   private void savePreviewShot(){
        try {
            final Activity activity = getActivity();
            if (null == activity || null == mCameraDevice) {
                return;
            }
            // This is the CaptureRequest.Builder that we use to take a picture.
            final CaptureRequest.Builder captureBuilder =
                    mCameraDevice.createCaptureRequest(CameraDevice.TEMPLATE_PREVIEW);
            captureBuilder.addTarget(mImageReader.getSurface());

            // Orientation
            int rotation = activity.getWindowManager().getDefaultDisplay().getRotation();
            captureBuilder.set(CaptureRequest.JPEG_ORIENTATION, ORIENTATIONS.get(rotation));

            CameraCaptureSession.CaptureCallback CaptureCallback
                    = new CameraCaptureSession.CaptureCallback() {

                @Override
                public void onCaptureCompleted(CameraCaptureSession session, CaptureRequest request,
                                               TotalCaptureResult result) {
                    SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd_HH:mm:ss:SSS");
                    Date resultdate = new Date(System.currentTimeMillis());
                    String mFileName = sdf.format(resultdate);
                    mFile = new File(getActivity().getExternalFilesDir(null), "pic "+mFileName+" preview.jpg");

                    Log.i("Saved file", ""+mFile.toString());
                    unlockFocus();
                }
            };

            mCaptureSession.stopRepeating();
            mCaptureSession.capture(captureBuilder.build(), CaptureCallback, null);
        } catch (Exception e) {
            e.printStackTrace();
        }
    };

Лучше инициализировать ImageReader с максимальным размером буфера изображения 2, а затем использовать reader.acquireLatestImage() внутри onImageAvailable().

Потому что acquireLatestImage() получит последний образ из очереди ImageReader, отбрасывая более старый. Эту функцию рекомендуется использовать более acquireNextImage() для большинства случаев использования, так как она больше подходит для обработки в реальном времени. Обратите внимание, что максимальный размер буфера изображения должен быть не менее 2.

И не забудьте close() ваше изображение после обработки.