Общие сведения об использовании Android-камеры SurfaceTexture и MediaCodec Surface

1. Это означает, что камера предоставляет выходные кадры через непрозрачный дескриптор, а не в предоставленный пользователем буфер в адресном пространстве приложения (при использовании setPreviewCallback или setPreviewCallbackWithBuffer). Этот непрозрачный маркер, текстура, может использоваться в рисовании OpenGL.

2. Почти. В этом случае текстура OpenGL является не физическим фрагментом памяти, а дескриптором переменного фрагмента памяти в контексте EGL. В этом случае пример кода сам по себе не выделяет текстуру и не определяет ее размер, он только создает «имя»/дескриптор текстуры с использованием glGenTextures — это просто целое число. В обычном OpenGL (ES) вы должны использовать функции OpenGL, чтобы выделить фактическое хранилище для текстуры и заполнить его содержимым. В этой настройке SurfaceTexture предоставляет API/абстракцию уровня Android для заполнения текстуры данными (т.е. выделяет для нее хранилище с правильными флагами, предоставляет размер и содержимое), что позволяет вам передавать SurfaceTexture другим классам, которые могут заполнить это с данными (либо Camera, который принимает SurfaceTexture напрямую, либо оберните класс Surface, чтобы иметь возможность использовать его в других контекстах). Это позволяет эффективно заполнять текстуру OpenGL содержимым без необходимости передавать буфер необработанных данных в процесс вашего приложения и загружать его в OpenGL.

3. (Отвечая на пункты 3 и 4 в обратном порядке.) OpenGL (ES) — это универсальный API для рисования. В обычной/исходной настройке, рассмотрим игру, у вас будет несколько текстур для разных частей игрового контента (фоны, реквизит, актеры и т. д.), а затем с помощью API-интерфейсов OpenGL выведите их на экран. Текстуры могут быть либо более или менее просто скопированы на экран, либо обернуты вокруг 3D-объекта, построенного из треугольников. Это процесс, называемый «рендеринг», когда исходные текстуры и набор треугольников берутся и рисуются. В самых простых случаях вы будете отображать контент прямо на экране. Графический процессор обычно может выполнять такой же рендеринг и в любом другом выходном буфере. В играх принято визуализировать некоторую сцену в текстуру и использовать эту предварительно обработанную текстуру как часть окончательного рендеринга, который фактически отображается на экране.

4. Контекст EGL создается для передачи вывода с камеры на вход кодировщика. Контекст EGL — это в основном контекст для выполнения рендеринга OpenGL. Целью рендеринга является поверхность из кодировщика. То есть любая графика, нарисованная с помощью OpenGL, попадает во входной буфер кодировщика, а не на экран. Теперь сцена, рисуемая с помощью OpenGL, может быть любой последовательностью вызовов функций OpenGL, отображающих игровую сцену в кодере. (Это то, что делает пример игрового рекордера Android Breakout.) В контексте создается дескриптор текстуры. Вместо заполнения текстуры содержимым путем загрузки изображения с диска, как при обычном рендеринге игровой графики, оно преобразуется в SurfaceTexture, чтобы позволить Camera заполнить его изображением с камеры. Класс SurfaceTexture обеспечивает обратный вызов, давая сигнал, когда Camera обновил содержимое. Когда этот обратный вызов получен, контекст EGL активируется, и один кадр визуализируется в выходной целевой объект контекста EGL (который является входом кодировщика). Сам рендеринг не делает ничего необычного, а копирует входную текстуру как есть прямо в выходной файл.

Все это может показаться довольно окольным, но это дает несколько преимуществ:

• Фактические необработанные биты кадров камеры никогда не должны обрабатываться непосредственно в коде приложения (и, возможно, вообще никогда не должны обрабатываться в процессе приложения и адресном пространстве). Для низких разрешений это не проблема, но setPreviewCallback API становится узким местом, когда дело доходит до более высоких разрешений.
• Вы можете настраивать цвета и делать все, что вы можете делать в OpenGL, почти бесплатно с ускорением графического процессора.