Отображение на экране с помощью QAbstractVideoSurface

QAbstractVideoSurface — это интерфейс между производителем и потребителем видеокадров. Для начала у вас есть только две функции:

1. supportedPixelFormats, чтобы производитель мог выбрать подходящий формат для QVideoFrame
2. представить, что является более общей формулировкой для показа\отображения этого кадра.

Допустим, вы хотите использовать классический QWidget для отображения. В этом случае вы можете использовать QImage для рисования виджета.

Первый Qt гарантированно рисует QImage, который является RGB24 (или BGR24) на большинстве платформ. Так

QList<QVideoFrame::PixelFormat> LabelBasedVideoSurface::supportedPixelFormats(
        QAbstractVideoBuffer::HandleType handleType) const
{
    if (handleType == QAbstractVideoBuffer::NoHandle) {
        return QList<QVideoFrame::PixelFormat>()
                << QVideoFrame::Format_RGB24;
    } else {
        return QList<QVideoFrame::PixelFormat>();
    }
}

Теперь, чтобы представить QVideoFrame, вы сопоставляете его данные с QImage и рисуете QImage в виджете. Для простоты я буду использовать QLabel, к которому я обращаюсь напрямую (нет сигнала, нет слота).

bool LabelBasedVideoSurface::present(const QVideoFrame &frame)
{
    if (notMyFormat(frame.pixelFormat())) {
        setError(IncorrectFormatError);
        return false;
    } else {

        QVideoFrame frametodraw(frame);

        if(!frametodraw.map(QAbstractVideoBuffer::ReadOnly))
        {
           setError(ResourceError);
           return false;
        } 

         //this is a shallow operation. it just refer the frame buffer
         QImage image(
                frametodraw.bits(),
                frametodraw.width(),
                frametodraw.height(),
                frametodraw.bytesPerLine(),
                QImage::Format_RGB444);

        mylabel->resize(image.size());

        //QPixmap::fromImage create a new buffer for the pixmap
        mylabel->setPixmap(QPixmap::fromImage(image));

        //we can release the data
        frametodraw.unmap();

        mylabel->update();

        return true;
    }
}

Этот пример явно не оптимален.

1. Тот факт, что QVideoFrame может храниться в видеопамяти, не требует денег, потому что мы рисуем с помощью растрового изображения.
2. Преобразование из изображения в растровое изображение является ненужным хитом.

Вы можете написать свой собственный виджет и реализовать paintEvent для повышения производительности. Кроме того, у вас есть несколько дизайнерских вольностей в отношении поведения present(). Например :

• Является ли неблокирующая поверхность, т.е. рамка уже показана, когда она заканчивается. Выше это будет означать использование mylabel->repaint() вместо mylabel->update()
• Что происходит, когда вы не можете завершить презентацию. Вы можете захотеть нарисовать пустой кадр, а не возвращать ошибку, которая может остановить музыку.