FFMPEG Streaming для дергания с низким битрейтом

У меня есть скрипт Python, который будет создавать кадры для видеопотока. Для стрима на twitch я решил использовать ffmpeg (поскольку это единственный вариант, который я нашел). Однако битрейт моего потока очень низкий (70 Кб), хотя в настройках ffmpeg выставлено 3000К.

# This script copies the video frame by frame
import cv2
import subprocess as sp
twitch_stream_key = 'MY_TWITCH_STREAM_KEY'
input_file = 'video.mp4'

cap = cv2.VideoCapture(input_file)
ret, frame = cap.read()
height, width, ch = frame.shape

ffmpeg = 'FFMPEG'
dimension = '{}x{}'.format(width, height)

fps = cap.get(cv2.CAP_PROP_FPS)
command = []
command.extend([
    'FFMPEG',
    '-loglevel', 'verbose',
    '-y',  # overwrite previous file/stream
    '-analyzeduration', '1',
    '-f', 'rawvideo',
    '-r', '%d' % fps,  # set a fixed frame rate
    '-vcodec', 'rawvideo',
    # size of one frame
    '-s', '%dx%d' % (width, height),
    '-pix_fmt', 'rgb24',  # The input are raw bytes
    '-thread_queue_size', '1024',
    '-i', '-',  # The input comes from a pipe
])       
command.extend([
    '-ar', '8000',
    '-ac', '1',
    '-f', 's16le',
    '-i', 'work.mp3',
])
command.extend([
    # VIDEO CODEC PARAMETERS
    '-vcodec', 'libx264',
    '-r', '%d' % fps,
    '-b:v', '3000k',
    '-s', '%dx%d' % (width, height),
    '-preset', 'faster', '-tune', 'zerolatency',
    '-crf', '23',
    '-pix_fmt', 'yuv420p',

    '-minrate', '3000k', '-maxrate', '3000k',
    '-bufsize', '12000k',
    '-g', '60',  # key frame distance
    '-keyint_min', '1',

    # AUDIO CODEC PARAMETERS
    '-acodec', 'libmp3lame', '-ar', '44100', '-b:a', '160k',
    # '-bufsize', '8192k',
    '-ac', '1',
    '-map', '0:v', '-map', '1:a',

    '-threads', '2',
    # STREAM TO TWITCH
    '-f', 'flv', 'rtmp://live-hel.twitch.tv/app/%s' %
          twitch_stream_key
])
proc = sp.Popen(command, stdin=sp.PIPE, stderr=sp.PIPE)

while True:
    ret, frame = cap.read()        
    if not ret:        
        break    
    proc.stdin.write(frame.tostring())

cap.release()
proc.stdin.close()
proc.stderr.close()
proc.wait()

Как увеличить битрейт? Может быть, вы можете указать мне на какое-то другое решение о том, как я могу передавать кадры Python на twitch или любой другой сервер rtmp.

Вот полный лог, звук тоже сломался, это просто шум:

ffmpeg version git-2020-06-01-dd76226 Copyright (c) 2000-2020 the FFmpeg developers
  built with gcc 9.3.1 (GCC) 20200523
  configuration: --enable-gpl --enable-version3 --enable-sdl2 --enable-fontconfig --enable-gnutls --enable-iconv --enable-libass --enable-libdav1d --enable-libbluray --enable-libfreetype --enable-libmp3lame --enable-libopencore-amrnb --enable-libopencore-amrwb --enable-libopenjpeg --enable-libopus --enable-libshine --enable-libsnappy --enable-libsoxr --enable-libsrt --enable-libtheora --enable-libtwolame --enable-libvpx --enable-libwavpack --enable-libwebp --enable-libx264 --enable-libx265 --enable-libxml2 --enable-libzimg --enable-lzma --enable-zlib --enable-gmp --enable-libvidstab --enable-libvmaf --enable-libvorbis --enable-libvo-amrwbenc --enable-libmysofa --enable-libspeex --enable-libxvid --enable-libaom --disable-w32threads --enable-libmfx --enable-ffnvcodec --enable-cuda-llvm --enable-cuvid --enable-d3d11va --enable-nvenc --enable-nvdec --enable-dxva2 --enable-avisynth --enable-libopenmpt --enable-amf
  libavutil      56. 49.100 / 56. 49.100
  libavcodec     58. 90.100 / 58. 90.100
  libavformat    58. 44.100 / 58. 44.100
  libavdevice    58.  9.103 / 58.  9.103
  libavfilter     7. 84.100 /  7. 84.100
  libswscale      5.  6.101 /  5.  6.101
  libswresample   3.  6.100 /  3.  6.100
  libpostproc    55.  6.100 / 55.  6.100
Input #0, rawvideo, from 'pipe:':
  Duration: N/A, start: 0.000000, bitrate: 1443225 kb/s
    Stream #0:0: Video: rawvideo, 1 reference frame (RGB[24] / 0x18424752), rgb24, 1920x1080, 1443225 kb/s, 29 tbr, 29 tbn, 29 tbc
[s16le @ 0000026d64eb5340] Estimating duration from bitrate, this may be inaccurate
Guessed Channel Layout for Input Stream #1.0 : mono
Input #1, s16le, from 'work.mp3':
  Metadata:
    encoded_by      : iTunes v7.0
  Duration: 00:09:36.13, bitrate: 128 kb/s
    Stream #1:0: Audio: pcm_s16le, 8000 Hz, mono, s16, 128 kb/s
[tcp @ 0000026d64ee34c0] Starting connection attempt to 99.181.64.78 port 1935
[tcp @ 0000026d64ee34c0] Successfully connected to 99.181.64.78 port 1935
Stream mapping:
  Stream #0:0 -> #0:0 (rawvideo (native) -> h264 (libx264))
  Stream #1:0 -> #0:1 (pcm_s16le (native) -> mp3 (libmp3lame))
[graph 0 input from stream 0:0 @ 0000026d64f47c00] w:1920 h:1080 pixfmt:rgb24 tb:1/29 fr:29/1 sar:0/1
[scaler_out_0_0 @ 0000026d64f4c780] w:1920 h:1080 flags:'bicubic' interl:0
[scaler_out_0_0 @ 0000026d64f4c780] w:1920 h:1080 fmt:rgb24 sar:0/1 -> w:1920 h:1080 fmt:yuv420p sar:0/1 flags:0x4
[libx264 @ 0000026d64edf840] using cpu capabilities: MMX2 SSE2Fast SSSE3 SSE4.2 AVX FMA3 BMI2 AVX2
[libx264 @ 0000026d64edf840] profile High, level 4.0, 4:2:0, 8-bit
[libx264 @ 0000026d64edf840] 264 - core 160 - H.264/MPEG-4 AVC codec - Copyleft 2003-2020 - http://www.videolan.org/x264.html - options: cabac=1 ref=2 deblock=1:0:0 analyse=0x3:0x113 me=hex subme=4 psy=1 psy_rd=1.00:0.00 mixed_ref=0 me_range=16 chroma_me=1 trellis=1 8x8dct=1 cqm=0 deadzone=21,11 fast_pskip=1 chroma_qp_offset=0 threads=2 lookahead_threads=2 sliced_threads=1 slices=2 nr=0 decimate=1 interlaced=0 bluray_compat=0 constrained_intra=0 bframes=0 weightp=1 keyint=60 keyint_min=1 scenecut=40 intra_refresh=0 rc_lookahead=0 rc=crf mbtree=0 crf=23.0 qcomp=0.60 qpmin=0 qpmax=69 qpstep=4 vbv_maxrate=3000 vbv_bufsize=12000 crf_max=0.0 nal_hrd=none filler=0 ip_ratio=1.40 aq=1:1.00
[graph_1_in_1_0 @ 0000026d651319c0] tb:1/8000 samplefmt:s16 samplerate:8000 chlayout:0x4
[format_out_0_1 @ 0000026d65132d80] auto-inserting filter 'auto_resampler_0' between the filter 'Parsed_anull_0' and the filter 'format_out_0_1'
[auto_resampler_0 @ 0000026d651331c0] ch:1 chl:mono fmt:s16 r:8000Hz -> ch:1 chl:mono fmt:s16p r:44100Hz
Output #0, flv, to 'rtmp://live-hel.twitch.tv/app/live_*************':
  Metadata:
    encoder         : Lavf58.44.100
    Stream #0:0: Video: h264 (libx264), 1 reference frame ([7][0][0][0] / 0x0007), yuv420p(progressive), 1920x1080, q=-1--1, 3000 kb/s, 29 fps, 1k tbn, 29 tbc
    Metadata:
      encoder         : Lavc58.90.100 libx264
    Side data:
      cpb: bitrate max/min/avg: 3000000/0/3000000 buffer size: 12000000 vbv_delay: N/A
    Stream #0:1: Audio: mp3 (libmp3lame) ([2][0][0][0] / 0x0002), 44100 Hz, mono, s16p, delay 1105, 160 kb/s
    Metadata:
      encoder         : Lavc58.90.100 libmp3lame

python ffmpeg twitch video-streaming
person El_Presidente    schedule 02.06.2020    source источник
comment
Что говорит вам, что поток составляет 70 КБ? Было бы более информативно, если бы вы показали фактическую выполняемую команду ffmpeg и полный журнал этой команды. Код Python пока только мешает.   -  person llogan    schedule 02.06.2020
comment
Панель аналитики Twitch говорит, что битрейт составляет 70 КБ, и поток не загружается должным образом. Не подскажете, как показать логи ffmpeg при подаче кадров в пайп? Потому что пока я не понимаю, как выполнить эту команду вне python, потому что мне нужно указать «-» в аргументе -i   -  person El_Presidente    schedule 02.06.2020
comment
Нельзя ли просто запустить ffmpeg -f rawvideo -framerate 25 -video_size 1280x720 -pixel_format rgb24 -i - ... в интерфейсе командной строки? ffmpeg выводит журнал в stderr, чтобы вы могли его зафиксировать. Или добавьте параметр -report, и он создаст файл журнала в рабочем каталоге, но он будет слишком многословным и раздражающим для анализа.   -  person llogan    schedule 02.06.2020
comment
Каким-то образом мне удалось запустить его в блокноте jupyter, чтобы он выводил в командную строку, вот вывод: кадр = 360 кадров в секунду = 0,2 q = 18,0 размер = 32727 кБ время = 00:25:11,81 битрейт = 177,3 кбит/с скорость = 1,01x, поэтому ffmpeg сообщает битрейт 177 кбит   -  person El_Presidente    schedule 02.06.2020
comment
добавил полный лог   -  person El_Presidente    schedule 04.06.2020

Ответы (2)


arrow_upward
0
arrow_downward

вот минимальная реализация для стрима на twitch или другие RTMP серверы:

import threading, signal, os, sys, time, logging
import numpy as np
import cv2
import subprocess as sp

cap = cv2.VideoCapture(0)
frame_width= 1280
frame_height=720
FPS = 30


cap.set(cv2.CAP_PROP_FRAME_WIDTH, frame_width)
cap.set(cv2.CAP_PROP_FRAME_HEIGHT, frame_height)
cap.set(cv2.CAP_PROP_FPS,FPS)

print("************ cv2.CAP_PROP_FPS : ", cap.get(cv2.CAP_PROP_FPS)) 

CBR='4500k'
command = [
    'ffmpeg',
    '-f', 'rawvideo',
    '-vcodec','rawvideo',
    '-s', str(frame_width)+'x'+str(frame_height),
    '-pix_fmt', 'bgr24',
    '-r', str(FPS),
    '-i', '-',
    '-stream_loop', '-1',
    '-i', 'PATH_TO_YOUR_AUDIO_FILE.mp3',
    '-f', 'flv',
    '-vcodec', 'libx264',
    '-profile:v', 'main',
    '-g', '60',
    '-keyint_min', '30',
    '-b:v', CBR,
    '-minrate', CBR,
    '-maxrate', CBR,
    '-pix_fmt', 'yuv420p',
    '-preset', 'ultrafast',
    '-tune', 'zerolatency',
    '-threads', '0',
    '-bufsize', CBR,
    'rtmp://RTMP_SERVER_ULR/YOUR_CHANNEL_KEY']

proc = sp.Popen(command, stdin=sp.PIPE, stderr=sp.STDOUT, bufsize=0)

while True:
    ret, frame = cap.read()
    proc.stdin.write(frame.tostring())


cap.release()
proc.stdin.close()
proc.wait()

Несколько заметок:

  • Формат цветового пикселя opencv bgr24 не rgb24
  • Youtube, Twitch и т. д. не поддерживают адаптивный битрейт, только постоянный битрейт CBR, в настоящее время ffmpeg не поддерживает постоянный битрейт из коробки, поэтому вам нужно установить несколько параметров с желаемым битрейтом (b:v, minrate, maxrate, )
  • Youtube требует, чтобы у вас был звук в вашем потоке
  • Задержка Twitch удваивается, если в вашей трансляции нет звука.
  • в приведенном выше примере я использую mp3-файл в цикле, но вы также можете использовать источник звука
  • Я подозреваю, что причина, по которой вы не можете достичь желаемого битрейта, заключается в том, что -keyint_min слишком низкий, а -g слишком высокий, попробуйте установить -keyint_min=fps и -g=fpsx2.
person Sami Dalati    schedule 16.07.2020

arrow_upward
0
arrow_downward

Исходная проблема связана с использованием двух конфликтующих режимов управления скоростью. -b:v и -crf взаимоисключающие. Поскольку вы транслируете и хотите более конкретный битрейт, удалите -crf.

person llogan    schedule 17.07.2020