Не удалось воспроизвести потоковое воспроизведение MediaSourceExtension fMP4

Перейдя по этой ссылке, Я просто меняю формат webm на fMP4, как показано ниже. Но это не работает. Оригинальный файл test.webm работает нормально.

для webm конфигурация как показано ниже:

//source: http://html5-demos.appspot.com/static/test.webm
var FILE = "test.webm"
var codec = 'video/webm; codecs="vorbis,vp8"';

для fMP4 измените конфигурацию, как показано ниже:

//source http://yt-dash-mse-test.commondatastorage.googleapis.com/media/car-20120827-85.mp4
var FILE = "car-20120827-85.mp4";
var codec = 'video/mp4; codecs="mp4a,avc"';
//var codec = 'video/mp4; codecs="mp4a.40.2,avc1.640028"';

Я предполагаю, что пантомима для fMP4 может быть неправильной, но я не могу понять это после многих поисков в Интернете.

<!DOCTYPE html>
<html>
<body>
<section>
  <video controls autoplay width="320" height="240"></video>
  <pre id="log"></pre>
</section>
<script>
//source: http://html5-demos.appspot.com/static/test.webm
//var FILE = "test.webm"
//var codec = 'video/webm; codecs="vorbis,vp8"';

//source http://yt-dash-mse-test.commondatastorage.googleapis.com/media/car-20120827-85.mp4
var FILE = "car-20120827-85.mp4";
var codec = 'video/mp4; codecs="mp4a,avc"';
//var codec = 'video/mp4; codecs="mp4a.40.2,avc1.640028"';

var NUM_CHUNKS = 5;
var video = document.querySelector('video');

window.MediaSource = window.MediaSource || window.WebKitMediaSource;
if (!!!window.MediaSource) {
  alert('MediaSource API is not available');
}

var mediaSource = new MediaSource();
video.src = window.URL.createObjectURL(mediaSource);

function callback(e) {
  var sourceBuffer = mediaSource.addSourceBuffer(codec);

  logger.log('mediaSource readyState: ' + this.readyState);

  GET(FILE, function(uInt8Array) {
    var file = new Blob([uInt8Array], {type: 'video/webm'});
    var chunkSize = Math.ceil(file.size / NUM_CHUNKS);

    logger.log('num chunks:' + NUM_CHUNKS);
    logger.log('chunkSize:' + chunkSize + ', totalSize:' + file.size);

    // Slice the video into NUM_CHUNKS and append each to the media element.
    var i = 0;

    (function readChunk_(i) {
      var reader = new FileReader();

      // Reads aren't guaranteed to finish in the same order they're started in,
      // so we need to read + append the next chunk after the previous reader
      // is done (onload is fired).
      reader.onload = function(e) {
        sourceBuffer.appendBuffer(new Uint8Array(e.target.result));
        logger.log('appending chunk:' + i);
        if (i == NUM_CHUNKS - 1) {
          mediaSource.endOfStream();
        } else {
          if (video.paused) {
            video.play(); // Start playing after 1st chunk is appended.
          }
          readChunk_(++i);
        }
      };

      var startByte = chunkSize * i;
      var chunk = file.slice(startByte, startByte + chunkSize);

      reader.readAsArrayBuffer(chunk);
    })(i);  // Start the recursive call by self calling.
  });
}

mediaSource.addEventListener('sourceopen', callback, false);
mediaSource.addEventListener('webkitsourceopen', callback, false);

mediaSource.addEventListener('webkitsourceended', function(e) {
  logger.log('mediaSource readyState: ' + this.readyState);
}, false);

function GET(url, callback) {
  var xhr = new XMLHttpRequest();
  xhr.open('GET', url, true);
  xhr.responseType = 'arraybuffer';
  xhr.send();

  xhr.onload = function(e) {
    if (xhr.status != 200) {
      alert("Unexpected status code " + xhr.status + " for " + url);
      return false;
    }
    callback(new Uint8Array(xhr.response));
  };
}
</script>
<script>
function Logger(id) {
  this.el = document.getElementById('log');
}
Logger.prototype.log = function(msg) {
  var fragment = document.createDocumentFragment();
  fragment.appendChild(document.createTextNode(msg));
  fragment.appendChild(document.createElement('br'));
  this.el.appendChild(fragment);
};

var logger = new Logger('log');
</script>
</body>
</html>

person lucky1928    schedule 11.01.2018    source источник


Ответы (1)


Проблема в том, что формат fMP4 отличается от формата webm. Хотя вы можете разделить файл webm на фрагменты, определенные произвольно, вы не можете сделать это с fMP4.

Файл fMP4 — это просто набор «блоков», которые в основном представляют собой структуры с type, length и content (которые могут содержать другие блоки, что делает его иерархическим). Вы должны проанализировать файл и передать исходному буферу сначала блок moov (сегмент инициализации), а затем последовательность блоков moof mdat, которые можно декодировать и воспроизвести.

Возможно, вам придется немного почитать о формате fMP4 (также известном как ISO BMFF).

person Pablo Montilla    schedule 11.01.2018
comment
Спасибо, так что fMP4 на самом деле нельзя использовать в качестве потокового вещания, поскольку пользователь может начать воспроизведение в любой момент. только вариант использования VOD получит заголовок файла. Как насчет сохранения поля заголовка, а затем его отправки в первую очередь, если используется воспроизведение с середины файла? - person lucky1928; 11.01.2018
comment
Это именно то, что вы делаете, если хотите вести прямую трансляцию... вы сохраняете поле moov для отправки в качестве сегмента инициализации, а затем отправляете сегменты moof+mdat. Вам нужно переместить currentTime элемента video, который вы используете для воспроизведения, так как фрагменты, которые вы воспроизводите, будут иметь › 0 PTS. - person Pablo Montilla; 11.01.2018
comment
Спасибо. Могу ли я просто изменить поле moov, чтобы добавить timeOffset? Или мне нужно изменить каждую коробку moof, чтобы изменить текущее время? - person lucky1928; 11.01.2018
comment
Ммм... возможно, но слишком много работы ради малой выгоды. Вы можете узнать время буферизованных сегментов (в JavaScript), поэтому просто убедитесь, что после буферизации сегмента currentTime на проигрывателе совпадает с тем, который был буферизован, и начинаете воспроизведение. - person Pablo Montilla; 11.01.2018