Помощь с БПФ (быстрое преобразование Фурье) и / или DSP

Это сложная проблема, требующая большего, чем просто БПФ. Я кратко опишу, как я реализовал обнаружение биений, когда писал программное обеспечение для профессионального DJ оборудования.

Прежде всего, вам нужно сократить объем данных, с которыми вы имеете дело, так как есть всего два или три удара в секунду, но десятки тысяч сэмплов. Вам также нужно будет рассмотреть разные частотные диапазоны, поскольку некоторые типы музыки несут темп в басовой линии, а другие - в перкуссии или других инструментах. Итак, пропустите сигнал через несколько полосовых фильтров (я выбрал 8 фильтров, каждый из которых покрывает одну октаву, от низких басов до высоких высоких частот), а затем выполните субдискретизацию каждой полосы, усредняя мощность по нескольким сотням выборок.

Каждые несколько секунд у вас будет около тысячи сэмплов в каждой полосе. Ваш следующий инструмент - автокорреляция, чтобы определить повторяющиеся паттерны в музыке. Пики автокорреляции говорят вам, каким будет биение с большей или меньшей вероятностью; но вам нужно будет составить некоторую эвристику, чтобы сравнить все частотные диапазоны, чтобы найти ритм, в котором вы можете быть уверены, и избежать вводящих в заблуждение синкопий. Если вы справитесь с этим, тогда у вас будет разумное предположение о темпе, но не будет никакого представления о фазе (то есть, когда именно мигать на экране).

Теперь вы можете посмотреть на сглаженную версию аудиоданных для пиков, некоторые из которых, вероятно, соответствуют биениям. Сначала ищите самый сильный пик в течение нескольких секунд и воспринимайте это как мрачную долю. В сочетании с темпом, который вы оценили на первом этапе, вы можете предсказать, когда должна быть следующая доля, и измерить, где вы на самом деле видели что-то вроде доли, и скорректировать свою оценку для более точного соответствия данным. Вы также можете поддерживать уровень достоверности, основанный на том, насколько хорошо предсказанные биения соответствуют измеренным пикам; если он падает слишком низко, перезапустите определение ударов с нуля.

В этом есть много неудобных деталей, и мне потребовалось несколько недель, чтобы заставить его работать нормально. Это сложная проблема.

Или для простого эффекта визуализации вы можете просто обнаруживать пики и мигать на экране для каждого из них; это, вероятно, будет выглядеть достаточно хорошо.

Результат БПФ даст вам частотный спектр аудиосэмпла, но извлечение темпа из вывода БПФ, вероятно, не тот путь, которым вы хотите идти.

Одна вещь, которую вы можете сделать, - это использовать определение пиков для определения «всплесков» громкости, которые обычно возникают на «падающих битах» музыки. Если вы можете определить замедление, то вы можете использовать такой ресурс, как bpmdatabase.com, чтобы узнать темп песня. Темп подскажет вам, как быстро будет мигать, а обнаруженные пики сообщат вам, когда начать мигать. Пусть ваше приложение отслеживает ваши вспышки, чтобы убедиться, что они обычно возникают одновременно с пиком (если они начинают расходиться, то темп, возможно, изменился в середине песни).

Это может показаться простым, но на самом деле это очень нетривиальная вещь для реализации. Возможно, вы захотите прочитать этот вопрос SO, чтобы узнать больше Информация. В ответах есть качественные ссылки.

Если я полностью неверно интерпретирую то, что вы пытаетесь сделать, и вам нужно выполнять БПФ для чего-то другого, тогда вы можете использовать одну из существующих библиотек БПФ, чтобы сделать за вас тяжелую работу. Некоторые примеры: FFTW и KissFFT.

Похоже, вы как-то пытаетесь заставить визуализатор мигать экран в такт музыке. Я не думаю, что вычисление БПФ вам здесь поможет. В любой данный момент будет много одновременных частотных компонентов по всему звуковому спектру (примерно от 20 Гц до 20 кГц). Но вас, вероятно, гораздо больше заинтересует музыкальный темп (количество ударов в минуту - больше похоже на 5 Гц или ниже), и это не будет нигде в БПФ необработанного аудиосигнала.

Вам, вероятно, понадобится что-то гораздо более простое - какое-то обнаружение пиков в реальном времени. Каждый раз, когда вы видите пик, превышающий некоторый порог выше средней громкости, заставьте ваш экран мигать.

Конечно, более сложные визуализации могут использовать преимущества БПФ, но не то, что вы описываете.

Я бы порекомендовал найти библиотеку, которая сделает это за вас. Если у вас не будет много математики, чтобы поддержать вас, я думаю, вы потратите кучу своего времени, пытаясь выучить БПФ, когда все, что вам действительно нужно, это какое-то число `` базовых совпадений в минуту '', которое вы можете настроить. графика соответственно.

Посмотрите этот похожий пост: здесь

Мне потребовалось около трех недель, чтобы понять математику, лежащую в основе БПФ, а затем еще неделю, чтобы написать что-нибудь в Matlab, используя эти концепции. Если вы разочаровались через три дня, не пытайтесь делать собственные попытки.

Надеюсь, это полезный совет, а не обескураживающий.

-Брайан Дж. Стинар-

Как отмечалось в предыдущих ответах, БПФ, вероятно, не тот инструмент, который вам нужен для решения вашей проблемы, которая требует определения темпа, а не спектрального анализа.

Чтобы увидеть пример того, что можно сделать с помощью БПФ - и того, как конкретная реализация БПФ была интегрирована в приложение Qt, взгляните на это сообщение в блоге, в котором описывается разработанная мной демонстрация анализатора спектра. Код для демонстрации поставляется вместе с Qt в папке demos / Spectrum каталог.