Я пытаюсь создать систему идентификации говорящего на Android. В настоящее время я использую libxtract для вычисления вектора MFCC из кадров и libsvm для классификации.
Есть ли у вас какие-либо идеи, как использовать libxtract или другую небольшую библиотеку C, C++, которую я могу скомпилировать под NDK, для обнаружения голоса (VAD Voice Activity Detection) в кадрах?
Надежная VAD — нетривиальная проблема, и существуют множество подходов.
Подход, который вы выберете, зависит от таких факторов, как:
Простой подход может включать в себя использование «набора признаков» (например, f0, зашумленность, величины первых 10 частичных значений) пост-шумоподавления для каждого звукового кадра и обучение алгоритма машинного обучения (SVM будет достаточно) с широким выбором голосовых и неголосовых образцов.
Тем не менее, вероятно, лучше не рассматривать VAD как простую проблему классификации аудио по кадрам, а скорее принимать во внимание изменяющиеся во времени аспекты аудио. Это даст вам более точную оценку того, где начинаются и заканчиваются речевые сегменты. Для этого вы можете использовать последователь конверта или спектральный поток. Вы можете установить верхний и нижний порог для этих значений огибающей и использовать их (например) для управления гейтом в аудиопотоке.
Инструментарий Voicebox имеет хорошую реализацию VAD с использованием нескольких методов, описанных Джейми. Вы можете найти его на vadsohn.m, который реализует «Обнаружение голосовой активности на основе статистической модели» (1999 г.) - Sohn, et al.
Вы также можете найти некоторые реализации, скажем, кодека G729 VAD (используемого в приложениях VOIP) на github. Например, эта магистерская диссертация.
Эти реализации находятся в MATLAB/Octave, но могут быть перенесены на C/C++ с небольшой доработкой. Удачи!
Как насчет LibVAD? www.libvad.com
Похоже, это делает именно то, что вы описываете.
Раскрытие информации: я разработчик LibVAD
