Какой вывод я должен увидеть от getFft?

Итак, я работаю над созданием приложения для визуализации звука для Android. Проблема в том, что то, что я получаю от метода getFft(), не совпадает с тем, что Google говорит, что он должен производить. Я проследил весь исходный код до C++, но я недостаточно знаком с C++ или БПФ, чтобы понять, что происходит.

Я постараюсь включить все необходимое здесь:

(Java ) Visualizer.getFft(byte[] fft)

 /**
 * Returns a frequency capture of currently playing audio content. The capture is a 8-bit
 * magnitude FFT. Note that the size of the FFT is half of the specified capture size but both
 * sides of the spectrum are returned yielding in a number of bytes equal to the capture size.
 * {@see #getCaptureSize()}.
 * <p>This method must be called when the Visualizer is enabled.
 * @param fft array of bytes where the FFT should be returned
 * @return {@link #SUCCESS} in case of success,
 * {@link #ERROR_NO_MEMORY}, {@link #ERROR_INVALID_OPERATION} or {@link #ERROR_DEAD_OBJECT}
 * in case of failure.
 * @throws IllegalStateException
 */
public int getFft(byte[] fft)
throws IllegalStateException {
    synchronized (mStateLock) {
        if (mState != STATE_ENABLED) {
            throw(new IllegalStateException("getFft() called in wrong state: "+mState));
        }
        return native_getFft(fft);
    }
}

(C++) Visualizer.getFft(uint8_t *fft)

status_t Visualizer::getFft(uint8_t *fft)
{
if (fft == NULL) {
    return BAD_VALUE;
}
if (mCaptureSize == 0) {
    return NO_INIT;
}

status_t status = NO_ERROR;
if (mEnabled) {
    uint8_t buf[mCaptureSize];
    status = getWaveForm(buf);
    if (status == NO_ERROR) {
        status = doFft(fft, buf);
    }
} else {
    memset(fft, 0, mCaptureSize);
}
return status;
}

(C++) Visualizer.doFft(uint8_t *fft, uint8_t *сигнал)

status_t Visualizer::doFft(uint8_t *fft, uint8_t *waveform)
{
int32_t workspace[mCaptureSize >> 1];
int32_t nonzero = 0;

for (uint32_t i = 0; i < mCaptureSize; i += 2) {
    workspace[i >> 1] = (waveform[i] ^ 0x80) << 23;
    workspace[i >> 1] |= (waveform[i + 1] ^ 0x80) << 7;
    nonzero |= workspace[i >> 1];
}

if (nonzero) {
    fixed_fft_real(mCaptureSize >> 1, workspace);
}

for (uint32_t i = 0; i < mCaptureSize; i += 2) {
    fft[i] = workspace[i >> 1] >> 23;
    fft[i + 1] = workspace[i >> 1] >> 7;
}

return NO_ERROR;
}

(C++) fixedfft.fixed_fft_real(int п, int32_t *v)

void fixed_fft_real(int n, int32_t *v)
{
int scale = LOG_FFT_SIZE, m = n >> 1, i;

fixed_fft(n, v);
for (i = 1; i <= n; i <<= 1, --scale);
v[0] = mult(~v[0], 0x80008000);
v[m] = half(v[m]);

for (i = 1; i < n >> 1; ++i) {
    int32_t x = half(v[i]);
    int32_t z = half(v[n - i]);
    int32_t y = z - (x ^ 0xFFFF);
    x = half(x + (z ^ 0xFFFF));
    y = mult(y, twiddle[i << scale]);
    v[i] = x - y;
    v[n - i] = (x + y) ^ 0xFFFF;
}
}

(C++) fixedfft.fixed_fft(int п, int32_t *v)

void fixed_fft(int n, int32_t *v)
{
int scale = LOG_FFT_SIZE, i, p, r;

for (r = 0, i = 1; i < n; ++i) {
    for (p = n; !(p & r); p >>= 1, r ^= p);
    if (i < r) {
        int32_t t = v[i];
        v[i] = v[r];
        v[r] = t;
    }
}

for (p = 1; p < n; p <<= 1) {
    --scale;

    for (i = 0; i < n; i += p << 1) {
        int32_t x = half(v[i]);
        int32_t y = half(v[i + p]);
        v[i] = x + y;
        v[i + p] = x - y;
    }

    for (r = 1; r < p; ++r) {
        int32_t w = MAX_FFT_SIZE / 4 - (r << scale);
        i = w >> 31;
        w = twiddle[(w ^ i) - i] ^ (i << 16);
        for (i = r; i < n; i += p << 1) {
            int32_t x = half(v[i]);
            int32_t y = mult(w, v[i + p]);
            v[i] = x - y;
            v[i + p] = x + y;
        }
    }
}
}

Если ты прошел через все это, ты молодец! Итак, моя проблема заключается в том, что когда я вызываю метод java getFft(), я получаю отрицательные значения, которых не должно существовать, если возвращаемый массив предназначен для представления величины. Итак, мой вопрос: что мне нужно сделать, чтобы массив представлял величину?

EDIT: Похоже, что мои данные на самом деле могут быть коэффициентами Фурье. Я порылся в Интернете и нашел это. Апплет «Запуск функции БПФ» отображает графическое представление коэффициентов, и это точное изображение того, что происходит, когда я графически вывожу данные из getFft(). Итак, новый вопрос: Это мои данные? и если да, то как перейти от коэффициентов к его спектральному анализу?


person ebolyen    schedule 24.01.2011    source источник
comment
Разве вы еще не получили ответ на этот вопрос здесь? stackoverflow.com/questions/4720512 /   -  person Null Set    schedule 25.01.2011
comment
Это другой вопрос. Оригинально было так: Прежде всего, что означают обе стороны спектра? Чем этот вывод отличается от стандартного БПФ? На этот раз у меня есть соответствующий исходный код и гораздо более конкретный вопрос.   -  person ebolyen    schedule 25.01.2011
comment
@ Эван, я столкнулся с той же проблемой. Когда я нарисовал данные fft на холсте, они выглядят проводными. У вас есть какое-нибудь решение для этого? Вот мой вопрос, который я разместил на SO. stackoverflow .com/questions/7024187/   -  person Raj    schedule 13.08.2011


Ответы (3)


БПФ не просто производит величину; он также производит фазу (выход для каждого образца представляет собой комплексное число). Если вам нужна величина, вам нужно явно вычислить ее для каждой выходной выборки как re*re + im*im, где re и im — действительная и мнимая составляющие каждого комплексного числа соответственно.

К сожалению, я не вижу в вашем коде места, где вы работаете с комплексными числами, поэтому, возможно, потребуется его переписать.

ОБНОВЛЕНИЕ

Если бы мне пришлось угадывать (посмотрев на код), я бы сказал, что реальные компоненты имеют четные индексы, а нечетные — нечетные. Итак, чтобы получить величины, вам нужно сделать что-то вроде:

uint32_t mag[N/2];
for (int i = 0; i < N/2; i++)
{
    mag[i] = fft[2*i]*fft[2*i] + fft[2*i+1]*fft[2*i+1];
}
person Oliver Charlesworth    schedule 24.01.2011
comment
Это не мой код, он предоставлен Android. Так что о перезаписи не может быть и речи. Похоже, что мои данные могут быть коэффициентами. - person ebolyen; 25.01.2011
comment
Это работает! Мне пришлось взять квадрат магнита, чтобы он поместился на экране, но теперь он может отслеживать частоту, которая изменяется от 6 кГц до 20! Я никогда не мог сделать это чисто! Большое спасибо! - person ebolyen; 25.01.2011

Одно из возможных объяснений, почему вы видите отрицательные значения: byte – это знаковый тип данных в Java. Все значения, которые больше или равны 1000 00002, интерпретируются как отрицательные целые числа.

Если мы знаем, что все значения должны находиться в диапазоне [0..255], то мы должны сопоставить значения с более крупным типом и отфильтровать верхние биты:

byte signedByte = 0xff;  // = -1
short unsignedByte = ((short) signedByte) & 0xff;   // = 255
person Andreas Dolk    schedule 24.01.2011
comment
Это была отличная догадка, но она не сработала. Я нашел изображение некоторых графических коэффициентов Фурье, и оно выглядело ТОЧНО как мои данные. - person ebolyen; 25.01.2011

«Захват представляет собой 8-битное БПФ», вероятно, означает, что возвращаемые значения имеют 8-битную величину, а не то, что они сами являются величинами.

Согласно Джейсону

Для сигналов с действительным знаком, таких как те, которые используются при обработке звука, отрицательная частота на выходе будет зеркальным отражением положительных частот.

Android 2.3 Visualizer - Проблемы с пониманием getFft()

person Null Set    schedule 24.01.2011