Вызывать функцию, когда event.GetFrom(m_cpVoice)==S_OK (следовательно, когда происходит событие) [SAPI 5.1 и C++]

Я делаю проект с 3D-моделью, которая говорит. Итак, я использую SAPI 5.1 и хочу асинхронно вызывать функцию при возникновении события Viseme (для воспроизведения связанной с ним анимации).

Как я мог это сделать?

Большое спасибо.

Примечание. Я использую: hRes = m_cpVoice->Speak(L"Все, что я хочу, это решить эту проблему", SPF_ASYNC, NULL); И я знаю CspEvent, event.eEventId. Все, что я хочу, это как вызвать функцию, когда происходит событие Sapi


person Jesuskiewicz    schedule 19.05.2010    source источник


Ответы (1)


Во-первых, вам нужно вызвать m_cpVoice->SetInterest(SPFEI(SPEI_VISEME ), SPFEI(SPEI_VISEME)); это скажет SAPI отправить событие, когда срабатывает событие VISEME.

Во-вторых, необходимо настроить обработчик событий, вызвав m_cpVoice->SetNotifyCallbackInterface с вашим обратным вызовом. (Он должен реализовать ISpNotifyCallback, который — это виртуальный интерфейс C++, который будет реализован вашим объектом.)

Вы можете просмотреть документацию по событиям SAPI. подробнее.

Пример реализации ISpNotifyCallback будет выглядеть так:

TTSHandler.h:

class CTTSHandler : ISpNotifyCallback
{
public:
    CTTSHandler(void);
    ~CTTSHandler(void);
    HRESULT Initialize();
    HRESULT DoSpeak();
    HRESULT Uninitialize();

private:
    HRESULT STDMETHODCALLTYPE NotifyCallback(WPARAM wParam, LPARAM lParam);
    void TTSAppStatusMessage(LPCTSTR str);

    CComPtr<ISpAudio>   m_cpOutAudio;
    CComPtr<ISpVoice> m_cpVoice;
    HANDLE m_hSpeakDone;
};

TTSHandler.cpp:

#include "TTSHandler.h"
#include <sphelper.h>

CTTSHandler::CTTSHandler(void) : m_hSpeakDone(INVALID_HANDLE_VALUE)
{
}

CTTSHandler::~CTTSHandler(void)
{
}

HRESULT CTTSHandler::Initialize()
{
    HRESULT hr = m_cpVoice.CoCreateInstance( CLSID_SpVoice );
    if ( SUCCEEDED( hr ) )
    {
        SpCreateDefaultObjectFromCategoryId( SPCAT_AUDIOOUT, &m_cpOutAudio );
    }
    if( SUCCEEDED( hr ) )
    {
        hr = m_cpVoice->SetOutput( m_cpOutAudio, FALSE );
    }
    if ( SUCCEEDED( hr ) )
    {
        hr = m_cpVoice->SetNotifyCallbackInterface(this, 0, 0);
    }
    // We're interested in all TTS events
    if( SUCCEEDED( hr ) )
    {
        hr = m_cpVoice->SetInterest( SPFEI_ALL_TTS_EVENTS, SPFEI_ALL_TTS_EVENTS );
    }
    if (SUCCEEDED(hr))
    {
        m_hSpeakDone = ::CreateEvent(NULL, TRUE, FALSE, NULL);     // anonymous event used to wait for speech done
    }
    return hr;
}

HRESULT CTTSHandler::DoSpeak()
{
    HRESULT hr = m_cpVoice->Speak( L"This is a reasonably long string that should take a while to speak.  This is some more text.", SPF_ASYNC |SPF_IS_NOT_XML, 0 );
    if (FAILED(hr))
    {
        TTSAppStatusMessage(  _T("speak failed\r\n") );
    }
    else
    {
        BOOL fContinue = TRUE;
        while (fContinue)
        {
            DWORD dwWaitId = ::MsgWaitForMultipleObjectsEx(1, &m_hSpeakDone, INFINITE, QS_ALLINPUT, MWMO_INPUTAVAILABLE);
            switch (dwWaitId)
            {
            case WAIT_OBJECT_0:
                {
                    fContinue = FALSE;
                }
                break;

            case WAIT_OBJECT_0 + 1:
                {
                    MSG Msg;
                    while (::PeekMessage(&Msg, NULL, 0, 0, PM_REMOVE))
                    {
                        ::TranslateMessage(&Msg);
                        ::DispatchMessage(&Msg);
                    }
                }
                break;

            case WAIT_TIMEOUT:
                {
                    hr = S_FALSE;
                    fContinue = FALSE;
                }
                break;

            default:// Unexpected error
                {
                    TTSAppStatusMessage(L"Unexpected error returned from MsgWaitForMultipleObj");
                    hr = HRESULT_FROM_WIN32(::GetLastError());
                    fContinue = FALSE;
                }
                break;
            }
        }
    }
    return hr;
}

HRESULT CTTSHandler::Uninitialize()
{
    m_cpVoice = NULL;
    return S_OK;
}


void CTTSHandler::TTSAppStatusMessage(LPCTSTR szMessage )
{
    wprintf_s(L"%s", szMessage);
}

/////////////////////////////////////////////////////////////////
HRESULT STDMETHODCALLTYPE CTTSHandler::NotifyCallback(WPARAM, LPARAM)
/////////////////////////////////////////////////////////////////
//
// Handles the WM_TTSAPPCUSTOMEVENT application defined message and all
// of it's appropriate SAPI5 events.
//
{

    CSpEvent        event;  // helper class in sphelper.h for events that releases any 
    // allocated memory in it's destructor - SAFER than SPEVENT
    int             i = 0;
    HRESULT         hr = S_OK;

    while( event.GetFrom(m_cpVoice) == S_OK )
    {
        switch( event.eEventId )
        {
        case SPEI_START_INPUT_STREAM:
            TTSAppStatusMessage(  _T("StartStream event\r\n") );
            break; 

        case SPEI_END_INPUT_STREAM:
            TTSAppStatusMessage(  _T("EndStream event\r\n") );
            SetEvent(m_hSpeakDone);
            break;     

        case SPEI_VOICE_CHANGE:
            TTSAppStatusMessage(  _T("Voicechange event\r\n") );
            break;

        case SPEI_TTS_BOOKMARK:
            {
                // Get the string associated with the bookmark
                // and add the null terminator.
                TCHAR szBuff2[MAX_PATH] = _T("Bookmark event: ");

                size_t cEventString = wcslen( event.String() ) + 1;
                WCHAR *pwszEventString = new WCHAR[ cEventString ];
                if ( pwszEventString )
                {
                    wcscpy_s( pwszEventString, cEventString, event.String() );
                    _tcscat_s( szBuff2, _countof(szBuff2), CW2T(pwszEventString) );
                    delete[] pwszEventString;
                }

                _tcscat_s( szBuff2, _countof(szBuff2), _T("\r\n") );
                TTSAppStatusMessage(  szBuff2 );
            }
            break;

        case SPEI_WORD_BOUNDARY:
            TTSAppStatusMessage(  _T("Wordboundary event\r\n") );
            break;

        case SPEI_PHONEME:
            TTSAppStatusMessage(  _T("Phoneme event\r\n") );
            break;

        case SPEI_VISEME:
            TTSAppStatusMessage(  _T("Viseme event\r\n") );
            break;

        case SPEI_SENTENCE_BOUNDARY:
            TTSAppStatusMessage(  _T("Sentence event\r\n") );
            break;

        case SPEI_TTS_AUDIO_LEVEL:
            WCHAR wszBuff[MAX_PATH];
            swprintf_s(wszBuff, _countof(wszBuff), L"Audio level: %d\r\n", (ULONG)event.wParam);
            TTSAppStatusMessage(  CW2T(wszBuff) );
            break;

        case SPEI_TTS_PRIVATE:
            TTSAppStatusMessage(  _T("Private engine event\r\n") );
            break;

        default:
            TTSAppStatusMessage(  _T("Unknown message\r\n") );
            break;
        }
    }
    return hr;
}
person Eric Brown    schedule 25.05.2010
comment
Спасибо за Ваш ответ. У меня проблема со второй частью. SetNotifyCallbackInterface использует в качестве первого параметра ISpNotifyCallback* и не знает, как это реализовать. Я искал это в документации по событиям Sapi, но я определенно не знаю, как это сделать. (Заголовки Sapi ничего не говорят об этом. Я немного растерялся, поэтому я был бы очень признателен за небольшое объяснение. Еще раз спасибо. - person Jesuskiewicz; 27.05.2010
comment
Документы MSDN в значительной степени говорят сами за себя: это виртуальный интерфейс C++, который может быть реализован клиентским приложением SAPI для получения уведомлений. Я обновлю ответ, чтобы включить образец. - person Eric Brown; 27.05.2010
comment
Большое спасибо. Это позволяет скомпилировать мою программу. Но у меня есть (последняя) проблема. Когда я создаю объект CSpeechHandler на main.cpp, пишу CSpeechHandler* cs= new CSpeechHandler(); МОЯ программа ничего не делает. И если я попытаюсь вызвать функцию cs-›SetupTTSHandlers(); (Для этого мне пришлось сделать SetupTTSHandlers общедоступными). Он говорит, но никогда не вызывает функцию NotifyCallback. Итак, как инициировать эти звонки? PD: я представил на примере hr = CoCreateInstance(CLSID_SpVoice, NULL, CLSCTX_ALL, IID_ISpVoice, (void **)&m_spVoice); чтобы он работал - person Jesuskiewicz; 28.05.2010
comment
Образец, который я разместил, не завершен. Полный рабочий пример событий TTS есть в Windows 7 SDK (и почти наверняка в Windows Vista SDK) — посмотрите в %windowssdkdir%\Samples\winui\speech\ttsapplication. Это приложение использует SetNotifyWindowsMessage, но я без труда изменил его, чтобы использовать SetNotifyCallbackInterface. - person Eric Brown; 28.05.2010
comment
Я знаю об этом примере, но он содержит много вещей для Windows (я не использую Windows, я использую консольное приложение Win32), и я не вижу, как заставить события запускать NotifyCallback автоматически. Я этого не вижу. PD: Когда я работаю над C++, я всегда работаю с последовательными программами... так что мне трудно - person Jesuskiewicz; 31.05.2010
comment
Спасибо за все, но какие-нибудь новые предложения? - person Jesuskiewicz; 01.06.2010
comment
Вы не прокачиваете сообщения (которые необходимы для получения обратных вызовов) во время обработки речи. Я отредактировал исходный код, чтобы предоставить полный рабочий пример с событиями. - person Eric Brown; 01.06.2010
comment
Спасибо большое. Вы анонимный герой современности. Вы спасли меня от потери многих часов. Спасибо еще раз. - person Jesuskiewicz; 02.06.2010