Я использую прямую линию канала botframework на C # для своего чат-бота. Недавно я добавил речь Bing для преобразования текста в речь и наоборот, но есть ли вероятность, что, когда пользователь говорит, помимо обычного текста, есть также аудиофайл в качестве вложения в активности сообщения.
Заранее спасибо.
С Уважением
В случае с каналом веб-чата вы можете взглянуть на источники, чтобы понять, как он использует распознавание речи.
В частности, вы можете видеть, что вся речевая часть создается веб-чатом перед отправкой сообщения боту (sources):
const startListeningEpic: Epic<ChatActions, ChatState> = (action$, store) =>
action$.ofType('Listening_Starting')
.do((action : ShellAction) => {
var locale = store.getState().format.locale;
var onIntermediateResult = (srText : string) => { store.dispatch({ type: 'Update_Input', input: srText, source:"speech" })};
var onFinalResult = (srText : string) => {
srText = srText.replace(/^[.\s]+|[.\s]+$/g, "");
onIntermediateResult(srText);
store.dispatch({ type: 'Listening_Stop' });
store.dispatch(sendMessage(srText, store.getState().connection.user, locale));
};
var onAudioStreamStart = () => { store.dispatch({ type: 'Listening_Start' }) };
var onRecognitionFailed = () => { store.dispatch({ type: 'Listening_Stop' })};
Speech.SpeechRecognizer.startRecognizing(locale, onIntermediateResult, onFinalResult, onAudioStreamStart, onRecognitionFailed);
})
.map(_ => nullAction)
Здесь код бота в веб-приложении вызывается с sendMessage(srText..., без звука.
