Потоковая передача ввода с микрофона в Google Speech API

Я заглянул в Google Cloud Speech API и получил потоковую передачу с моего микрофона, работающего на сервере Node.

Тогда мне было интересно, что было бы лучше всего для потоковой передачи моего микрофона из веб-интерфейса? Отправляет ли он аудиопоток от getUserMedia на сервер Node и передает его в API с клиентом Node API? Или это просто сохранение голосового ввода в файл, который я затем передаю в API?

Цель состоит в том, чтобы «расшифровать» инструкции (одно или два предложения) и отправить результат в другой API.


node.js stream speech google-cloud-speech
person Adam Byström    schedule 28.03.2017    source источник
comment
Вы можете передавать данные в API напрямую из getUserMedia, не сохраняя их в файл и без промежуточного сервера узлов.   -  person Nikolay Shmyrev    schedule 29.03.2017
comment
Спасибо за ваш ответ! Как бы это сделать? Насколько я понимаю, REST API не поддерживает потоки (?)   -  person Adam Byström    schedule 29.03.2017
comment
Что-то вроде этого npmjs.com/package/grpc-web-client   -  person Nikolay Shmyrev    schedule 29.03.2017
comment
Глядя на репозиторий git для этого пакета, похоже, что он не поддерживает потоковую передачу; Очень важно отметить, что спецификация gRPC-Web в настоящее время не поддерживает потоковую передачу на стороне клиента. . (github.com/improbable-eng/grpc-web)   -  person Adam Byström    schedule 31.03.2017
comment
Привет, Адам, ты нашел решение для этого? Благодарность   -  person Cam    schedule 05.04.2017
comment
К сожалению нет. Я изучал потоковую передачу звука с микрофона через веб-сокет на сервер узла, а затем передавал его в API через клиент API узла. Но, к сожалению, мне пришлось пока отложить это.   -  person Adam Byström    schedule 11.04.2017
comment
Я тоже собираюсь сделать это, и на данный момент застрял. Я пробовал использовать socket.io, но не могу понять, как преобразовать буферизованный звук из браузера в конвейерный поток для отправки в Google Speech API. Другой вариант, с которым я столкнулся, - это использование binary.js, который, кажется, работает лучше, но в итоге я получаю объект BinaryStream на сервере, с которым я не знаю, что делать. Кто-нибудь успешно использовал любой из этих методов?   -  person ItJustWerks    schedule 19.04.2017
comment
Привет. Есть ли обновление по этому поводу? Можно ли сделать вызов gRPC напрямую со стороны клиента без использования какого-либо языка на стороне сервера. Если нет, то какова альтернатива для достижения этого с помощью javascript и java? Любая помощь будет оценена по достоинству. Спасибо :-)   -  person PRANSHU MIDHA    schedule 04.09.2017

Ответы (1)


arrow_upward
1
arrow_downward

Я знаю, что этому вопросу больше года, и OP, вероятно, либо нашел ответ, либо отказался, но я потратил достаточно времени, тщетно пытаясь найти это в Google, прежде чем я понял, что хочу помочь любому, кто идет по моим стопам. : Я написал руководство для этой точной ситуации здесь.

person Amber B.    schedule 26.06.2018