Голосовой вызов в Android с использованием OpenSL

Я делаю приложение VoIP для своей диссертации. Я хотел бы знать, может ли кто-нибудь помочь мне с этим сценарием: у меня есть два потока: AudioThread и AudioSendThread. Первый — это слушатель, который получает аудиопакет через DatagramSocket и воспроизводит его на телефоне. Второй — это рекордер, который захватывает 20 миллисекунд звука и отправляет его на другое устройство. Я реализовал его на Java, но он очень медленный, поэтому я решил попробовать OpenSL, но не нашел документации для чего-то подобного.

Это AudioSendThread

public class AudioSendThread implements Runnable {
private final static String TAG = "AudioSndThread";
private boolean createdAudioP = false;
private DatagramSocket audioSndSocket;
private String ipAddr;
private byte[] buffer;

public AudioSendThread(Object o){
    this.ipAddr = //getting IpAddress
    audioSndSocket = (DatagramSocket)o;
}

@Override
public void run() {
    if(!createdAudioP)
        createdAudioP = createAudioRecorder();
    if(createdAudioP)
        startRecording();
    DatagramPacket packet = null;
    while(true){
            byte[] buffer = readAudio(20); //read 20 milliseconds of audio, this is the one i would like to implement in OpenSL
        try {
            packet = new DatagramPacket(buffer, buffer.length, InetAddress.getByName(this.ipAddr), PORT.AUDIO);
            audioSndSocket.send(packet);
        } catch (IOException e) {
            Log.e(TAG, e.getMessage());
            return;
        }

    }
}

public static native void startRecording();
public static native boolean createAudioRecorder();
public static native byte[] readAudio(int millis);

static {
    System.loadLibrary("SoundUtils");
}}

И это AudioThread

public class AudioThread implements Runnable{
private DatagramSocket audioServSock;

@Override
public void run() {
            createBufferQueueAudioPlayer();
    DatagramPacket packet = null;
    Thread audioSndThread = null;
    try {
        this.audioServSock = new DatagramSocket(PORT.AUDIO);
    } catch (SocketException e1) {
        e1.printStackTrace();
    }
    if(true){
        audioSndThread = new Thread(new AudioSendThread(this.audioServSock));
        audioSndThread.start();
    }
            byte[] buffer = new buffer[1500]; //random size
    packet = new DatagramPacket(buffer, 1500);
    while(true){
        try {
            audioServSock.receive(packet);
            playAudio(buffer, packet.getLength()); //other method i would like to implement in OpenSL
        } catch (IOException e) {
            Log.e(TAG, Log.getStackTraceString(e));
            return;
        }           
    }
    at.stop();
    at.release();
}

public static native void createBufferQueueAudioPlayer();
public static native void playAudio(byte[] buffer, int length);

/** Load jni .so on initialization */
static {
     System.loadLibrary("native-audio-jni");
}

}

Другие нативные методы взяты из образца NativeAudio из NDK.

Спасибо всем за любое предложение!


person Oxenarf    schedule 26.09.2013    source источник
comment
Android NDK включает пример приложения под названием native-audio, в котором показано, как выполнять запись и воспроизведение с помощью OpenSL ES.   -  person Michael    schedule 07.10.2013
comment
Я знаю это, и я пытался использовать этот образец, но воспроизведение не работает... работает только mp3, воспроизводящий его.   -  person Oxenarf    schedule 08.10.2013
comment
Вот последняя статья о потоковой передаче с низкой задержкой на Android: createdigitalmusic.com/2013/05/   -  person Alex Cohn    schedule 13.03.2014
comment
Вам когда-нибудь удавалось заставить OpenSL записывать звонки?   -  person Recycled Steel    schedule 02.03.2016


Ответы (1)


Вы попробовали пример кода собственного аудио, поставляемый с Android-NDK, что означает, что вы знакомы с вызовами JNI. Вот хороший блог Виктора Лаззарини, в котором описывается его подход к потоковой передаче аудио для голосовой связи с использованием OpenSL ES.

потоковое аудио Android с OpenSL ES и NDK.

Вы можете загрузить исходный код здесь. Следуйте инструкциям и запустите его на своем устройстве.

person Reaz Murshed    schedule 12.03.2014