Android深入浅出之Audio第一部分AudioTrack分析

移动开发 Android
本文的目的是通过从Audio系统来分析Android的代码,包括Android自定义的那套机制和一些常见类的使用,比如Thread,MemoryBase等。

一 目的

本文的目的是通过从Audio系统来分析Android的代码,包括Android自定义的那套机制和一些常见类的使用,比如Thread,MemoryBase等。

分析的流程是:

l         先从API层对应的某个类开始,用户层先要有一个简单的使用流程。

l         根据这个流程,一步步进入到JNI,服务层。在此过程中,碰到不熟悉或者***次见到的类或者方法,都会解释。也就是深度优先的方法。

1.1 分析工具

分析工具很简单,就是sourceinsight和android的API doc文档。当然还得有android的源代码。我这里是基于froyo的源码。

注意,froyo源码太多了,不要一股脑的加入到sourceinsight中,只要把framwork目录下的源码加进去就可以了,后续如要用的话,再加别的目录。

二 Audio系统

先看看Audio里边有哪些东西?通过Android的SDK文档,发现主要有三个:

l         AudioManager:这个主要是用来管理Audio系统的

l         AudioTrack:这个主要是用来播放声音的

l         AudioRecord:这个主要是用来录音的

其中AudioManager的理解需要考虑整个系统上声音的策略问题,例如来电话铃声,短信铃声等,主要是策略上的问题。一般看来,最简单的就是播放声音了。所以我们打算从AudioTrack开始分析。

三 AudioTrack(JAVA层)

JAVA的AudioTrack类的代码在:

framework/base/media/java/android/media/AudioTrack.java中。

3.1 AudioTrack API的使用例子

先看看使用例子,然后跟进去分析。至于AudioTrack的其他使用方法和说明,需要大家自己去看API文档了。

 
  1. //根据采样率,采样精度,单双声道来得到frame的大小。 
  2.  
  3. int bufsize = AudioTrack.getMinBufferSize(8000,//每秒8K个点 
  4.  
  5.   AudioFormat.CHANNEL_CONFIGURATION_STEREO,//双声道 
  6.  
  7. AudioFormat.ENCODING_PCM_16BIT);//一个采样点16比特-2个字节 
  8.  
  9. //注意,按照数字音频的知识,这个算出来的是一秒钟buffer的大小。 
  10.  
  11. //创建AudioTrack 
  12.  
  13. AudioTrack trackplayer = new AudioTrack(AudioManager.STREAM_MUSIC, 8000
  14.  
  15.   AudioFormat.CHANNEL_CONFIGURATION_ STEREO, 
  16.  
  17.   AudioFormat.ENCODING_PCM_16BIT, 
  18.  
  19.   bufsize, 
  20.  
  21. AudioTrack.MODE_STREAM);// 
  22.  
  23.  trackplayer.play() ;//开始 
  24.  
  25. trackplayer.write(bytes_pkg, 0, bytes_pkg.length) ;//往track中写数据 
  26.  
  27. …. 
  28.  
  29. trackplayer.stop();//停止播放 
  30.  
  31. trackplayer.release();//释放底层资源。 

这里需要解释下两个东西:

1 AudioTrack.MODE_STREAM的意思:

AudioTrack中有MODE_STATIC和MODE_STREAM两种分类。STREAM的意思是由用户在应用程序通过write方式把数据一次一次得写到audiotrack中。这个和我们在socket中发送数据一样,应用层从某个地方获取数据,例如通过编解码得到PCM数据,然后write到audiotrack。

这种方式的坏处就是总是在JAVA层和Native层交互,效率损失较大。

而STATIC的意思是一开始创建的时候,就把音频数据放到一个固定的buffer,然后直接传给audiotrack,后续就不用一次次得write了。AudioTrack会自己播放这个buffer中的数据。

这种方法对于铃声等内存占用较小,延时要求较高的声音来说很适用。

2 StreamType

这个在构造AudioTrack的***个参数中使用。这个参数和Android中的AudioManager有关系,涉及到手机上的音频管理策略。

Android将系统的声音分为以下几类常见的(未写全):

l         STREAM_ALARM:警告声

l         STREAM_MUSCI:音乐声,例如music等

l         STREAM_RING:铃声

l         STREAM_SYSTEM:系统声音

l         STREAM_VOCIE_CALL:电话声音

为什么要分这么多呢?以前在台式机上开发的时候很少知道有这么多的声音类型,不过仔细思考下,发现这样做是有道理的。例如你在听music的时候接到电话,这个时候music播放肯定会停止,此时你只能听到电话,如果你调节音量的话,这个调节肯定只对电话起作用。当电话打完了,再回到music,你肯定不用再调节音量了。

其实系统将这几种声音的数据分开管理,所以,这个参数对AudioTrack来说,它的含义就是告诉系统,我现在想使用的是哪种类型的声音,这样系统就可以对应管理他们了。

3.2 分析之getMinBufferSize

AudioTrack的例子就几个函数。先看看***个函数:

  1. AudioTrack.getMinBufferSize(8000,//每秒8K个点 
  2.  
  3.   AudioFormat.CHANNEL_CONFIGURATION_STEREO,//双声道 
  4.  
  5. AudioFormat.ENCODING_PCM_16BIT); 
  6.  
  7. ----->AudioTrack.JAVA 
  8.  
  9. //注意,这是个static函数 
  10.  
  11. static public int getMinBufferSize(int sampleRateInHz, int channelConfig, int audioFormat) { 
  12.  
  13.         int channelCount = 0
  14.  
  15.         switch(channelConfig) { 
  16.  
  17.         case AudioFormat.CHANNEL_OUT_MONO: 
  18.  
  19.         case AudioFormat.CHANNEL_CONFIGURATION_MONO: 
  20.  
  21.             channelCount = 1
  22.  
  23.             break
  24.  
  25.         case AudioFormat.CHANNEL_OUT_STEREO: 
  26.  
  27.         case AudioFormat.CHANNEL_CONFIGURATION_STEREO: 
  28.  
  29.             channelCount = 2;--->看到了吧,外面名字搞得这么酷,其实就是指声道数 
  30.  
  31.             break
  32.  
  33.         default
  34.  
  35.             loge("getMinBufferSize(): Invalid channel configuration."); 
  36.  
  37.             return AudioTrack.ERROR_BAD_VALUE; 
  38.  
  39.         } 
  40.  
  41.     //目前只支持PCM8和PCM16精度的音频    
  42.  
  43.         if ((audioFormat != AudioFormat.ENCODING_PCM_16BIT) 
  44.  
  45.             && (audioFormat != AudioFormat.ENCODING_PCM_8BIT)) { 
  46.  
  47.             loge("getMinBufferSize(): Invalid audio format."); 
  48.  
  49.             return AudioTrack.ERROR_BAD_VALUE; 
  50.  
  51.         } 
  52.  
  53.       //ft,对采样频率也有要求,太低或太高都不行,人耳分辨率在20HZ到40KHZ之间 
  54.  
  55.         if ( (sampleRateInHz < 4000) || (sampleRateInHz > 48000) ) { 
  56.  
  57.             loge("getMinBufferSize(): " + sampleRateInHz +"Hz is not a supported sample rate."); 
  58.  
  59.             return AudioTrack.ERROR_BAD_VALUE; 
  60.  
  61.         } 
  62.  
  63.        //调用native函数,够烦的,什么事情都搞到JNI层去。 
  64.  
  65.         int size = native_get_min_buff_size(sampleRateInHz, channelCount, audioFormat); 
  66.  
  67.         if ((size == -1) || (size == 0)) { 
  68.  
  69.             loge("getMinBufferSize(): error querying hardware"); 
  70.  
  71.             return AudioTrack.ERROR; 
  72.  
  73.         } 
  74.  
  75.         else { 
  76.  
  77.             return size; 
  78.  
  79.         } 
  80.  
  81. native_get_min_buff_size--->在framework/base/core/jni/android_media_track.cpp中实现。(不了解JNI的一定要学习下,否则只能在JAVA层搞,太狭隘了。)最终对应到函数 
  82.  
  83. static jint android_media_AudioTrack_get_min_buff_size(JNIEnv *env,  jobject thiz, 
  84.  
  85. jint sampleRateInHertz, jint nbChannels, jint audioFormat) 
  86.  
  87. {//注意我们传入的参数是: 
  88.  
  89. //sampleRateInHertz = 8000 
  90.  
  91. //nbChannels = 2; 
  92.  
  93. //audioFormat = AudioFormat.ENCODING_PCM_16BIT 
  94.  
  95.     int afSamplingRate; 
  96.  
  97.     int afFrameCount; 
  98.  
  99.     uint32_t afLatency; 
  100.  
  101. //下面涉及到AudioSystem,这里先不解释了, 
  102.  
  103. //反正知道从AudioSystem那查询了一些信息 
  104.  
  105.     if (AudioSystem::getOutputSamplingRate(&afSamplingRate) != NO_ERROR) { 
  106.  
  107.         return -1
  108.  
  109.     } 
  110.  
  111.     if (AudioSystem::getOutputFrameCount(&afFrameCount) != NO_ERROR) { 
  112.  
  113.         return -1
  114.  
  115.     } 
  116.  
  117.     
  118.  
  119.     if (AudioSystem::getOutputLatency(&afLatency) != NO_ERROR) { 
  120.  
  121.         return -1
  122.  
  123.     } 
  124.  
  125. //音频中最常见的是frame这个单位,什么意思?经过多方查找,***还是在ALSA的wiki中 
  126.  
  127. //找到解释了。一个frame就是1个采样点的字节数*声道。为啥搞个frame出来?因为对于多//声道的话,用1个采样点的字节数表示不全,因为播放的时候肯定是多个声道的数据都要播出来//才行。所以为了方便,就说1秒钟有多少个frame,这样就能抛开声道数,把意思表示全了。 
  128.  
  129.     // Ensure that buffer depth covers at least audio hardware latency 
  130.  
  131.     uint32_t minBufCount = afLatency / ((1000 * afFrameCount)/afSamplingRate); 
  132.  
  133.     if (minBufCount < 2) minBufCount = 2
  134.  
  135. uint32_t minFrameCount = 
  136.  
  137.  (afFrameCount*sampleRateInHertz*minBufCount)/afSamplingRate; 
  138.  
  139. //下面根据最小的framecount计算最小的buffersize    
  140.  
  141. int minBuffSize = minFrameCount 
  142.  
  143.             * (audioFormat == javaAudioTrackFields.PCM16 ? 2 : 1
  144.  
  145.             * nbChannels; 
  146.  
  147.     return minBuffSize; 
  148.  

getMinBufSize函数完了后,我们得到一个满足最小要求的缓冲区大小。这样用户分配缓冲区就有了依据。下面就需要创建AudioTrack对象了

3.3 分析之new AudioTrack

先看看调用函数:

  1. AudioTrack trackplayer = new AudioTrack( 
  2.  
  3. AudioManager.STREAM_MUSIC, 
  4.  
  5. 8000
  6.  
  7.   AudioFormat.CHANNEL_CONFIGURATION_ STEREO, 
  8.  
  9.   AudioFormat.ENCODING_PCM_16BIT, 
  10.  
  11.   bufsize, 
  12.  
  13. AudioTrack.MODE_STREAM);// 
  14.  
  15. 其实现代码在AudioTrack.java中。 
  16.  
  17. public AudioTrack(int streamType, int sampleRateInHz, int channelConfig, int audioFormat, 
  18.  
  19.             int bufferSizeInBytes, int mode) 
  20.  
  21.     throws IllegalArgumentException { 
  22.  
  23.         mState = STATE_UNINITIALIZED; 
  24.  
  25.         
  26.  
  27.         // 获得主线程的Looper,这个在MediaScanner分析中已经讲过了 
  28.  
  29.         if ((mInitializationLooper = Looper.myLooper()) == null) { 
  30.  
  31.             mInitializationLooper = Looper.getMainLooper(); 
  32.  
  33.         } 
  34.  
  35.     //检查参数是否合法之类的,可以不管它 
  36.  
  37.         audioParamCheck(streamType, sampleRateInHz, channelConfig, audioFormat, mode); 
  38.  
  39.    //我是用getMinBufsize得到的大小,总不会出错吧? 
  40.  
  41.         audioBuffSizeCheck(bufferSizeInBytes); 
  42.  
  43.   
  44.  
  45.         // 调用native层的native_setup,把自己的WeakReference传进去了 
  46.  
  47.      //不了解JAVA WeakReference的可以上网自己查一下,很简单的 
  48.  
  49.         int initResult = native_setup(new WeakReference<AudioTrack>(this), 
  50.  
  51.                 mStreamType, 这个值是AudioManager.STREAM_MUSIC 
  52.  
  53.  mSampleRate, 这个值是8000 
  54.  
  55. mChannels, 这个值是2 
  56.  
  57. mAudioFormat,这个值是AudioFormat.ENCODING_PCM_16BIT 
  58.  
  59.                 mNativeBufferSizeInBytes, //这个是刚才getMinBufSize得到的 
  60.  
  61. mDataLoadMode);DataLoadMode是MODE_STREAM 
  62.  
  63.          .... 
  64.  

上面函数调用最终进入了JNI层android_media_AudioTrack.cpp下面的函数

  1. static int 
  2.  
  3. android_media_AudioTrack_native_setup(JNIEnv *env, jobject thiz, jobject weak_this, 
  4.  
  5.         jint streamType, jint sampleRateInHertz, jint channels, 
  6.  
  7.         jint audioFormat, jint buffSizeInBytes, jint memoryMode) 
  8.  
  9.  
  10.     int afSampleRate; 
  11.  
  12.     int afFrameCount; 

   下面又要调用一堆东西,烦不烦呐?具体干什么用的,以后分析到AudioSystem再说。

  1.  AudioSystem::getOutputFrameCount(&afFrameCount, streamType); 
  2.  
  3.    AudioSystem::getOutputSamplingRate(&afSampleRate, streamType); 
  4.  
  5.   
  6.  
  7.    AudioSystem::isOutputChannel(channels); 
  8.  
  9.     popCount是统计一个整数中有多少位为1的算法 
  10.  
  11. int nbChannels = AudioSystem::popCount(channels); 
  12.  
  13.     
  14.  
  15.     if (streamType == javaAudioTrackFields.STREAM_MUSIC) { 
  16.  
  17.         atStreamType = AudioSystem::MUSIC; 
  18.  
  19.     } 
  20.  
  21.    int bytesPerSample = audioFormat == javaAudioTrackFields.PCM16 ? 2 : 1
  22.  
  23.     int format = audioFormat == javaAudioTrackFields.PCM16 ? 
  24.  
  25.             AudioSystem::PCM_16_BIT : AudioSystem::PCM_8_BIT; 
  26.  
  27.     int frameCount = buffSizeInBytes / (nbChannels * bytesPerSample); 
  28.  
  29. //上面是根据Buffer大小和一个Frame大小来计算帧数的。 
  30.  
  31. // AudioTrackJniStorage,就是一个保存一些数据的地方,这 
  32.  
  33. //里边有一些有用的知识,下面再详细解释 
  34.  
  35.     AudioTrackJniStorage* lpJniStorage = new AudioTrackJniStorage(); 
  36.  
  37.     
  38.  
  39.      jclass clazz = env->GetObjectClass(thiz); 
  40.  
  41.       lpJniStorage->mCallbackData.audioTrack_class = (jclass)env->NewGlobalRef(clazz); 
  42.  
  43.      lpJniStorage->mCallbackData.audioTrack_ref = env->NewGlobalRef(weak_this); 
  44.  
  45.      lpJniStorage->mStreamType = atStreamType; 
  46.  
  47.       
  48.  
  49. //创建真正的AudioTrack对象 
  50.  
  51.     AudioTrack* lpTrack = new AudioTrack(); 
  52.  
  53.        if (memoryMode == javaAudioTrackFields.MODE_STREAM) { 
  54.  
  55.   //如果是STREAM流方式的话,把刚才那些参数设进去 
  56.  
  57.        lpTrack->set( 
  58.  
  59.             atStreamType,// stream type 
  60.  
  61.             sampleRateInHertz, 
  62.  
  63.             format,// word length, PCM 
  64.  
  65.             channels, 
  66.  
  67.             frameCount, 
  68.  
  69.             0,// flags 
  70.  
  71.             audioCallback, 
  72.  
  73. &(lpJniStorage->mCallbackData),//callback, callback data (user) 
  74.  
  75.             0,// notificationFrames == 0 since not using EVENT_MORE_DATA to feed the AudioTrack 
  76.  
  77.             0,// 共享内存,STREAM模式需要用户一次次写,所以就不用共享内存了 
  78.  
  79.             true);// thread can call Java 
  80.  
  81.             
  82.  
  83.     } else if (memoryMode == javaAudioTrackFields.MODE_STATIC) { 
  84.  
  85.          //如果是static模式,需要用户一次性把数据写进去,然后 
  86.  
  87.        //再由audioTrack自己去把数据读出来,所以需要一个共享内存 
  88.  
  89. //这里的共享内存是指C++AudioTrack和AudioFlinger之间共享的内容 
  90.  
  91.  //因为真正播放的工作是由AudioFlinger来完成的。 
  92.  
  93.           lpJniStorage->allocSharedMem(buffSizeInBytes); 
  94.  
  95.           lpTrack->set( 
  96.  
  97.             atStreamType,// stream type 
  98.  
  99.             sampleRateInHertz, 
  100.  
  101.             format,// word length, PCM 
  102.  
  103.             channels, 
  104.  
  105.             frameCount, 
  106.  
  107.             0,// flags 
  108.  
  109.             audioCallback, 
  110.  
  111. &(lpJniStorage->mCallbackData),//callback, callback data (user)); 
  112.  
  113.             0,// notificationFrames == 0 since not using EVENT_MORE_DATA to feed the AudioTrack 
  114.  
  115.             lpJniStorage->mMemBase,// shared mem 
  116.  
  117.             true);// thread can call Java 
  118.  
  119.     } 
  120.  
  121.   
  122.  
  123.     if (lpTrack->initCheck() != NO_ERROR) { 
  124.  
  125.         LOGE("Error initializing AudioTrack"); 
  126.  
  127.         goto native_init_failure; 
  128.  
  129.     } 
  130.  
  131. //又来这一招,把C++AudioTrack对象指针保存到JAVA对象的一个变量中 
  132.  
  133. //这样,Native层的AudioTrack对象就和JAVA层的AudioTrack对象关联起来了。 
  134.  
  135.     env->SetIntField(thiz, javaAudioTrackFields.nativeTrackInJavaObj, (int)lpTrack); 
  136.  
  137.     env->SetIntField(thiz, javaAudioTrackFields.jniData, (int)lpJniStorage); 
  138.  
  139.   } 

1 AudioTrackJniStorage详解

这个类其实就是一个辅助类,但是里边有一些知识很重要,尤其是Android封装的一套共享内存的机制。这里一并讲解,把这块搞清楚了,我们就能轻松得在两个进程间进行内存的拷贝。

AudioTrackJniStorage的代码很简单。

  1. struct audiotrack_callback_cookie { 
  2.  
  3.     jclass      audioTrack_class; 
  4.  
  5.     jobject     audioTrack_ref; 
  6.  
  7.  };  cookie其实就是把JAVA中的一些东西保存了下,没什么特别的意义 
  8.  
  9. class AudioTrackJniStorage { 
  10.  
  11.     public
  12.  
  13.         sp<MemoryHeapBase>         mMemHeap;//这两个Memory很重要 
  14.  
  15.         sp<MemoryBase>             mMemBase; 
  16.  
  17.         audiotrack_callback_cookie mCallbackData; 
  18.  
  19.         int                        mStreamType; 
  20.  
  21.   
  22.  
  23.       bool allocSharedMem(int sizeInBytes) { 
  24.  
  25.         mMemHeap = new MemoryHeapBase(sizeInBytes, 0"AudioTrack Heap Base"); 
  26.  
  27.         mMemBase = new MemoryBase(mMemHeap, 0, sizeInBytes); 
  28.  
  29. //注意用法,先弄一个HeapBase,再把HeapBase传入到MemoryBase中去。 
  30.  
  31.         return true
  32.  
  33.     } 
  34.  
  35. }; 

2 MemoryHeapBase

MemroyHeapBase也是Android搞的一套基于Binder机制的对内存操作的类。既然是Binder机制,那么肯定有一个服务端(Bnxxx),一个代理端Bpxxx。看看MemoryHeapBase定义:

class MemoryHeapBase : public virtual BnMemoryHeap

{

  果然,从BnMemoryHeap派生,那就是Bn端。这样就和Binder挂上钩了

//Bp端调用的函数最终都会调到Bn这来

对Binder机制不了解的,可以参考:

http://blog.csdn.net/Innost/archive/2011/01/08/6124685.aspx

  有好几个构造函数,我们看看我们使用的:

  1. MemoryHeapBase::MemoryHeapBase(size_t size, uint32_t flags, char const * name) 
  2.  
  3.     : mFD(-1), mSize(0), mBase(MAP_FAILED), mFlags(flags), 
  4.  
  5.       mDevice(0), mNeedUnmap(false
  6.  
  7.  
  8.     const size_t pagesize = getpagesize(); 
  9.  
  10. size = ((size + pagesize-1) & ~(pagesize-1)); 
  11.  
  12. //创建共享内存,ashmem_create_region这个是系统提供的,可以不管它 
  13.  
  14. //设备上打开的是/dev/ashmem设备,而Host上打开的是一个tmp文件 
  15.  
  16. int fd = ashmem_create_region(name == NULL ? "MemoryHeapBase" : name, size); 
  17.  
  18. mapfd(fd, size);//把刚才那个fd通过mmap方式得到一块内存 
  19.  
  20. //不明白得去man mmap看看 
  21.  
  22. mapfd完了后,mBase变量指向内存的起始位置, mSize是分配的内存大小,mFd是 
  23.  
  24. ashmem_create_region返回的文件描述符 
  25.  
  26.   
  27.  

MemoryHeapBase提供了一下几个函数,可以获取共享内存的大小和位置。

getBaseID()--->返回mFd,如果为负数,表明刚才创建共享内存失败了

getBase()->返回mBase,内存位置

  getSize()->返回mSize,内存大小

有了MemoryHeapBase,又搞了一个MemoryBase,这又是一个和Binder机制挂钩的类。

唉,这个估计是一个在MemoryHeapBase上的方便类吧?因为我看见了offset

那么估计这个类就是一个能返回当前Buffer中写位置(就是offset)的方便类

这样就不用用户到处去计算读写位置了。

  1. class MemoryBase : public BnMemory 
  2.  
  3.  
  4. public
  5.  
  6.     MemoryBase(const sp<IMemoryHeap>& heap, ssize_t offset, size_t size); 
  7.  
  8.     virtual sp<IMemoryHeap> getMemory(ssize_t* offset, size_t* size) const
  9.  
  10. protected
  11.  
  12.     size_t getSize() const { return mSize; } 
  13.  
  14.     ssize_t getOffset() const { return mOffset; } 
  15.  
  16.     const sp<IMemoryHeap>& getHeap() const { return mHeap; } 
  17.  
  18. }; 

好了,明白上面两个MemoryXXX,我们可以猜测下大概的使用方法了。

l         BnXXX端先分配BnMemoryHeapBase和BnMemoryBase,

l         然后把BnMemoryBase传递到BpXXX

l         BpXXX就可以使用BpMemoryBase得到BnXXX端分配的共享内存了。

注意,既然是进程间共享内存,那么Bp端肯定使用memcpy之类的函数来操作内存,这些函数是没有同步保护的,而且Android也不可能在系统内部为这种共享内存去做增加同步保护。所以看来后续在操作这些共享内存的时候,肯定存在一个跨进程的同步保护机制。我们在后面讲实际播放的时候会碰到。

另外,这里的SharedBuffer最终会在Bp端也就是AudioFlinger那用到。

3.4 分析之play和write

JAVA层到这一步后就是调用play和write了。JAVA层这两个函数没什么内容,都是直接转到native层干活了。

先看看play函数对应的JNI函数

  1. static void 
  2.  
  3. android_media_AudioTrack_start(JNIEnv *env, jobject thiz) 
  4.  
  5.  
  6. //看见没,从JAVA那个AudioTrack对象获取保存的C++层的AudioTrack对象指针 
  7.  
  8. //从int类型直接转换成指针。要是以后ARM变成64位平台了,看google怎么改! 
  9.  
  10.     AudioTrack *lpTrack = (AudioTrack *)env->GetIntField( 
  11.  
  12.         thiz, javaAudioTrackFields.nativeTrackInJavaObj); 
  13.  
  14.     lpTrack->start(); //这个以后再说 
  15.  

#p#

下面是write。我们写的是short数组,

  1. static jint 
  2.  
  3. android_media_AudioTrack_native_write_short(JNIEnv *env,  jobject thiz, 
  4.  
  5.                                                   jshortArray javaAudioData, 
  6.  
  7.                                                   jint offsetInShorts, 
  8.  
  9. jint sizeInShorts, 
  10.  
  11.                                                   jint javaAudioFormat) { 
  12.  
  13.     return (android_media_AudioTrack_native_write(env, thiz, 
  14.  
  15.                                                  (jbyteArray) javaAudioData, 
  16.  
  17.                                                  offsetInShorts*2, sizeInShorts*2
  18.  
  19.                                                  javaAudioFormat) 
  20.  
  21.             / 2); 
  22.  
  23.  
  24. 烦人,又根据Byte还是Short封装了下,最终会调到重要函数writeToTrack去 
  25.  
  26. jint writeToTrack(AudioTrack* pTrack, jint audioFormat, jbyte* data, 
  27.  
  28.                   jint offsetInBytes, jint sizeInBytes) { 
  29.  
  30.       ssize_t written = 0
  31.  
  32.     // regular write() or copy the data to the AudioTrack's shared memory? 
  33.  
  34. if (pTrack->sharedBuffer() == 0) { 
  35.  
  36. //创建的是流的方式,所以没有共享内存在track中 
  37.  
  38. //还记得我们在native_setup中调用的set吗?流模式下AudioTrackJniStorage可没创建 
  39.  
  40. //共享内存 
  41.  
  42.         written = pTrack->write(data + offsetInBytes, sizeInBytes); 
  43.  
  44.     } else { 
  45.  
  46.         if (audioFormat == javaAudioTrackFields.PCM16) { 
  47.  
  48.             // writing to shared memory, check for capacity 
  49.  
  50.             if ((size_t)sizeInBytes > pTrack->sharedBuffer()->size()) { 
  51.  
  52.                 sizeInBytes = pTrack->sharedBuffer()->size(); 
  53.  
  54.             } 
  55.  
  56.            //看见没?STATIC模式的,就直接把数据拷贝到共享内存里 
  57.  
  58.           //当然,这个共享内存是pTrack的,是我们在set时候把AudioTrackJniStorage的 
  59.  
  60. //共享设进去的 
  61.  
  62.             memcpy(pTrack->sharedBuffer()->pointer(), 
  63.  
  64. data + offsetInBytes, sizeInBytes); 
  65.  
  66.             written = sizeInBytes; 
  67.  
  68.         } else if (audioFormat == javaAudioTrackFields.PCM8) { 
  69.  
  70.            PCM8格式的要先转换成PCM16 
  71.  
  72.             
  73.  
  74.     } 
  75.  
  76.     return written; 
  77.  

到这里,似乎很简单啊,JAVA层的AudioTrack,无非就是调用write函数,而实际由JNI层的C++ AudioTrack write数据。反正JNI这层是再看不出什么有意思的东西了。

四 AudioTrack(C++层)

接上面的内容,我们知道在JNI层,有以下几个步骤:

l         new了一个AudioTrack

l         调用set函数,把AudioTrackJniStorage等信息传进去

l         调用了AudioTrack的start函数

l         调用AudioTrack的write函数

那么,我们就看看真正干活的的C++AudioTrack吧。

AudioTrack.cpp位于framework/base/libmedia/AudioTrack.cpp

4.1 new AudioTrack()和set调用

JNI层调用的是最简单的构造函数:

  1. AudioTrack::AudioTrack() 
  2.  
  3.     : mStatus(NO_INIT) //把状态初始化成NO_INIT。Android大量使用了设计模式中的state。 
  4.  
  5.  

接下来调用set。我们看看JNI那set了什么

  1.  lpTrack->set( 
  2.  
  3.             atStreamType, //应该是Music吧 
  4.  
  5.             sampleRateInHertz,//8000 
  6.  
  7.             format,// 应该是PCM_16吧 
  8.  
  9.             channels,//立体声=2 
  10.  
  11.             frameCount,// 
  12.  
  13.             0,// flags 
  14.  
  15.             audioCallback, //JNI中的一个回调函数 
  16.  
  17. &(lpJniStorage->mCallbackData),//回调函数的参数 
  18.  
  19.             0,// 通知回调函数,表示AudioTrack需要数据,不过暂时没用上 
  20.  
  21.             0,//共享buffer地址,stream模式没有 
  22.  
  23.             true);//回调线程可以调JAVA的东西 
  24.  
  25. 那我们看看set函数把。 
  26.  
  27. status_t AudioTrack::set( 
  28.  
  29.         int streamType, 
  30.  
  31.         uint32_t sampleRate, 
  32.  
  33.         int format, 
  34.  
  35.         int channels, 
  36.  
  37.         int frameCount, 
  38.  
  39.         uint32_t flags, 
  40.  
  41.         callback_t cbf, 
  42.  
  43.         void* user, 
  44.  
  45.         int notificationFrames, 
  46.  
  47.         const sp<IMemory>& sharedBuffer, 
  48.  
  49.         bool threadCanCallJava) 
  50.  

   ...前面一堆的判断,等以后讲AudioSystem再说

  1. audio_io_handle_t output = 
  2.  
  3. AudioSystem::getOutput((AudioSystem::stream_type)streamType, 
  4.  
  5.             sampleRate, format, channels, (AudioSystem::output_flags)flags); 
  6.  
  7.    //createTrack?看来这是真正干活的 
  8.  
  9.     status_t status = createTrack(streamType, sampleRate, format, channelCount, 
  10.  
  11.                                   frameCount, flags, sharedBuffer, output); 
  12.  
  13.   //cbf是JNI传入的回调函数audioCallback 
  14.  
  15.      if (cbf != 0) { //看来,怎么着也要创建这个线程了! 
  16.  
  17.         mAudioTrackThread = new AudioTrackThread(*this, threadCanCallJava); 
  18.  
  19.        } 
  20.  
  21.    return NO_ERROR; 
  22.  

看看真正干活的createTrack

  1. status_t AudioTrack::createTrack( 
  2.  
  3.         int streamType, 
  4.  
  5.         uint32_t sampleRate, 
  6.  
  7.         int format, 
  8.  
  9.         int channelCount, 
  10.  
  11.         int frameCount, 
  12.  
  13.         uint32_t flags, 
  14.  
  15.         const sp<IMemory>& sharedBuffer, 
  16.  
  17.         audio_io_handle_t output) 
  18.  
  19.  
  20. status_t status; 
  21.  
  22. //啊,看来和audioFlinger挂上关系了呀。 
  23.  
  24.     const sp<IAudioFlinger>& audioFlinger = AudioSystem::get_audio_flinger(); 
  25.  
  26.    
  27.  
  28.   //下面这个调用最终会在AudioFlinger中出现。暂时不管它。 
  29.  
  30.     sp<IAudioTrack> track = audioFlinger->createTrack(getpid(), 
  31.  
  32.                                                       streamType, 
  33.  
  34.                                                       sampleRate, 
  35.  
  36.                                                       format, 
  37.  
  38.                                                       channelCount, 
  39.  
  40.                                                       frameCount, 
  41.  
  42.                                                       ((uint16_t)flags) << 16
  43.  
  44.                                                       sharedBuffer, 
  45.  
  46.                                                       output, 
  47.  
  48.                                                       &status); 
  49.  
  50.   
  51.  
  52.    //看见没,从track也就是AudioFlinger那边得到一个IMemory接口 
  53.  
  54. //这个看来就是最终write写入的地方 
  55.  
  56.     sp<IMemory> cblk = track->getCblk(); 
  57.  
  58.     mAudioTrack.clear(); 
  59.  
  60.     mAudioTrack = track; 
  61.  
  62.     mCblkMemory.clear();//sp<XXX>的clear,就看着做是delete XXX吧 
  63.  
  64.     mCblkMemory = cblk; 
  65.  
  66.     mCblk = static_cast<audio_track_cblk_t*>(cblk->pointer()); 
  67.  
  68.     mCblk->out = 1
  69.  
  70.     
  71.  
  72.     mFrameCount = mCblk->frameCount; 
  73.  
  74. if (sharedBuffer == 0) { 
  75.  
  76. //终于看到buffer相关的了。注意我们这里的情况 
  77.  
  78. //STREAM模式没有传入共享buffer,但是数据确实又需要buffer承载。 
  79.  
  80. //反正AudioTrack是没有创建buffer,那只能是刚才从AudioFlinger中得到 
  81.  
  82. //的buffer了。 
  83.  
  84.         mCblk->buffers = (char*)mCblk + sizeof(audio_track_cblk_t); 
  85.  
  86.     } 
  87.  
  88.     return NO_ERROR; 
  89.  

还记得我们说MemoryXXX没有同步机制,所以这里应该有一个东西能体现同步的,

那么我告诉大家,就在audio_track_cblk_t结构中。它的头文件在

framework/base/include/private/media/AudioTrackShared.h

实现文件就在AudioTrack.cpp中

  1. audio_track_cblk_t::audio_track_cblk_t() 
  2.  
  3. //看见下面的SHARED没?都是表示跨进程共享的意思。这个我就不跟进去说了 
  4.  
  5. //等以后介绍同步方面的知识时,再细说 
  6.  
  7.     : lock(Mutex::SHARED), cv(Condition::SHARED), user(0), server(0), 
  8.  
  9.     userBase(0), serverBase(0), buffers(0), frameCount(0), 
  10.  
  11.     loopStart(UINT_MAX), loopEnd(UINT_MAX), loopCount(0), volumeLR(0), 
  12.  
  13.     flowControlFlag(1), forceReady(0
  14.  
  15.  

到这里,大家应该都有个大概的全景了。

l         AudioTrack得到AudioFlinger中的一个IAudioTrack对象,这里边有一个很重要的数据结构audio_track_cblk_t,它包括一块缓冲区地址,包括一些进程间同步的内容,可能还有数据位置等内容

l         AudioTrack启动了一个线程,叫AudioTrackThread,这个线程干嘛的呢?还不知道

l         AudioTrack调用write函数,肯定是把数据写到那块共享缓冲了,然后IAudioTrack在另外一个进程AudioFlinger中(其实AudioFlinger是一个服务,在mediaservice中运行)接收数据,并最终写到音频设备中。

那我们先看看AudioTrackThread干什么了。

调用的语句是:

mAudioTrackThread = new AudioTrackThread(*this, threadCanCallJava);

AudioTrackThread从Thread中派生,这个内容在深入浅出Binder机制讲过了。

反正最终会调用AudioTrackAThread的threadLoop函数。

先看看构造函数

  1. AudioTrack::AudioTrackThread::AudioTrackThread(AudioTrack& receiver, bool bCanCallJava) 
  2.  
  3.     : Thread(bCanCallJava), mReceiver(receiver) 
  4.  
  5. {  //mReceiver就是AudioTrack对象 
  6.  
  7.   // bCanCallJava为TRUE 
  8.  

这个线程的启动由AudioTrack的start函数触发。

  1. void AudioTrack::start() 
  2.  
  3.  
  4.   //start函数调用AudioTrackThread函数触发产生一个新的线程,执行mAudioTrackThread的 
  5.  
  6. threadLoop 
  7.  
  8.     sp<AudioTrackThread> t = mAudioTrackThread; 
  9.  
  10. t->run("AudioTrackThread", THREAD_PRIORITY_AUDIO_CLIENT); 
  11.  
  12. //让AudioFlinger中的track也start 
  13.  
  14.     status_t status = mAudioTrack->start(); 
  15.  
  16.  
  17. bool AudioTrack::AudioTrackThread::threadLoop() 
  18.  
  19.  
  20.   //太恶心了,又调用AudioTrack的processAudioBuffer函数 
  21.  
  22. return mReceiver.processAudioBuffer(this); 
  23.  
  24.  
  25. bool AudioTrack::processAudioBuffer(const sp<AudioTrackThread>& thread) 
  26.  
  27.  
  28. Buffer audioBuffer; 
  29.  
  30.     uint32_t frames; 
  31.  
  32.     size_t writtenSize; 
  33.  
  34.       ...回调1 
  35.  
  36.          mCbf(EVENT_UNDERRUN, mUserData, 0); 
  37.  
  38. ...回调2 都是传递一些信息到JNI里边 
  39.  
  40.          mCbf(EVENT_BUFFER_END, mUserData, 0); 
  41.  
  42.          // Manage loop end callback 
  43.  
  44.     while (mLoopCount > mCblk->loopCount) { 
  45.  
  46.         mCbf(EVENT_LOOP_END, mUserData, (void *)&loopCount); 
  47.  
  48.     } 
  49.  
  50.   //下面好像有写数据的东西 
  51.  
  52.       do { 
  53.  
  54.        audioBuffer.frameCount = frames; 
  55.  
  56. //获得buffer, 
  57.  
  58.        status_t err = obtainBuffer(&audioBuffer, 1); 
  59.  
  60.         size_t reqSize = audioBuffer.size; 
  61.  
  62. //把buffer回调到JNI那去,这是单独一个线程,而我们还有上层用户在那不停 
  63.  
  64. //地write呢,怎么会这样? 
  65.  
  66.         mCbf(EVENT_MORE_DATA, mUserData, &audioBuffer); 
  67.  
  68.          audioBuffer.size = writtenSize; 
  69.  
  70.          frames -= audioBuffer.frameCount; 
  71.  
  72.        releaseBuffer(&audioBuffer); //释放buffer,和obtain相对应,看来是LOCK和UNLOCK 
  73.  
  74. 操作了 
  75.  
  76.     } 
  77.  
  78.     while (frames); 
  79.  
  80.    return true
  81.  
  82.  
  83. 难道真的有两处在write数据?看来必须得到mCbf去看看了,传的是EVENT_MORE_DATA标志。 
  84.  
  85. mCbf由set的时候传入C++的AudioTrack,实际函数是: 
  86.  
  87. static void audioCallback(int event, void* user, void *info) { 
  88.  
  89.     if (event == AudioTrack::EVENT_MORE_DATA) { 
  90.  
  91.          //哈哈,太好了,这个函数没往里边写数据 
  92.  
  93.         AudioTrack::Buffer* pBuff = (AudioTrack::Buffer*)info; 
  94.  
  95.         pBuff->size = 0;  
  96.  
  97.      } 

从代码上看,本来google考虑是异步的回调方式来写数据,可惜发现这种方式会比较复杂,尤其是对用户开放的JAVA AudioTrack会很不好处理,所以嘛,偷偷摸摸得给绕过去了。

太好了,看来就只有用户的write会真正的写数据了,这个AudioTrackThread除了通知一下,也没什么实际有意义的操作了。

让我们看看write吧。

4.2 write

ssize_t AudioTrack::write(const void* buffer, size_t userSize)

{

  够简单,就是obtainBuffer,memcpy数据,然后releasBuffer

眯着眼睛都能想到,obtainBuffer一定是Lock住内存了,releaseBuffer一定是unlock内存了

  1. do { 
  2.  
  3.        audioBuffer.frameCount = userSize/frameSize(); 
  4.  
  5.        status_t err = obtainBuffer(&audioBuffer, -1); 
  6.  
  7.         size_t toWrite; 
  8.  
  9.         toWrite = audioBuffer.size; 
  10.  
  11.         memcpy(audioBuffer.i8, src, toWrite); 
  12.  
  13.         src += toWrite; 
  14.  
  15.        } 
  16.  
  17.        userSize -= toWrite; 
  18.  
  19.        written += toWrite; 
  20.  
  21.        releaseBuffer(&audioBuffer); 
  22.  
  23.    } while (userSize); 
  24.  
  25.  
  26.  
  27.    return written; 

obtainBuffer太复杂了,不过大家知道其大概工作方式就可以了

  1. status_t AudioTrack::obtainBuffer(Buffer* audioBuffer, int32_t waitCount) 
  2.  
  3.  
  4.    //恕我中间省略太多,大部分都是和当前数据位置相关, 
  5.  
  6.  uint32_t framesAvail = cblk->framesAvailable(); 
  7.  
  8.      cblk->lock.lock();//看见没,lock了 
  9.  
  10.      result = cblk->cv.waitRelative(cblk->lock, milliseconds(waitTimeMs)); 
  11.  
  12. //我发现很多地方都要判断远端的AudioFlinger的状态,比如是否退出了之类的,难道 
  13.  
  14. //没有一个好的方法来集中处理这种事情吗? 
  15.  
  16.       if (result == DEAD_OBJECT) { 
  17.  
  18.         result = createTrack(mStreamType, cblk->sampleRate, mFormat, mChannelCount, 
  19.  
  20.           mFrameCount, mFlags, mSharedBuffer,getOutput()); 
  21.  
  22.         } 
  23.  
  24. //得到buffer 
  25.  
  26.     audioBuffer->raw = (int8_t *)cblk->buffer(u); 
  27.  
  28.   return active ? status_t(NO_ERROR) : status_t(STOPPED); 
  29.  
  30.  
  31. 在看看releaseBuffer 
  32.  
  33. void AudioTrack::releaseBuffer(Buffer* audioBuffer) 
  34.  
  35.  
  36.     audio_track_cblk_t* cblk = mCblk; 
  37.  
  38. cblk->stepUser(audioBuffer->frameCount); 
  39.  
  40.  
  41. uint32_t audio_track_cblk_t::stepUser(uint32_t frameCount) 
  42.  
  43.  
  44.     uint32_t u = this->user; 
  45.  
  46.   
  47.  
  48.     u += frameCount; 
  49.  
  50.      if (out) { 
  51.  
  52.           if (bufferTimeoutMs == MAX_STARTUP_TIMEOUT_MS-1) { 
  53.  
  54.             bufferTimeoutMs = MAX_RUN_TIMEOUT_MS; 
  55.  
  56.         } 
  57.  
  58.     } else if (u > this->server) { 
  59.  
  60.          u = this->server; 
  61.  
  62.     } 
  63.  
  64.   
  65.  
  66.     if (u >= userBase + this->frameCount) { 
  67.  
  68.         userBase += this->frameCount; 
  69.  
  70.     } 
  71.  
  72.    this->user = u; 
  73.  
  74.   flowControlFlag = 0
  75.  
  76.   return u; 
  77.  

奇怪了,releaseBuffer没有unlock操作啊?难道我失误了?

再去看看obtainBuffer?为何写得这么晦涩难懂?

原来在obtainBuffer中会某一次进去lock,再某一次进去可能就是unlock了。没看到obtainBuffer中到处有lock,unlock,wait等同步操作吗。一定是这个道理。难怪写这么复杂。还使用了少用的goto语句。

唉,有必要这样吗!

五 AudioTrack总结

通过这一次的分析,我自己觉得有以下几个点:

l         AudioTrack的工作原理,尤其是数据的传递这一块,做了比较细致的分析,包括共享内存,跨进程的同步等,也能解释不少疑惑了。

l         看起来,最重要的工作是在AudioFlinger中做的。通过AudioTrack的介绍,我们给后续深入分析AudioFlinger提供了一个切入点

 工作原理和流程嘛,再说一次好了,JAVA层就看最前面那个例子吧,实在没什么说的。

l         AudioTrack被new出来,然后set了一堆信息,同时会通过Binder机制调用另外一端的AudioFlinger,得到IAudioTrack对象,通过它和AudioFlinger交互。

l         调用start函数后,会启动一个线程专门做回调处理,代码里边也会有那种数据拷贝的回调,但是JNI层的回调函数实际并没有往里边写数据,大家只要看write就可以了

l         用户一次次得write,那AudioTrack无非就是把数据memcpy到共享buffer中咯

l         可想而知,AudioFlinger那一定有一个线程在memcpy数据到音频设备中去。我们拭目以待。

责任编辑:张叶青 来源: 博客园
相关推荐

2013-11-14 13:27:38

AndroidAudio

2019-04-10 11:06:54

前端HTMLCSS

2009-06-11 15:25:39

Java随机数

2009-06-09 14:40:01

Javascript表单验证

2009-06-12 10:34:40

Java Date

2009-06-12 10:08:05

StaticJava

2013-07-08 15:45:04

Python

2013-11-14 15:53:53

AndroidAudioAudioFlinge

2018-11-15 14:52:15

Spark数据机器学习

2013-04-08 15:42:38

Backbone.js入门

2013-09-24 10:07:19

Ruby项目

2011-08-03 10:12:38

2020-10-10 14:36:10

Python

2009-06-15 13:32:18

Java applet插件

2018-12-19 09:03:04

物联网供应链物联网应用

2009-07-14 13:49:28

Swing组件AWT

2020-10-12 00:41:52

Python变量

2019-11-11 14:51:19

Java数据结构Properties

2009-11-18 13:30:37

Oracle Sequ

2009-11-17 17:31:58

Oracle COMM
点赞
收藏

51CTO技术栈公众号