Android深入浅出之AudioFlinger分析

移动开发 Android
在AT(AudioTrack)中,我们涉及到的都是流程方面的事务,而不是系统Audio策略上的内容。WHY?因为AT是AF的客户端,而AF是Android系统中Audio管理的中枢。AT我们分析的是按流程方法,那么以AT为切入点的话,AF的分析也应该是流程分析了。

一 目的

本文承接Audio第一部分的AudioTrack,通过AudioTrack作为AF(AudioFlinger)的客户端,来看看AF是如何完成工作的。

在AT(AudioTrack)中,我们涉及到的都是流程方面的事务,而不是系统Audio策略上的内容。WHY?因为AT是AF的客户端,而AF是Android系统中Audio管理的中枢。AT我们分析的是按流程方法,那么以AT为切入点的话,AF的分析也应该是流程分析了。

对于分析AT来说,只要能把它的调用顺序(也就是流程说清楚就可以了),但是对于AF的话,简单的分析调用流程 我自己感觉是不够的。因为我发现手机上的声音交互和管理是一件比较复杂的事情。举个简单例子,当听music的时候来电话了,声音处理会怎样?

虽然在Android中,还有一个叫AudioPolicyService的(APS)东西,但是它最终都会调用到AF中去,因为AF实际创建并管理了硬件设备。所以,针对Android声音策略上的分析,我会单独在以后来分析。

二 从AT切入到AF

直接从头看代码是没法掌握AF的主干的,必须要有一个切入点,也就是用一个正常的调用流程来分析AF的处理流程。先看看AF的产生吧,这个C/S架构的服务者是如何产生的呢?

2.1 AudioFlinger的诞生

AF是一个服务,这个就不用我多说了吧?代码在

  1. framework/base/media/mediaserver/Main_mediaServer.cpp中。 
  2.  
  3. int main(int argc, char** argv) 
  4.  
  5.  
  6.     sp<ProcessState> proc(ProcessState::self()); 
  7.  
  8. sp<IServiceManager> sm = defaultServiceManager(); 
  9.  
  10. .... 
  11.  
  12.     AudioFlinger::instantiate();--->AF的实例化 
  13.  
  14. AudioPolicyService::instantiate();--->APS的实例化 
  15.  
  16. .... 
  17.  
  18.     ProcessState::self()->startThreadPool(); 
  19.  
  20.     IPCThreadState::self()->joinThreadPool(); 
  21.  

哇塞,看来这个程序的负担很重啊。没想到。为何AF,APS要和MediaService和CameraService都放到一个篮子里?

看看AF的实例化静态函数,在framework/base/libs/audioFlinger/audioFlinger.cpp中

 

  1. void AudioFlinger::instantiate() { 
  2.  
  3.     defaultServiceManager()->addService( //把AF实例加入系统服务 
  4.  
  5.             String16("media.audio_flinger"), new AudioFlinger()); 
  6.  

再来看看它的构造函数是什么做的。

 

  1. AudioFlinger::AudioFlinger() 
  2.  
  3.     : BnAudioFlinger(),//初始化基类 
  4.  
  5.         mAudioHardware(0), //audio硬件的HAL对象 
  6.  
  7. mMasterVolume(1.0f), mMasterMute(false), mNextThreadId(0
  8.  
  9.  
  10. mHardwareStatus = AUDIO_HW_IDLE; 
  11.  
  12. //创建代表Audio硬件的HAL对象 
  13.  
  14.     mAudioHardware = AudioHardwareInterface::create(); 
  15.  
  16.   
  17.  
  18.     mHardwareStatus = AUDIO_HW_INIT; 
  19.  
  20.     if (mAudioHardware->initCheck() == NO_ERROR) { 
  21.  
  22.         setMode(AudioSystem::MODE_NORMAL); 
  23.  
  24. //设置系统的声音模式等,其实就是设置硬件的模式 
  25.  
  26.         setMasterVolume(1.0f); 
  27.  
  28.         setMasterMute(false); 
  29.  
  30.     } 
  31.  

AF中经常有setXXX的函数,到底是干什么的呢?我们看看setMode函数。

 

  1. status_t AudioFlinger::setMode(int mode) 
  2.  
  3.  
  4.      mHardwareStatus = AUDIO_HW_SET_MODE; 
  5.  
  6.     status_t ret = mAudioHardware->setMode(mode);//设置硬件的模式 
  7.  
  8.     mHardwareStatus = AUDIO_HW_IDLE; 
  9.  
  10.     return ret; 
  11.  

当然,setXXX还有些别的东西,但基本上都会涉及到硬件对象。我们暂且不管它。等分析到Audio策略再说。

好了,Android系统启动的时候,看来AF也准备好硬件了。不过,创建硬件对象就代表我们可以播放了吗?

2.2 AT调用AF的流程

我这里简单的把AT调用AF的流程列一下,待会按这个顺序分析AF的工作方式。

--参加AudioTrack分析的4.1节

1. 创建

 

  1. AudioTrack* lpTrack = new AudioTrack(); 
  2.  
  3. lpTrack->set(...); 

这个就进入到C++的AT了。下面是AT的set函数

 

  1. audio_io_handle_t output = 
  2.  
  3. AudioSystem::getOutput((AudioSystem::stream_type)streamType, 
  4.  
  5.             sampleRate, format, channels, (AudioSystem::output_flags)flags); 
  6.  
  7.     status_t status = createTrack(streamType, sampleRate, format, channelCount, 
  8.  
  9.                                   frameCount, flags, sharedBuffer, output); 
  10.  
  11. ----->creatTrack会和AF打交道。我们看看createTrack重要语句 
  12.  
  13. const sp<IAudioFlinger>& audioFlinger = AudioSystem::get_audio_flinger(); 
  14.  
  15.    //下面很重要,调用AF的createTrack获得一个IAudioTrack对象 
  16.  
  17.     sp<IAudioTrack> track = audioFlinger->createTrack(); 
  18.  
  19.     sp<IMemory> cblk = track->getCblk();//获取共享内存的管理结构 

总结一下创建的流程,AT调用AF的createTrack获得一个IAudioTrack对象,然后从这个对象中获得共享内存的对象。

2. start和write

看看AT的start,估计就是调用IAudioTrack的start吧?

 
  1. void AudioTrack::start() 
  2.  
  3.  
  4. //果然啊... 
  5.  
  6.    status_t status = mAudioTrack->start(); 
  7.  

那write呢?我们之前讲了,AT就是从共享buffer中:

l         Lock缓存

l         写缓存

l         Unlock缓存

注意,这里的Lock和Unlock是有问题的,什么问题呢?待会我们再说

按这种方式的话,那么AF一定是有一个线程在那也是:

l         Lock,

l         读缓存,写硬件

l         Unlock

总之,我们知道了AT的调用AF的流程了。下面一个一个看。

2.3 AF流程

1 createTrack

 
  1. sp<IAudioTrack> AudioFlinger::createTrack( 
  2.  
  3.         pid_t pid,//AT的pid号 
  4.  
  5.         int streamType,//MUSIC,流类型 
  6.  
  7.         uint32_t sampleRate,//8000 采样率 
  8.  
  9.         int format,//PCM_16类型 
  10.  
  11.         int channelCount,//2,双声道 
  12.  
  13.         int frameCount,//需要创建的buffer可包含的帧数 
  14.  
  15.         uint32_t flags, 
  16.  
  17.         const sp<IMemory>& sharedBuffer,//AT传入的共享buffer,这里为空 
  18.  
  19.         int output,//这个是从AuidoSystem获得的对应MUSIC流类型的索引 
  20.  
  21.         status_t *status) 
  22.  
  23.  
  24.     sp<PlaybackThread::Track> track; 
  25.  
  26.     sp<TrackHandle> trackHandle; 
  27.  
  28.     sp<Client> client; 
  29.  
  30.     wp<Client> wclient; 
  31.  
  32.     status_t lStatus; 
  33.  
  34.   
  35.  
  36.        { 
  37.  
  38.         Mutex::Autolock _l(mLock); 
  39.  
  40. //根据output句柄,获得线程? 
  41.  
  42.         PlaybackThread *thread = checkPlaybackThread_l(output); 
  43.  
  44. //看看这个进程是不是已经是AF的客户了 
  45.  
  46. //这里说明一下,由于是C/S架构,那么作为服务端的AF肯定有地方保存作为C的AT的信息 
  47.  
  48. //那么,AF是根据pid作为客户端的唯一标示的 
  49.  
  50. //mClients是一个类似map的数据组织结构 
  51.  
  52.          wclient = mClients.valueFor(pid); 
  53.  
  54.         if (wclient != NULL) { 
  55.  
  56.        } else { 
  57.  
  58.          //如果还没有这个客户信息,就创建一个,并加入到map中去 
  59.  
  60.             client = new Client(this, pid); 
  61.  
  62.             mClients.add(pid, client); 
  63.  
  64.         } 
  65.  
  66. //从刚才找到的那个线程对象中创建一个track 
  67.  
  68.         track = thread->createTrack_l(client, streamType, sampleRate, format, 
  69.  
  70.                 channelCount, frameCount, sharedBuffer, &lStatus); 
  71.  
  72.     } 
  73.  
  74. //喔,还有一个trackHandle,而且返回到AF端的是这个trackHandle对象 
  75.  
  76.      trackHandle = new TrackHandle(track); 
  77.  
  78.    return trackHandle; 
  79.  

这个AF函数中,突然冒出来了很多新类型的数据结构。说实话,我刚开始接触的时候,大脑因为常接触到这些眼生的东西而死机!大家先不要拘泥于这些东西,我会一一分析到的。

先进入到checkPlaybackThread_l看看。

 
  1. AudioFlinger::PlaybackThread *AudioFlinger::checkPlaybackThread_l(int output) const 
  2.  
  3.  
  4. PlaybackThread *thread = NULL; 
  5.  
  6. //看到这种indexOfKey的东西,应该立即能想到: 
  7.  
  8. //喔,这可能是一个map之类的东西,根据key能找到实际的value 
  9.  
  10.     if (mPlaybackThreads.indexOfKey(output) >= 0) { 
  11.  
  12.         thread = (PlaybackThread *)mPlaybackThreads.valueFor(output).get(); 
  13.  
  14.  
  15. //这个函数的意思是根据output值,从一堆线程中找到对应的那个线程 
  16.  
  17.     return thread; 
  18.  

看到这里很疑惑啊:

l         AF的构造函数中没有创建线程,只创建了一个audio的HAL对象

l         如果AT是AF的第一个客户的话,我们刚才的调用流程里边,也没看到哪有创建线程的地方呀。

l         output是个什么玩意儿?为什么会根据它作为key来找线程呢?

看来,我们得去Output的来源那看看了。

我们知道,output的来源是由AT的set函数得到的:如下:

 

  1. audio_io_handle_t output = AudioSystem::getOutput( 
  2.  
  3. (AudioSystem::stream_type)streamType, //MUSIC类型 
  4.  
  5.             sampleRate, //8000 
  6.  
  7. format, //PCM_16 
  8.  
  9. channels, //2两个声道 
  10.  
  11. (AudioSystem::output_flags)flags//0 
  12.  
  13. ); 

上面这几个参数后续不再提示了,大家知道这些值都是由AT做为切入点传进去的

然后它在调用AT自己的createTrack,最终把这个output值传递到AF了。其中audio_io_handle_t类型就是一个int类型。

//叫handle啊?好像linux下这种叫法的很少,难道又是受MS的影响吗?

我们进到AudioSystem::getOutput看看。注意,大家想想这是系统的第一次调用,而且发生在AudioTrack那个进程里边。AudioSystem的位置在framework/base/media/libmedia/AudioSystem.cpp中

 
  1. audio_io_handle_t AudioSystem::getOutput(stream_type stream, 
  2.  
  3.                                     uint32_t samplingRate, 
  4.  
  5.                                     uint32_t format, 
  6.  
  7.                                     uint32_t channels, 
  8.  
  9.                                     output_flags flags) 
  10.  
  11.  
  12.     audio_io_handle_t output = 0
  13.  
  14.     if ((flags & AudioSystem::OUTPUT_FLAG_DIRECT) == 0 && 
  15.  
  16.         ((stream != AudioSystem::VOICE_CALL && stream != AudioSystem::BLUETOOTH_SCO) || 
  17.  
  18.          channels != AudioSystem::CHANNEL_OUT_MONO || 
  19.  
  20.          (samplingRate != 8000 && samplingRate != 16000))) { 
  21.  
  22.         Mutex::Autolock _l(gLock); 
  23.  
  24. //根据我们的参数,我们会走到这个里边来 
  25.  
  26. //喔,又是从map中找到stream=music的output。可惜啊,我们是第一次进来 
  27.  
  28. //output一定是0 
  29.  
  30.         output = AudioSystem::gStreamOutputMap.valueFor(stream); 
  31.  
  32.        } 
  33.  
  34. if (output == 0) { 
  35.  
  36. //我晕,又到AudioPolicyService(APS) 
  37.  
  38. //由它去getOutput 
  39.  
  40.         const sp<IAudioPolicyService>& aps = AudioSystem::get_audio_policy_service(); 
  41.  
  42.         output = aps->getOutput(stream, samplingRate, format, channels, flags); 
  43.  
  44.         if ((flags & AudioSystem::OUTPUT_FLAG_DIRECT) == 0) { 
  45.  
  46.             Mutex::Autolock _l(gLock); 
  47.  
  48. //如果取到output了,再把output加入到AudioSystem维护的这个map中去 
  49.  
  50. //说白了,就是保存一些信息吗。免得下次又这么麻烦去骚扰APS! 
  51.  
  52.             AudioSystem::gStreamOutputMap.add(stream, output); 
  53.  
  54.         } 
  55.  
  56.     } 
  57.  
  58.     return output; 
  59.  

怎么办?需要到APS中才能找到output的信息?

没办法,硬着头皮进去吧。那先得看看APS是如何创建的。不过这个刚才已经说了,是和AF一块在那个Main_mediaService.cpp中实例化的。

位置在framework/base/lib/libaudioflinger/ AudioPolicyService.cpp中

 
  1. AudioPolicyService::AudioPolicyService() 
  2.  
  3.     : BnAudioPolicyService() , mpPolicyManager(NULL) 
  4.  
  5.  
  6.     // 下面两个线程以后再说 
  7.  
  8. mTonePlaybackThread = new AudioCommandThread(String8("")); 
  9.  
  10. mAudioCommandThread = new AudioCommandThread(String8("ApmCommandThread")); 
  11.  
  12.   
  13.  
  14. #if (defined GENERIC_AUDIO) || (defined AUDIO_POLICY_TEST) 
  15.  
  16. //喔,使用普适的AudioPolicyManager,把自己this做为参数 
  17.  
  18. //我们这里先使用普适的看看吧 
  19.  
  20. mpPolicyManager = new AudioPolicyManagerBase(this); 
  21.  
  22. //使用硬件厂商提供的特殊的AudioPolicyManager 
  23.  
  24.     //mpPolicyManager = createAudioPolicyManager(this); 
  25.  
  26.     } 
  27.  

我们看看AudioManagerBase的构造函数吧,在framework/base/lib/audioFlinger/

AudioPolicyManagerBase.cpp中。

 
  1. AudioPolicyManagerBase::AudioPolicyManagerBase(AudioPolicyClientInterface *clientInterface) 
  2.  
  3.     : mPhoneState(AudioSystem::MODE_NORMAL), mRingerMode(0), mMusicStopTime(0), mLimitRingtoneVolume(false
  4.  
  5.  
  6. mpClientInterface = clientInterface;这个client就是APS,刚才通过this传进来了 
  7.  
  8. AudioOutputDescriptor *outputDesc = new AudioOutputDescriptor(); 
  9.  
  10. outputDesc->mDevice = (uint32_t)AudioSystem::DEVICE_OUT_SPEAKER; 
  11.  
  12.     mHardwareOutput = mpClientInterface->openOutput(&outputDesc->mDevice, 
  13.  
  14.                                     &outputDesc->mSamplingRate, 
  15.  
  16.                                     &outputDesc->mFormat, 
  17.  
  18.                                     &outputDesc->mChannels, 
  19.  
  20.                                     &outputDesc->mLatency, 
  21.  
  22.                                     outputDesc->mFlags); 
  23.  
  24.   openOutput又交给APS的openOutput来完成了,真绕.... 
  25.  

唉,看来我们还是得回到APS,

 
  1. audio_io_handle_t AudioPolicyService::openOutput(uint32_t *pDevices, 
  2.  
  3.                                 uint32_t *pSamplingRate, 
  4.  
  5.                                 uint32_t *pFormat, 
  6.  
  7.                                 uint32_t *pChannels, 
  8.  
  9.                                 uint32_t *pLatencyMs, 
  10.  
  11.                                 AudioSystem::output_flags flags) 
  12.  
  13.  
  14.     sp<IAudioFlinger> af = AudioSystem::get_audio_flinger(); 
  15.  
  16. //FT,FT,FT,FT,FT,FT,FT 
  17.  
  18. //绕了这么一个大圈子,竟然回到AudioFlinger中了啊?? 
  19.  
  20. return af->openOutput(pDevices, pSamplingRate, (uint32_t *)pFormat, pChannels, 
  21.  
  22.  pLatencyMs, flags); 
  23.  

在我们再次被绕晕之后,我们回眸看看足迹吧:

l         在AudioTrack中,调用set函数

l         这个函数会通过AudioSystem::getOutput来得到一个output的句柄

l         AS的getOutput会调用AudioPolicyService的getOutput

l         然后我们就没继续讲APS的getOutPut了,而是去看看APS创建的东西

l         发现APS创建的时候会创建一个AudioManagerBase,这个AMB的创建又会调用APS的openOutput。

l         APS的openOutput又会调用AudioFlinger的openOutput

有一个疑问,AT中set参数会和APS构造时候最终传入到AF的openOutput一样吗?如果不一样,那么构造时候openOutput的又是什么参数呢?

先放下这个悬念,我们继续从APS的getOutPut看看。

 

  1. audio_io_handle_t AudioPolicyService::getOutput(AudioSystem::stream_type stream, 
  2.  
  3.                                     uint32_t samplingRate, 
  4.  
  5.                                     uint32_t format, 
  6.  
  7.                                     uint32_t channels, 
  8.  
  9.                                     AudioSystem::output_flags flags) 
  10.  
  11.  
  12.      Mutex::Autolock _l(mLock); 
  13.  
  14. //自己又不干活,由AudioManagerBase干活 
  15.  
  16.     return mpPolicyManager->getOutput(stream, samplingRate, format, channels, flags); 
  17.  

进去看看吧

 

  1. audio_io_handle_t AudioPolicyManagerBase::getOutput(AudioSystem::stream_type stream, 
  2.  
  3.                                     uint32_t samplingRate, 
  4.  
  5.                                     uint32_t format, 
  6.  
  7.                                     uint32_t channels, 
  8.  
  9.                                     AudioSystem::output_flags flags) 
  10.  
  11.  
  12.     audio_io_handle_t output = 0
  13.  
  14.     uint32_t latency = 0
  15.  
  16.     // open a non direct output 
  17.  
  18.     output = mHardwareOutput; //这个是在哪里创建的?在AMB构造的时候.. 
  19.  
  20.     return output; 
  21.  

具体AMB的分析待以后Audio系统策略的时候我们再说吧。反正,到这里,我们知道了,在APS构造的时候会open一个Output,而这个Output又会调用AF的openOutput。

 
  1. int AudioFlinger::openOutput(uint32_t *pDevices, 
  2.  
  3.                                 uint32_t *pSamplingRate, 
  4.  
  5.                                 uint32_t *pFormat, 
  6.  
  7.                                 uint32_t *pChannels, 
  8.  
  9.                                 uint32_t *pLatencyMs, 
  10.  
  11.                                 uint32_t flags) 
  12.  
  13.  
  14.     status_t status; 
  15.  
  16.     PlaybackThread *thread = NULL; 
  17.  
  18.     mHardwareStatus = AUDIO_HW_OUTPUT_OPEN; 
  19.  
  20.     uint32_t samplingRate = pSamplingRate ? *pSamplingRate : 0
  21.  
  22.     uint32_t format = pFormat ? *pFormat : 0
  23.  
  24.     uint32_t channels = pChannels ? *pChannels : 0
  25.  
  26.     uint32_t latency = pLatencyMs ? *pLatencyMs : 0
  27.  
  28.   
  29.  
  30.      Mutex::Autolock _l(mLock); 
  31.  
  32.    //由Audio硬件HAL对象创建一个AudioStreamOut对象 
  33.  
  34.     AudioStreamOut *output = mAudioHardware->openOutputStream(*pDevices, 
  35.  
  36.                                                              (int *)&format, 
  37.  
  38.                                                              &channels, 
  39.  
  40.                                                              &samplingRate, 
  41.  
  42.                                                              &status); 
  43.  
  44.    mHardwareStatus = AUDIO_HW_IDLE; 
  45.  
  46. if (output != 0) { 
  47.  
  48. //创建一个Mixer线程 
  49.  
  50.         thread = new MixerThread(this, output, ++mNextThreadId); 
  51.  
  52.         } 
  53.  
  54. //终于找到了,把这个线程加入线程管理组织中 
  55.  
  56.         mPlaybackThreads.add(mNextThreadId, thread); 
  57.  
  58.        return mNextThreadId; 
  59.  
  60.     } 
  61.  

明白了,看来AT在调用AF的createTrack的之前,AF已经在某个时候把线程创建好了,而且是一个Mixer类型的线程,看来和混音有关系呀。这个似乎和我们开始设想的AF工作有点联系喔。Lock,读缓存,写Audio硬件,Unlock。可能都是在这个线程里边做的。

2 继续createTrack

 

  1. AudioFlinger::createTrack( 
  2.  
  3.         pid_t pid, 
  4.  
  5.         int streamType, 
  6.  
  7.         uint32_t sampleRate, 
  8.  
  9.         int format, 
  10.  
  11.         int channelCount, 
  12.  
  13.         int frameCount, 
  14.  
  15.         uint32_t flags, 
  16.  
  17.         const sp<IMemory>& sharedBuffer, 
  18.  
  19.         int output, 
  20.  
  21.         status_t *status) 
  22.  
  23.  
  24.     sp<PlaybackThread::Track> track; 
  25.  
  26.     sp<TrackHandle> trackHandle; 
  27.  
  28.     sp<Client> client; 
  29.  
  30.     wp<Client> wclient; 
  31.  
  32.     status_t lStatus; 
  33.  
  34.     { 
  35.  
  36. //假设我们找到了对应的线程 
  37.  
  38.         Mutex::Autolock _l(mLock); 
  39.  
  40.         PlaybackThread *thread = checkPlaybackThread_l(output); 
  41.  
  42.        //晕,调用这个线程对象的createTrack_l 
  43.  
  44. track = thread->createTrack_l(client, streamType, sampleRate, format, 
  45.  
  46.                 channelCount, frameCount, sharedBuffer, &lStatus); 
  47.  
  48.     } 
  49.  
  50.         trackHandle = new TrackHandle(track); 

return trackHandle;----》注意,这个对象是最终返回到AT进程中的。

  实在是....太绕了。再进去看看thread->createTrack_l吧。_l的意思是这个函数进入之前已经获得同步锁了。

跟着sourceinsight ctrl+鼠标左键就进入到下面这个函数。

下面这个函数的签名好长啊。这是为何?

原来Android的C++类中大量定义了内部类。说实话,我之前几年的C++的经验中基本没接触过这么频繁使用内部类的东东。--->当然,你可以说STL也大量使用了呀。

我们就把C++的内部类当做普通的类一样看待吧,其实我感觉也没什么特殊的含义,和外部类是一样的,包括函数调用,public/private之类的东西。这个和JAVA的内部类是大不一样的。

 

  1. sp<AudioFlinger::PlaybackThread::Track>  AudioFlinger::PlaybackThread::createTrack_l( 
  2.  
  3.         const sp<AudioFlinger::Client>& client, 
  4.  
  5.         int streamType, 
  6.  
  7.         uint32_t sampleRate, 
  8.  
  9.         int format, 
  10.  
  11.         int channelCount, 
  12.  
  13.         int frameCount, 
  14.  
  15.         const sp<IMemory>& sharedBuffer, 
  16.  
  17.         status_t *status) 
  18.  
  19.  
  20.     sp<Track> track; 
  21.  
  22.     status_t lStatus; 
  23.  
  24.     { // scope for mLock 
  25.  
  26.         Mutex::Autolock _l(mLock); 
  27.  
  28. //new 一个track对象 
  29.  
  30. //我有点愤怒了,Android真是层层封装啊,名字取得也非常相似。 
  31.  
  32. //看看这个参数吧,注意sharedBuffer这个,此时的值应是0 
  33.  
  34.         track = new Track(this, client, streamType, sampleRate, format, 
  35.  
  36.                 channelCount, frameCount, sharedBuffer); 
  37.  
  38.        mTracks.add(track); //把这个track加入到数组中,是为了管理用的。 
  39.  
  40.  
  41. lStatus = NO_ERROR; 
  42.  
  43.    return track; 
  44.  

看到这个数组的存在,我们应该能想到什么吗?这时已经有:

l         一个MixerThread,内部有一个数组保存track的

看来,不管有多少个AudioTrack,最终在AF端都有一个track对象对应,而且这些所有的track对象都会由一个线程对象来处理。----难怪是Mixer啊

再去看看new Track,我们一直还没找到共享内存在哪里创建的!!!

 

 

  1. AudioFlinger::PlaybackThread::Track::Track( 
  2.  
  3.             const wp<ThreadBase>& thread, 
  4.  
  5.             const sp<Client>& client, 
  6.  
  7.             int streamType, 
  8.  
  9.             uint32_t sampleRate, 
  10.  
  11.             int format, 
  12.  
  13.             int channelCount, 
  14.  
  15.             int frameCount, 
  16.  
  17.             const sp<IMemory>& sharedBuffer) 
  18.  
  19.     :   TrackBase(thread, client, sampleRate, format, channelCount, frameCount, 0, sharedBuffer), 
  20.  
  21.     mMute(false), mSharedBuffer(sharedBuffer), mName(-1
  22.  
  23.  
  24. // mCblk !=NULL?什么时候创建的?? 
  25.  
  26. //只能看基类TrackBase,还是很愤怒,太多继承了。 
  27.  
  28.     if (mCblk != NULL) { 
  29.  
  30.        mVolume[0] = 1.0f; 
  31.  
  32.         mVolume[1] = 1.0f; 
  33.  
  34.         mStreamType = streamType; 
  35.  
  36.          mCblk->frameSize = AudioSystem::isLinearPCM(format) ? channelCount * 
  37.  
  38.  sizeof(int16_t) : sizeof(int8_t); 
  39.  
  40.     } 
  41.  

看看基类TrackBase干嘛了

 

  1. AudioFlinger::ThreadBase::TrackBase::TrackBase( 
  2.  
  3.             const wp<ThreadBase>& thread, 
  4.  
  5.             const sp<Client>& client, 
  6.  
  7.             uint32_t sampleRate, 
  8.  
  9.             int format, 
  10.  
  11.             int channelCount, 
  12.  
  13.             int frameCount, 
  14.  
  15.             uint32_t flags, 
  16.  
  17.             const sp<IMemory>& sharedBuffer) 
  18.  
  19.     :   RefBase(), 
  20.  
  21.         mThread(thread), 
  22.  
  23.         mClient(client), 
  24.  
  25.         mCblk(0), 
  26.  
  27.         mFrameCount(0), 
  28.  
  29.         mState(IDLE), 
  30.  
  31.         mClientTid(-1), 
  32.  
  33.         mFormat(format), 
  34.  
  35.         mFlags(flags & ~SYSTEM_FLAGS_MASK) 
  36.  
  37.  
  38.     size_t size = sizeof(audio_track_cblk_t); 
  39.  
  40.    size_t bufferSize = frameCount*channelCount*sizeof(int16_t); 
  41.  
  42.    if (sharedBuffer == 0) { 
  43.  
  44.        size += bufferSize; 
  45.  
  46.    } 

//调用client的allocate函数。这个client是什么?就是我们在CreateTrack中创建的

那个Client,我不想再说了。反正这里会创建一块共享内存

    mCblkMemory = client->heap()->allocate(size);

  有了共享内存,但是还没有里边有同步锁的那个对象audio_track_cblk_t

     mCblk = static_cast<audio_track_cblk_t *>(mCblkMemory->pointer());

     下面这个语法好怪啊。什么意思???

new(mCblk) audio_track_cblk_t();

  //各位,这就是C++语法中的placement new。干啥用的啊?new后面的括号中是一块buffer,再

后面是一个类的构造函数。对了,这个placement new的意思就是在这块buffer中构造一个对象。

我们之前的普通new是没法让一个对象在某块指定的内存中创建的。而placement new却可以。

这样不就达到我们的目的了吗?搞一块共享内存,再在这块内存上创建一个对象。这样,这个对象不也就能在两个内存中共享了吗?太牛牛牛牛牛了。怎么想到的?

   

  1.    // clear all buffers 
  2.  
  3.        mCblk->frameCount = frameCount; 
  4.  
  5.        mCblk->sampleRate = sampleRate; 
  6.  
  7.        mCblk->channels = (uint8_t)channelCount; 
  8.  

好了,解决一个重大疑惑,跨进程数据共享的重要数据结构audio_track_cblk_t是通过placement new在一块共享内存上来创建的。

回到AF的CreateTrack,有这么一句话:

trackHandle = new TrackHandle(track);

return trackHandle;----》注意,这个对象是最终返回到AT进程中的。

trackHandle的构造使用了thread->createTrack_l的返回值。

2.4 到底有少种对象

读到这里的人,一定会被异常多的class类型,内部类,继承关系搞疯掉。说实话,这里废点心血整个或者paste一个大的UML图未尝不可。但是我是不太习惯用图说话,因为图我实在是记不住。那好吧。我们就用最简单的话语争取把目前出现的对象说清楚。

1 AudioFlinger

class AudioFlinger : public BnAudioFlinger, public IBinder::DeathRecipient

AudioFlinger类是代表整个AudioFlinger服务的类,其余所有的工作类都是通过内部类的方式在其中定义的。你把它当做一个壳子也行吧。

2 Client

Client是描述C/S结构的C端的代表,也就算是一个AT在AF端的对等物吧。不过可不是Binder机制中的BpXXX喔。因为AF是用不到AT的功能的。

 
  1. class Client : public RefBase { 
  2.  
  3.     public
  4.  
  5.         sp<AudioFlinger>    mAudioFlinger;//代表S端的AudioFlinger 
  6.  
  7.         sp<MemoryDealer>    mMemoryDealer;//每个C端使用的共享内存,通过它分配 
  8.  
  9.         pid_t               mPid;//C端的进程id 
  10.  
  11.     }; 

3 TrackHandle

Trackhandle是AT端调用AF的CreateTrack得到的一个基于Binder机制的Track。

这个TrackHandle实际上是对真正干活的PlaybackThread::Track的一个跨进程支持的封装。

什么意思?本来PlaybackThread::Track是真正在AF中干活的东西,不过为了支持跨进程的话,我们用TrackHandle对其进行了一下包转。这样在AudioTrack调用TrackHandle的功能,实际都由TrackHandle调用PlaybackThread::Track来完成了。可以认为是一种Proxy模式吧。

这个就是AudioFlinger异常复杂的一个原因!!!

 
  1. class TrackHandle : public android::BnAudioTrack { 
  2.  
  3.     public
  4.  
  5.                             TrackHandle(const sp<PlaybackThread::Track>& track); 
  6.  
  7.         virtual             ~TrackHandle(); 
  8.  
  9.         virtual status_t    start(); 
  10.  
  11.         virtual void        stop(); 
  12.  
  13.         virtual void        flush(); 
  14.  
  15.         virtual void        mute(bool); 
  16.  
  17.         virtual void        pause(); 
  18.  
  19.         virtual void        setVolume(float left, float right); 
  20.  
  21.         virtual sp<IMemory> getCblk() const
  22.  
  23.         sp<PlaybackThread::Track> mTrack; 
  24.  
  25. }; 

 #p#

4 线程类

AF中有好几种不同类型的线程,分别有对应的线程类型:

l         RecordThread:

RecordThread : public ThreadBase, public AudioBufferProvider

用于录音的线程。

l         PlaybackThread:

class PlaybackThread : public ThreadBase

用于播放的线程

l         MixerThread

MixerThread : public PlaybackThread

用于混音的线程,注意他是从PlaybackThread派生下来的。

l         DirectoutputThread

DirectOutputThread : public PlaybackThread

直接输出线程,我们之前在代码里老看到DIRECT_OUTPUT之类的判断,看来最终和这个线程有关。

l         DuplicatingThread:

DuplicatingThread : public MixerThread

复制线程?而且从混音线程中派生?暂时不知道有什么用

这么多线程,都有一个共同的父类ThreadBase,这个是AF对Audio系统单独定义的一个以Thread为基类的类。------》FT,真的很麻烦。

ThreadBase我们不说了,反正里边封装了一些有用的函数。

我们看看PlayingThread吧,里边由定义了内部类:

 

5  PlayingThread的内部类Track

我们知道,TrackHandle构造用的那个Track是PlayingThread的createTrack_l得到的。

class Track : public TrackBase

晕喔,又来一个TrackBase。

TrackBase是ThreadBase定义的内部类

class TrackBase : public AudioBufferProvider, public RefBase

基类AudioBufferProvider是一个对Buffer的封装,以后在AF读共享缓冲,写数据到硬件HAL中用得到。

个人感觉:上面这些东西,其实完完全全可以独立到不同的文件中,然后加一些注释说明。

写这样的代码,要是我是BOSS的话,一定会很不爽。有什么意义吗?有什么好处吗?

2.5 AF流程继续

好了,这里终于在AF中的createTrack返回了TrackHandle。这个时候系统处于什么状态?

l         AF中的几个Thread我们之前说了,在AF启动的某个时间就已经起来了。我们就假设AT调用AF服务前,这个线程就已经启动了。

这个可以看代码就知道了:

 

  1. void AudioFlinger::PlaybackThread::onFirstRef() 
  2.  
  3.  
  4.     const size_t SIZE = 256
  5.  
  6.     char buffer[SIZE]; 
  7.  
  8.   
  9.  
  10.     snprintf(buffer, SIZE, "Playback Thread %p"this); 
  11.  
  12. //onFirstRef,实际是RefBase的一个方法,在构造sp的时候就会被调用 
  13.  
  14. //下面的run就真正创建了线程并开始执行threadLoop了 
  15.  
  16.     run(buffer, ANDROID_PRIORITY_URGENT_AUDIO); 
  17.  

到底执行哪个线程的threadLoop?我记得我们是根据output句柄来查找线程的。

看看openOutput的实行,真正的线程对象创建是在那儿。

 

  1. nt AudioFlinger::openOutput(uint32_t *pDevices, 
  2.  
  3.                                 uint32_t *pSamplingRate, 
  4.  
  5.                                 uint32_t *pFormat, 
  6.  
  7.                                 uint32_t *pChannels, 
  8.  
  9.                                 uint32_t *pLatencyMs, 
  10.  
  11.                                 uint32_t flags) 
  12.  
  13.  
  14.         if ((flags & AudioSystem::OUTPUT_FLAG_DIRECT) || 
  15.  
  16.             (format != AudioSystem::PCM_16_BIT) || 
  17.  
  18.             (channels != AudioSystem::CHANNEL_OUT_STEREO)) { 
  19.  
  20.             thread = new DirectOutputThread(this, output, ++mNextThreadId); 
  21.  
  22. //如果flags没有设置直接输出标准,或者format不是16bit,或者声道数不是2立体声 
  23.  
  24. //则创建DirectOutputThread。        
  25.  
  26. else { 
  27.  
  28.     //可惜啊,我们创建的是最复杂的MixerThread   
  29.  
  30.  thread = new MixerThread(this, output, ++mNextThreadId);    
  31.  
  32. 1. MixerThread 
  33.  
  34. 非常重要的工作线程,我们看看它的构造函数。 
  35.  
  36. AudioFlinger::MixerThread::MixerThread(const sp<AudioFlinger>& audioFlinger, AudioStreamOut* output, int id) 
  37.  
  38.     :   PlaybackThread(audioFlinger, output, id), 
  39.  
  40.         mAudioMixer(0
  41.  
  42.  
  43. mType = PlaybackThread::MIXER; 
  44.  
  45. //混音器对象,传进去的两个参数时基类ThreadBase的,都为0 
  46.  
  47. //这个对象巨复杂,最终混音的数据都由它生成,以后再说... 
  48.  
  49.     mAudioMixer = new AudioMixer(mFrameCount, mSampleRate); 
  50.  
  51.    } 

2. AT调用start

此时,AT得到IAudioTrack对象后,调用start函数。

 

  1. status_t AudioFlinger::TrackHandle::start() { 
  2.  
  3.     return mTrack->start(); 
  4.  
  5. //果然,自己又不干活,交给mTrack了,这个是PlayintThread createTrack_l得到的Track对象 
  6.  
  7. status_t AudioFlinger::PlaybackThread::Track::start() 
  8.  
  9.  
  10.     status_t status = NO_ERROR; 
  11.  
  12. sp<ThreadBase> thread = mThread.promote(); 
  13.  
  14. //这个Thread就是调用createTrack_l的那个thread对象,这里是MixerThread 
  15.  
  16.     if (thread != 0) { 
  17.  
  18.         Mutex::Autolock _l(thread->mLock); 
  19.  
  20.         int state = mState; 
  21.  
  22.          if (mState == PAUSED) { 
  23.  
  24.             mState = TrackBase::RESUMING; 
  25.  
  26.            } else { 
  27.  
  28.             mState = TrackBase::ACTIVE; 
  29.  
  30.         } 
  31.  
  32.   //把自己由加到addTrack_l了 
  33.  
  34. //奇怪,我们之前在看createTrack_l的时候,不是已经有个map保存创建的track了 
  35.  
  36. //这里怎么又出现了一个类似的操作? 
  37.  
  38.         PlaybackThread *playbackThread = (PlaybackThread *)thread.get(); 
  39.  
  40.         playbackThread->addTrack_l(this); 
  41.  
  42.     return status; 
  43.  

看看这个addTrack_l函数

 

  1. status_t AudioFlinger::PlaybackThread::addTrack_l(const sp<Track>& track) 
  2.  
  3.  
  4.     status_t status = ALREADY_EXISTS; 
  5.  
  6.   
  7.  
  8.     // set retry count for buffer fill 
  9.  
  10.     track->mRetryCount = kMaxTrackStartupRetries; 
  11.  
  12.     if (mActiveTracks.indexOf(track) < 0) { 
  13.  
  14.         mActiveTracks.add(track);//啊,原来是加入到活跃Track的数组啊 
  15.  
  16.         status = NO_ERROR; 
  17.  

//我靠,有戏啊!看到这个broadcast,一定要想到:恩,在不远处有那么一个线程正

//等着这个CV呢。

 

  1.   mWaitWorkCV.broadcast(); 
  2.  
  3.    return status; 
  4.  

让我们想想吧。start是把某个track加入到PlayingThread的活跃Track队列,然后触发一个信号事件。由于这个事件是PlayingThread的内部成员变量,而PlayingThread又创建了一个线程,那么难道是那个线程在等待这个事件吗?这时候有一个活跃track,那个线程应该可以干活了吧?

这个线程是MixerThread。我们去看看它的线程函数threadLoop吧。

 
  1. bool AudioFlinger::MixerThread::threadLoop() 
  2.  
  3.  
  4.     int16_t* curBuf = mMixBuffer; 
  5.  
  6.     Vector< sp<Track> > tracksToRemove; 
  7.  
  8.  while (!exitPending()) 
  9.  
  10.     { 
  11.  
  12.         processConfigEvents(); 
  13.  
  14. //Mixer进到这个循环中来 
  15.  
  16.         mixerStatus = MIXER_IDLE; 
  17.  
  18.         { // scope for mLock 
  19.  
  20.            Mutex::Autolock _l(mLock); 
  21.  
  22.             const SortedVector< wp<Track> >& activeTracks = mActiveTracks; 
  23.  
  24. //每次都取当前最新的活跃Track数组 
  25.  
  26. //下面是预备操作,返回状态看看是否有数据需要获取 
  27.  
  28. mixerStatus = prepareTracks_l(activeTracks, &tracksToRemove); 
  29.  
  30.        } 
  31.  
  32. //LIKELY,是GCC的一个东西,可以优化编译后的代码 
  33.  
  34. //就当做是TRUE吧 
  35.  
  36. if (LIKELY(mixerStatus == MIXER_TRACKS_READY)) { 
  37.  
  38.             // mix buffers... 
  39.  
  40. //调用混音器,把buf传进去,估计得到了混音后的数据了 
  41.  
  42. //curBuf是mMixBuffer,PlayingThread的内部buffer,在某个地方已经创建好了, 
  43.  
  44. //缓存足够大 
  45.  
  46.             mAudioMixer->process(curBuf); 
  47.  
  48.             sleepTime = 0
  49.  
  50.             standbyTime = systemTime() + kStandbyTimeInNsecs; 
  51.  
  52.         } 
  53.  
  54. 有数据要写到硬件中,肯定不能sleep了呀 
  55.  
  56. if (sleepTime == 0) { 
  57.  
  58.            //把缓存的数据写到outPut中。这个mOutput是AudioStreamOut 
  59.  
  60. //由Audio HAL的那个对象创建得到。等我们以后分析再说 
  61.  
  62.            int bytesWritten = (int)mOutput->write(curBuf, mixBufferSize); 
  63.  
  64.             mStandby = false
  65.  
  66.         } else { 
  67.  
  68.             usleep(sleepTime);//如果没有数据,那就休息吧.. 
  69.  
  70.         } 

3. MixerThread核心

到这里,大家是不是有种焕然一新的感觉?恩,对了,AF的工作就是如此的精密,每个部分都配合得丝丝入扣。不过对于我们看代码的人来说,实在搞不懂这么做的好处----哈哈  有点扯远了。

MixerThread的线程循环中,最重要的两个函数:

 

  1. prepare_l和mAudioMixer->process,我们一一来看看。 
  2.  
  3. uint32_t AudioFlinger::MixerThread::prepareTracks_l(const SortedVector< wp<Track> >& activeTracks, Vector< sp<Track> > *tracksToRemove) 
  4.  
  5.  
  6.   
  7.  
  8.     uint32_t mixerStatus = MIXER_IDLE; 
  9.  
  10.     //得到活跃track个数,这里假设就是我们创建的那个AT吧,那么count=1 
  11.  
  12.     size_t count = activeTracks.size(); 
  13.  
  14.   
  15.  
  16.     float masterVolume = mMasterVolume; 
  17.  
  18.     bool  masterMute = mMasterMute; 
  19.  
  20.    for (size_t i=0 ; i<count ; i++) { 
  21.  
  22.         sp<Track> t = activeTracks[i].promote(); 
  23.  
  24.       Track* const track = t.get(); 
  25.  
  26.    //得到placement new分配的那个跨进程共享的对象 
  27.  
  28.         audio_track_cblk_t* cblk = track->cblk(); 
  29.  
  30. //设置混音器,当前活跃的track。 
  31.  
  32.         mAudioMixer->setActiveTrack(track->name()); 
  33.  
  34.         if (cblk->framesReady() && (track->isReady() || track->isStopped()) && 
  35.  
  36.                 !track->isPaused() && !track->isTerminated()) 
  37.  
  38.         { 
  39.  
  40.             // compute volume for this track 
  41.  
  42. //AT已经write数据了。所以肯定会进到这来。 
  43.  
  44.             int16_t left, right; 
  45.  
  46.             if (track->isMuted() || masterMute || track->isPausing() || 
  47.  
  48.                 mStreamTypes[track->type()].mute) { 
  49.  
  50.                 left = right = 0
  51.  
  52.                 if (track->isPausing()) { 
  53.  
  54.                     track->setPaused(); 
  55.  
  56.                 } 
  57.  
  58. //AT设置的音量假设不为零,我们需要聆听声音! 
  59.  
  60. //所以走else流程 
  61.  
  62.             } else { 
  63.  
  64.                 // read original volumes with volume control 
  65.  
  66.                 float typeVolume = mStreamTypes[track->type()].volume; 
  67.  
  68.                 float v = masterVolume * typeVolume; 
  69.  
  70.                 float v_clamped = v * cblk->volume[0]; 
  71.  
  72.                 if (v_clamped > MAX_GAIN) v_clamped = MAX_GAIN; 
  73.  
  74.                 left = int16_t(v_clamped); 
  75.  
  76.                 v_clamped = v * cblk->volume[1]; 
  77.  
  78.                 if (v_clamped > MAX_GAIN) v_clamped = MAX_GAIN; 
  79.  
  80.                 right = int16_t(v_clamped); 
  81.  
  82. //计算音量 
  83.  
  84.             } 
  85.  
  86. //注意,这里对混音器设置了数据提供来源,是一个track,还记得我们前面说的吗?Track从 
  87.  
  88. AudioBufferProvider派生 
  89.  
  90.           mAudioMixer->setBufferProvider(track); 
  91.  
  92.             mAudioMixer->enable(AudioMixer::MIXING); 
  93.  
  94.   
  95.  
  96.             int param = AudioMixer::VOLUME; 
  97.  
  98.            //为这个track设置左右音量等 
  99.  
  100.           mAudioMixer->setParameter(param, AudioMixer::VOLUME0, left); 
  101.  
  102.             mAudioMixer->setParameter(param, AudioMixer::VOLUME1, right); 
  103.  
  104.             mAudioMixer->setParameter( 
  105.  
  106.                 AudioMixer::TRACK, 
  107.  
  108.                 AudioMixer::FORMAT, track->format()); 
  109.  
  110.             mAudioMixer->setParameter( 
  111.  
  112.                 AudioMixer::TRACK, 
  113.  
  114.                 AudioMixer::CHANNEL_COUNT, track->channelCount()); 
  115.  
  116.             mAudioMixer->setParameter( 
  117.  
  118.                 AudioMixer::RESAMPLE, 
  119.  
  120.                 AudioMixer::SAMPLE_RATE, 
  121.  
  122.                 int(cblk->sampleRate)); 
  123.  
  124.         } else { 
  125.  
  126.            if (track->isStopped()) { 
  127.  
  128.                 track->reset(); 
  129.  
  130.             } 
  131.  
  132.   //如果这个track已经停止了,那么把它加到需要移除的track队列tracksToRemove中去 
  133.  
  134. //同时停止它在AudioMixer中的混音 
  135.  
  136.             if (track->isTerminated() || track->isStopped() || track->isPaused()) { 
  137.  
  138.                 tracksToRemove->add(track); 
  139.  
  140.                 mAudioMixer->disable(AudioMixer::MIXING); 
  141.  
  142.             } else { 
  143.  
  144.                 mAudioMixer->disable(AudioMixer::MIXING); 
  145.  
  146.             } 
  147.  
  148.         } 
  149.  
  150.     } 
  151.  
  152.   
  153.  
  154.     // remove all the tracks that need to be... 
  155.  
  156.     count = tracksToRemove->size(); 
  157.  
  158.     return mixerStatus; 
  159.  
  160.  
  161. 看明白了吗?prepare_l的功能是什么?根据当前活跃的track队列,来为混音器设置信息。可想而知,一个track必然在混音器中有一个对应的东西。我们待会分析AudioMixer的时候再详述。 
  162.  
  163. 为混音器准备好后,下面调用它的process函数 
  164.  
  165. void AudioMixer::process(void* output) 
  166.  
  167.  
  168.     mState.hook(&mState, output);//hook?难道是钩子函数? 
  169.  

晕乎,就这么简单的函数???

CTRL+左键,hook是一个函数指针啊,在哪里赋值的?具体实现函数又是哪个?

没办法了,只能分析AudioMixer类了。

4. AudioMixer

AudioMixer实现在framework/base/libs/audioflinger/AudioMixer.cpp中

 

  1. AudioMixer::AudioMixer(size_t frameCount, uint32_t sampleRate) 
  2.  
  3.     :   mActiveTrack(0), mTrackNames(0), mSampleRate(sampleRate) 
  4.  
  5.  
  6.     mState.enabledTracks= 0
  7.  
  8.     mState.needsChanged = 0
  9.  
  10.     mState.frameCount   = frameCount; 
  11.  
  12.     mState.outputTemp   = 0
  13.  
  14.     mState.resampleTemp = 0
  15.  
  16.     mState.hook         = process__nop;//process__nop,是该类的静态函数 
  17.  
  18. track_t* t = mState.tracks; 
  19.  
  20. //支持32路混音。牛死了 
  21.  
  22.     for (int i=0 ; i<32 ; i++) { 
  23.  
  24.         t->needs = 0
  25.  
  26.         t->volume[0] = UNITY_GAIN; 
  27.  
  28.         t->volume[1] = UNITY_GAIN; 
  29.  
  30.         t->volumeInc[0] = 0
  31.  
  32.         t->volumeInc[1] = 0
  33.  
  34.         t->channelCount = 2
  35.  
  36.         t->enabled = 0
  37.  
  38.         t->format = 16
  39.  
  40.         t->buffer.raw = 0
  41.  
  42.         t->bufferProvider = 0
  43.  
  44.         t->hook = 0
  45.  
  46.         t->resampler = 0
  47.  
  48.         t->sampleRate = mSampleRate; 
  49.  
  50.         t->in = 0
  51.  
  52.         t++; 
  53.  
  54.     } 
  55.  

//其中,mState是在AudioMixer.h中定义的一个数据结构

//注意,source insight没办法解析这个mState,因为....见下面的注释。

 

  1. struct state_t { 
  2.  
  3.         uint32_t        enabledTracks; 
  4.  
  5.         uint32_t        needsChanged; 
  6.  
  7.         size_t          frameCount; 
  8.  
  9.         mix_t           hook; 
  10.  
  11.         int32_t         *outputTemp; 
  12.  
  13.         int32_t         *resampleTemp; 
  14.  
  15.         int32_t         reserved[2]; 
  16.  
  17.         track_t         tracks[32];// __attribute__((aligned(32)));《--把这里注释掉 
  18.  
  19. //否则source insight会解析不了这个state_t类型 
  20.  
  21.     }; 

    int             mActiveTrack;

    uint32_t        mTrackNames;//names?搞得像字符串,实际是一个int

    const uint32_t  mSampleRate;

 

state_t         mState

好了,没什么吗。hook对应的可选函数实现有:

process__validate

process__nop

process__genericNoResampling

process__genericResampling

process__OneTrack16BitsStereoNoResampling

process__TwoTracks16BitsStereoNoResampling

AudioMixer构造的时候,hook是process__nop,有几个地方会改变这个函数指针的指向。

这部分涉及到数字音频技术,我就无力讲解了。我们看看最接近的函数

process__OneTrack16BitsStereoNoResampling

void AudioMixer::process__OneTrack16BitsStereoNoResampling(state_t* state, void* output)

{

单track,16bit双声道,不需要重采样,大部分是这种情况了

 

  1.   const int i = 31 - __builtin_clz(state->enabledTracks); 
  2.  
  3.     const track_t& t = state->tracks[i]; 
  4.  
  5.   
  6.  
  7.     AudioBufferProvider::Buffer& b(t.buffer); 
  8.  
  9.    
  10.  
  11.     int32_t* out = static_cast<int32_t*>(output); 
  12.  
  13.     size_t numFrames = state->frameCount; 
  14.  
  15.   
  16.  
  17.     const int16_t vl = t.volume[0]; 
  18.  
  19.     const int16_t vr = t.volume[1]; 
  20.  
  21.     const uint32_t vrl = t.volumeRL; 
  22.  
  23.     while (numFrames) { 
  24.  
  25.         b.frameCount = numFrames; 
  26.  
  27. //获得buffer 
  28.  
  29.         t.bufferProvider->getNextBuffer(&b); 
  30.  
  31.         int16_t const *in = b.i16; 
  32.  
  33.   
  34.  
  35.        size_t outFrames = b.frameCount; 
  36.  
  37.        if  UNLIKELY--->不走这. 
  38.  
  39.         else { 
  40.  
  41.             do { 
  42.  
  43.           //计算音量等数据,和数字音频技术有关。这里不说了 
  44.  
  45.                 uint32_t rl = *reinterpret_cast<uint32_t const *>(in); 
  46.  
  47.                 in += 2
  48.  
  49.                 int32_t l = mulRL(1, rl, vrl) >> 12
  50.  
  51.                 int32_t r = mulRL(0, rl, vrl) >> 12
  52.  
  53.                 *out++ = (r<<16) | (l & 0xFFFF); 
  54.  
  55.             } while (--outFrames); 
  56.  
  57.         } 
  58.  
  59.         numFrames -= b.frameCount; 
  60.  
  61. //释放buffer。 
  62.  
  63.         t.bufferProvider->releaseBuffer(&b); 
  64.  
  65.     } 
  66.  

好像挺简单的啊,不就是把数据处理下嘛。这里注意下buffer。到现在,我们还没看到取共享内存里AT端write的数据呐。

那只能到bufferProvider去看了。

注意,这里用的是AudioBufferProvider基类,实际的对象是Track。它从AudioBufferProvider派生。

我们用得是PlaybackThread的这个Track

 

  1. status_t AudioFlinger::PlaybackThread::Track::getNextBuffer(AudioBufferProvider::Buffer* buffer) 
  2.  
  3.  
  4. //一阵暗喜吧。千呼万唤始出来,终于见到cblk了 
  5.  
  6.      audio_track_cblk_t* cblk = this->cblk(); 
  7.  
  8.      uint32_t framesReady; 
  9.  
  10.      uint32_t framesReq = buffer->frameCount; 
  11.  
  12.  //哈哈,看看数据准备好了没, 
  13.  
  14.       framesReady = cblk->framesReady(); 
  15.  
  16.   
  17.  
  18.      if (LIKELY(framesReady)) { 
  19.  
  20.         uint32_t s = cblk->server; 
  21.  
  22.         uint32_t bufferEnd = cblk->serverBase + cblk->frameCount; 
  23.  
  24.         bufferEnd = (cblk->loopEnd < bufferEnd) ? cblk->loopEnd : bufferEnd; 
  25.  
  26.         if (framesReq > framesReady) { 
  27.  
  28.             framesReq = framesReady; 
  29.  
  30.         } 
  31.  
  32.         if (s + framesReq > bufferEnd) { 
  33.  
  34.             framesReq = bufferEnd - s; 
  35.  
  36.         } 
  37.  
  38. 获得真实的数据地址 
  39.  
  40.          buffer->raw = getBuffer(s, framesReq); 
  41.  
  42.          if (buffer->raw == 0goto getNextBuffer_exit; 
  43.  
  44.   
  45.  
  46.          buffer->frameCount = framesReq; 
  47.  
  48.         return NO_ERROR; 
  49.  
  50.      } 
  51.  
  52. getNextBuffer_exit: 
  53.  
  54.      buffer->raw = 0
  55.  
  56.      buffer->frameCount = 0
  57.  
  58.     return NOT_ENOUGH_DATA; 
  59.  
  60.  
  61. 再看看释放缓冲的地方:releaseBuffer,这个直接在ThreadBase中实现了 
  62.  
  63. void AudioFlinger::ThreadBase::TrackBase::releaseBuffer(AudioBufferProvider::Buffer* buffer) 
  64.  
  65.  
  66.     buffer->raw = 0
  67.  
  68.     mFrameCount = buffer->frameCount; 
  69.  
  70.     step(); 
  71.  
  72.     buffer->frameCount = 0
  73.  

看看step吧。mFrameCount表示我已经用完了这么多帧。

 

  1. bool AudioFlinger::ThreadBase::TrackBase::step() { 
  2.  
  3.     bool result; 
  4.  
  5.     audio_track_cblk_t* cblk = this->cblk(); 
  6.  
  7. result = cblk->stepServer(mFrameCount);//哼哼,调用cblk的stepServer,更新 
  8.  
  9. 服务端的使用位置 
  10.  
  11.     return result; 
  12.  

到这里,大伙应该都明白了吧。原来AudioTrack中write的数据,最终是这么被使用的呀!!!

恩,看一个process__OneTrack16BitsStereoNoResampling不过瘾,再看看

process__TwoTracks16BitsStereoNoResampling。

 
  1. void AudioMixer::process__TwoTracks16BitsStereoNoResampling(state_t* state, void
  2.  
  3. output) 
  4.  
  5. int i; 
  6.  
  7.     uint32_t en = state->enabledTracks; 
  8.  
  9.   
  10.  
  11.     i = 31 - __builtin_clz(en); 
  12.  
  13.     const track_t& t0 = state->tracks[i]; 
  14.  
  15.     AudioBufferProvider::Buffer& b0(t0.buffer); 
  16.  
  17.   
  18.  
  19.     en &= ~(1<<i); 
  20.  
  21.     i = 31 - __builtin_clz(en); 
  22.  
  23.     const track_t& t1 = state->tracks[i]; 
  24.  
  25.     AudioBufferProvider::Buffer& b1(t1.buffer); 
  26.  
  27.    
  28.  
  29.     int16_t const *in0; 
  30.  
  31.     const int16_t vl0 = t0.volume[0]; 
  32.  
  33.     const int16_t vr0 = t0.volume[1]; 
  34.  
  35.     size_t frameCount0 = 0
  36.  
  37.   
  38.  
  39.     int16_t const *in1; 
  40.  
  41.     const int16_t vl1 = t1.volume[0]; 
  42.  
  43.     const int16_t vr1 = t1.volume[1]; 
  44.  
  45.     size_t frameCount1 = 0
  46.  
  47.    
  48.  
  49.     int32_t* out = static_cast<int32_t*>(output); 
  50.  
  51.     size_t numFrames = state->frameCount; 
  52.  
  53.     int16_t const *buff = NULL; 
  54.  
  55.   
  56.  
  57.   
  58.  
  59.     while (numFrames) { 
  60.  
  61.    
  62.  
  63.         if (frameCount0 == 0) { 
  64.  
  65.             b0.frameCount = numFrames; 
  66.  
  67.             t0.bufferProvider->getNextBuffer(&b0); 
  68.  
  69.             if (b0.i16 == NULL) { 
  70.  
  71.                 if (buff == NULL) { 
  72.  
  73.                     buff = new int16_t[MAX_NUM_CHANNELS * state->frameCount]; 
  74.  
  75.                 } 
  76.  
  77.                 in0 = buff; 
  78.  
  79.                 b0.frameCount = numFrames; 
  80.  
  81.             } else { 
  82.  
  83.                 in0 = b0.i16; 
  84.  
  85.             } 
  86.  
  87.             frameCount0 = b0.frameCount; 
  88.  
  89.         } 
  90.  
  91.         if (frameCount1 == 0) { 
  92.  
  93.             b1.frameCount = numFrames; 
  94.  
  95.             t1.bufferProvider->getNextBuffer(&b1); 
  96.  
  97.             if (b1.i16 == NULL) { 
  98.  
  99.                 if (buff == NULL) { 
  100.  
  101.                     buff = new int16_t[MAX_NUM_CHANNELS * state->frameCount]; 
  102.  
  103.                 } 
  104.  
  105.                 in1 = buff; 
  106.  
  107.                 b1.frameCount = numFrames; 
  108.  
  109.                } else { 
  110.  
  111.                 in1 = b1.i16; 
  112.  
  113.             } 
  114.  
  115.             frameCount1 = b1.frameCount; 
  116.  
  117.         } 
  118.  
  119.        
  120.  
  121.         size_t outFrames = frameCount0 < frameCount1?frameCount0:frameCount1; 
  122.  
  123.   
  124.  
  125.         numFrames -= outFrames; 
  126.  
  127.         frameCount0 -= outFrames; 
  128.  
  129.         frameCount1 -= outFrames; 
  130.  
  131.         
  132.  
  133.         do { 
  134.  
  135.             int32_t l0 = *in0++; 
  136.  
  137.             int32_t r0 = *in0++; 
  138.  
  139.             l0 = mul(l0, vl0); 
  140.  
  141.             r0 = mul(r0, vr0); 
  142.  
  143.             int32_t l = *in1++; 
  144.  
  145.             int32_t r = *in1++; 
  146.  
  147.             l = mulAdd(l, vl1, l0) >> 12
  148.  
  149.             r = mulAdd(r, vr1, r0) >> 12
  150.  
  151.             // clamping... 
  152.  
  153.             l = clamp16(l); 
  154.  
  155.             r = clamp16(r); 
  156.  
  157.             *out++ = (r<<16) | (l & 0xFFFF); 
  158.  
  159.         } while (--outFrames); 
  160.  
  161.        
  162.  
  163.         if (frameCount0 == 0) { 
  164.  
  165.             t0.bufferProvider->releaseBuffer(&b0); 
  166.  
  167.         } 
  168.  
  169.         if (frameCount1 == 0) { 
  170.  
  171.             t1.bufferProvider->releaseBuffer(&b1); 
  172.  
  173.         } 
  174.  
  175.     }   
  176.  
  177.        
  178.  
  179.     if (buff != NULL) { 
  180.  
  181.         delete [] buff;       
  182.  
  183.     } 
  184.  

看不懂了吧??哈哈,知道有这回事就行了,专门搞数字音频的需要好好研究下了!

三 再论共享audio_track_cblk_t

为什么要再论这个?因为我在网上找了下,有人说audio_track_cblk_t是一个环形buffer,环形buffer是什么意思?自己查查!

这个吗,和我之前的工作经历有关系,某BOSS费尽心机想搞一个牛掰掰的环形buffer,搞得我累死了。现在audio_track_cblk_t是环形buffer?我倒是想看看它是怎么实现的。

顺便我们要解释下,audio_track_cblk_t的使用和我之前说的Lock,读/写,Unlock不太一样。为何?

l         第一因为我们没在AF代码中看到有缓冲buffer方面的wait,MixThread只有当没有数据的时候会usleep一下。

l         第二,如果有多个track,多个audio_track_cblk_t的话,假如又是采用wait信号的办法,那么由于pthread库缺乏WaitForMultiObjects的机制,那么到底该等哪一个?这个问题是我们之前在做跨平台同步库的一个重要难题。

1. 写者的使用

我们集中到audio_track_cblk_t这个类,来看看写者是如何使用的。写者就是AudioTrack端,在这个类中,叫user

l         framesAvailable,看看是否有空余空间

l         buffer,获得写空间起始地址

l         stepUser,更新user的位置。

2. 读者的使用

读者是AF端,在这个类中加server。

l         framesReady,获得可读的位置

l         stepServer,更新读者的位置

看看这个类的定义:

 
  1. struct audio_track_cblk_t 
  2.  
  3.  
  4.                Mutex       lock; //同步锁 
  5.  
  6.                 Condition   cv;//CV 
  7.  
  8. volatile    uint32_t    user;//写者 
  9.  
  10.     volatile    uint32_t    server;//读者 
  11.  
  12.                 uint32_t    userBase;//写者起始位置 
  13.  
  14.                 uint32_t    serverBase;//读者起始位置 
  15.  
  16.     void*       buffers; 
  17.  
  18.     uint32_t    frameCount; 
  19.  
  20.     // Cache line boundary 
  21.  
  22.     uint32_t    loopStart; //循环起始 
  23.  
  24.     uint32_t    loopEnd; //循环结束 
  25.  
  26.     int         loopCount; 
  27.  
  28. uint8_t     out;   //如果是Track的话,out就是1,表示输出。 
  29.  

注意这是volatile,跨进程的对象,看来这个volatile也是可以跨进程的嘛。

l         唉,又要发挥下了。volatile只是告诉编译器,这个单元的地址不要cache到CPU的缓冲中。也就是每次取值的时候都要到实际内存中去读,而且可能读内存的时候先要锁一下总线。防止其他CPU核执行的时候同时去修改。由于是跨进程共享的内存,这块内存在两个进程都是能见到的,又锁总线了,又是同一块内存,volatile当然保证了同步一致性。

l         loopStart和loopEnd这两个值是表示循环播放的起点和终点的,下面还有一个loopCount吗,表示循环播放次数的

那就分析下吧。

先看写者的那几个函数

4 写者分析

先用frameavail看看当前剩余多少空间,我们可以假设是第一次进来嘛。读者还在那sleep呢。

 
  1. uint32_t audio_track_cblk_t::framesAvailable() 
  2.  
  3.  
  4.     Mutex::Autolock _l(lock); 
  5.  
  6.     return framesAvailable_l(); 
  7.  
  8.  
  9. int32_t audio_track_cblk_t::framesAvailable_l() 
  10.  
  11.  
  12.     uint32_t u = this->user; 当前写者位置,此时也为0 
  13.  
  14.     uint32_t s = this->server; //当前读者位置,此时为0 
  15.  
  16.     if (out) { out为1 
  17.  
  18.         uint32_t limit = (s < loopStart) ? s : loopStart; 
  19.  
  20. 我们不设循环播放时间吗。所以loopStart是初始值INT_MAX,所以limit=0 
  21.  
  22.         return limit + frameCount - u; 
  23.  
  24. //返回0+frameCount-0,也就是全缓冲最大的空间。假设frameCount=1024帧 
  25.  
  26.     } 
  27.  

然后调用buffer获得其实位置,buffer就是得到一个地址位置。

void* audio_track_cblk_t::buffer(uint32_t offset) const

{

    return (int8_t *)this->buffers + (offset - userBase) * this->frameSize;

}

完了,我们更新写者,调用stepUser

uint32_t audio_track_cblk_t::stepUser(uint32_t frameCount)

{

//framecount,表示我写了多少,假设这一次写了512帧

    uint32_t u = this->user;//user位置还没更新呢,此时u=0;

 

    u += frameCount;//u更新了,u=512

    // Ensure that user is never ahead of server for AudioRecord

    if (out) {

       //没甚,计算下等待时间

}

//userBase还是初始值为0,可惜啊,我们只写了1024的一半

//所以userBase加不了

   if (u >= userBase + this->frameCount) {

        userBase += this->frameCount;

//但是这句话很重要,userBase也更新了。根据buffer函数的实现来看,似乎把这个

//环形缓冲铺直了....连绵不绝。

    }

    this->user = u;//喔,user位置也更新为512了,但是useBase还是0

    return u;

}

好了,假设写者这个时候sleep了,而读者起来了。

5 读者分析

 

 
  1. uint32_t audio_track_cblk_t::framesReady() 
  2.  
  3.  
  4.     uint32_t u = this->user; //u为512 
  5.  
  6.     uint32_t s = this->server;//还没读呢,s为零 
  7.  
  8.   
  9.  
  10.     if (out) { 
  11.  
  12.         if (u < loopEnd) { 
  13.  
  14.             return u - s;//loopEnd也是INT_MAX,所以这里返回512,表示有512帧可读了 
  15.  
  16.         } else { 
  17.  
  18.             Mutex::Autolock _l(lock); 
  19.  
  20.             if (loopCount >= 0) { 
  21.  
  22.                 return (loopEnd - loopStart)*loopCount + u - s; 
  23.  
  24.             } else { 
  25.  
  26.                 return UINT_MAX; 
  27.  
  28.             } 
  29.  
  30.         } 
  31.  
  32.     } else { 
  33.  
  34.         return s - u; 
  35.  
  36.     } 
  37.  

使用完了,然后stepServer

 

  1. bool audio_track_cblk_t::stepServer(uint32_t frameCount) 
  2.  
  3.  
  4.     status_t err; 
  5.  
  6.    err = lock.tryLock(); 
  7.  
  8.     uint32_t s = this->server; 
  9.  
  10.   
  11.  
  12.     s += frameCount; //读了512帧了,所以s=512 
  13.  
  14.     if (out) { 
  15.  
  16.         
  17.  
  18.     } 

   没有设置循环播放嘛,所以不走这个

  

  1.  if (s >= loopEnd) { 
  2.  
  3.        s = loopStart; 
  4.  
  5.         if (--loopCount == 0) { 
  6.  
  7.             loopEnd = UINT_MAX; 
  8.  
  9.             loopStart = UINT_MAX; 
  10.  
  11.         } 
  12.  

//一样啊,把环形缓冲铺直了

  

  1. if (s >= serverBase + this->frameCount) { 
  2.  
  3.        serverBase += this->frameCount; 
  4.  
  5.    } 
  6.  
  7.    this->server = s; //server为512了 
  8.  
  9.    cv.signal(); //读者读完了。触发下写者吧。 
  10.  
  11.    lock.unlock(); 
  12.  
  13.    return true

6 真的是环形缓冲吗?

环形缓冲是这样一个场景,现在buffer共1024帧。

假设:

l         写者先写到1024帧

l         读者读到512帧

l         那么,写者还可以从头写512帧。

所以,我们得回头看看frameavail是不是把这512帧算进来了。

 
  1. uint32_t audio_track_cblk_t::framesAvailable_l() 
  2.  
  3.  
  4.     uint32_t u = this->user;  //1024 
  5.  
  6.     uint32_t s = this->server;//512 
  7.  
  8.   
  9.  
  10.     if (out) { 
  11.  
  12.         uint32_t limit = (s < loopStart) ? s : loopStart; 
  13.  
  14.         return limit + frameCount - u;返回512,用上了! 
  15.  
  16.     } 
  17.  

再看看stepUser这句话

  1. if (u >= userBase + this->frameCount) {u为1024,userBase为0,frameCount为1024 
  2.  
  3.         userBase += this->frameCount;//好,userBase也为1024了 
  4.  
  5.  
  6. 看看buffer 

return (int8_t *)this->buffers + (offset - userBase) * this->frameSize;

//offset是外界传入的基于user的一个偏移量。offset-userBase,得到的正式从头开始的那段数据空间。太牛了!

责任编辑:张叶青 来源: 博客园
相关推荐

2019-11-11 14:51:19

Java数据结构Properties

2009-11-18 13:30:37

Oracle Sequ

2009-11-17 17:31:58

Oracle COMM

2021-03-16 08:54:35

AQSAbstractQueJava

2011-07-04 10:39:57

Web

2019-11-14 09:53:30

Set集合存储

2011-05-05 14:44:43

SurfaceFlinSurfaceActivity

2019-01-07 15:29:07

HadoopYarn架构调度器

2021-07-20 15:20:02

FlatBuffers阿里云Java

2017-07-02 18:04:53

块加密算法AES算法

2012-05-21 10:06:26

FrameworkCocoa

2015-08-06 14:02:31

数据分析

2018-03-15 09:13:43

MySQL存储引擎

2022-09-26 09:01:15

语言数据JavaScript

2013-09-16 09:56:29

TCP协议网络协议send

2012-02-07 15:16:01

Android核心组件Service

2012-02-07 14:45:52

Android核心组件Service

2012-02-07 15:29:17

Android核心组件Service

2012-02-07 14:37:01

Android核心组件Service

2012-02-07 15:09:03

Android核心组件Service
点赞
收藏

51CTO技术栈公众号