当手机不断地整合包括照相、游戏、数据、视频等各种功能于一身时，它已摇身变成一个多媒体应用的播放平台，可说是朝细致而微的随身型迷你计算机发展。在定位上，这样的手机有别于既有的纯粹语音的手机(Voice phone)或具备某些功能的手机(Feature phone)，而当属于智能型手机(Smart phone)。
智能型手机除了具有较强的数据编辑管理能力，更能提供音、视频、游戏等多媒体应用服务，也能同时处理多项工作。更进一步来看，它的功能面涵盖了通信、信息与多媒体功能，即：
1. 通信功能：语音、讯息(messaging)、认证(Authentication)、计费(Billing)等等通信处理功能；
2. 信息功能：Email、行事历、信息管理、Sync、安全性等信息处理功能；
3. 多媒体功能：视频、照相、游戏、TV、串流、音乐、DRM等多媒体应用功能；
除了信息功能外，在通信与多媒体的应用上，音频是必要的处理任务。在过去，手机只需要处理单纯的语音通话信号，但今日的智能型手机中得处理的音频任务繁重，除了多音调振铃、MP3音乐外，可能还要有FM广播及游戏音效，而且不能只是单声道的效果，现在要求的是立体声的临场感体验。
过去，数字音频的世界是截然两分的：一边是Hi-Fi的世界，另一边则是语音的世界。一般而言，Hi-Fi是指16bit立体声质量、以44.1kHz取样的音频，也就是CD音乐的规格；电话语音则是8bit和8kHz的单声道(mono)、低质量音频。不过，进入智能型手机的时代，两个音频世界开始撞击在一起了，如何将音频子系统完善地与应用及通信处理平台整合在一起，就成了便携式设备工程师开发新产品时的关键性挑战。
音频编码格式与接口
在进入系统架构的探讨前，先来看看音频编码的现状。目前音频编码的格式繁多，针对声音的编码就有PCM、ADPCM、DM、PWM、WMA、OGG、AMR、ACC、MP3Pro以及MP3等；针对人类语音有LPC、CELP与ACELP等；其它还有MPEG-2、MPEG-4、H.264、VC-1等视听节目的编码格式。手机多媒体格式的市场趋势请参考(图1)。
图1 手机多媒体格式的应用市场趋势
以下介绍三种常用的音频格式：
AMR格式
AMR为自适应多码率语音传输编译码器(Adpative Multi-Rate Speech Codec)，最初版是欧洲电信标准化协会(ETSI)为GMS系统所制定的语音编译码标准，而因频宽又分为两种—AMR-NB(AMR Narrowband)和AMR-WB(AMR Wideband)。以市场最大品牌Nokia来说，其多数手机都支持上述两种格式的音频文件。
MP3格式
MP3是MPEG AudioLayer3的缩写，这是一种音频压缩技术，其编码具有10:1-12:1的高压缩率，可以保持低频部分不失真，但牺牲了音频中12KHz -16KHz的高频部份来降低文件大小，其“.mp3”格式文件一般只有“.wav”的10%。另外，MP3受到欢迎的一大原因，是它并非受到版权保护的技术，所以任何人都可以使用。
MP3格式压缩音乐的取样频率有很多种，可以用64kbps或更低的编码来节省空间，亦可以用到320kbps达到极高的压缩音质。MP3在编码速率上，又分为"CBR"(固定编码)，与及“VBR”(可变码率)技术，有些手机无法播放下载来的音乐，正是因为没有支持“VBR”格式的MP3音乐。
AAC格式
AAC即高级音频编码(Advanced Audio Coding)，它采用的运算方式是与MP3不同，AAC可以同时支持多达48个音轨、15个低频音轨、更多种取样率和传输率、具有多种言语的兼容能力，以及更高的解码效率。总结来说，AAC可以在比MP3格式再缩小30%的条件下提供更好的音质，而且声音保真度好，更接近原音，所以被手机界视为是最佳的音频编码格式。AAC是一个大家族，他们是共分为9种规格，以适应不同场合的需要：
(1) MPEG-2AAC LC 低复杂度规格 (Low Complexity)
(2) MPEG-2 AAC Main 主规格
(3) MPEG-2 AAC SSR 可变取样率规格 (Scaleable Sample Rate)
(4) MPEG-4 AAC LC低复杂度规格(LowComplexity)，现在的手机比较常见的MP4档中的音频部份就包括了该规格音频文件
(5) MPEG-4AAC Main 主规格
(6) MPEG-4 AAC SSR 可变取样率规格 (Scaleable Sample Rate)
(7) MPEG-4 AAC LTP长时期预测规格(Long Term Prediction)
(8) MPEG-4 AAC LD低延迟规格(Low Delay)
(9) MPEG-4 AAC HE高效率规格(High Efficiency)
上述的规格中，主规格(Main)包含了增益控制以外的全部功能，其音质是最好，而低复杂度规格(LC)则是比较简单，没有了增益控制，但提高了编码效率，至于SSR与LC规格大致相同，但是多了增益的控制功能，另外，LTP/LD/HE都是用在低码率下的编码，其中HE采用NeroACC编码器支持，是近来常用的一种编码率方式。不过一般来说，Main规格和LC规格的音质相差不大，因此考虑手机目前的内存仍有限的情况下，目前使用最多的AAC规格是LC规格。
音频接口
音频接口是智能型手机设计者需考虑的重要议题。数字语音一般采用PCM(Pulse Code Modulation)接口，而Hi-Fi立体声则采用串行I2S(Inter-IC Sound)接口或AC97接口。I2S是飞利浦公司为数字音频设备之间的音频数据传输而制定的一种总线标准，是目前消费性音频产品中常用的接口；AC?7则是英特尔公司用于提升个人计算机音效、降低噪音的规格，由于在1997年制订，因此称为AC97。
在计算机的音频需求上，基本上与消费性市场相似，但为了要能播放不同取样速率(8kHz、44.1kHz、48kHz)下录音的音乐文件，所以需要有更有效率和便宜的解决方案，而AC97就具有这样的特性。在广义的手持式设备市场中，三种格式各有其拥护者：CD、MD、MP3随身听会采用I2S接口；移动电话会采用PCM接口；具音频功能的PDA则使用和PC一样的AC97编码格式。
音频系统整合策略
在较早的系统中，通常是将电话与PDA的电路并排放在这个设备外壳内，其中PCM语音编译码由通信处理器来控制，Hi-Fi立体声(AC?7或I2S)的处理则连到另一颗应用处理器。在此架构中，两个音频子系统之间的整合性还很低，分布式的硬件切换电路除了较占空间、需要额外的外围组件来做信号交换和混音外，也会带来谐波失真(harmonic distortion)等的问题。请参考(图2)。
图2 PCM与立体声分别处理的音频架构
因此，为特定应用而量身定制一套整合性的解决方案是较理想的作法。在SoC的技术趋势下，已有一些厂商将立体声数字模拟转换器(DAC)或编译码器(CODEC)整合到特定功能的IC当中。不过，有些功能适合整合在一起，有些则可能得到反效果。
举例来说，当厂商将电源管理和音频处理功能整合在一起时，通常得在音质的部分做妥协，因为电源稳压器(regulator)所产生的噪音会干扰到附近的音频路径；若将音频功能整合到数字IC中也有困难，因为对于Hi-Fi的组件来说，需要用到0.35mm的工艺来让混合讯号处理得到最佳化效能，但目前数字逻辑方面的应用已朝0.18mm以下的更高工艺发展。以上述两种整合性的芯片策略来说，要让两种不同的电路同时存在于一个芯片当中，其最终的芯片尺寸可能也会大到难以接受。
此外，扬声器功率放大机(loudspeaker amplifier)特别难被整合。它所产生的热是一个问题，需要做散热处理，因此往往需要另一颗独立的扬声器驱动IC。还有一个整合上的常见问题，也就是为了让IC尽量做到最小化，可能会产生模拟输入或输出接脚数目不足的问题。
专属的音频IC可避免这些问题，而音频整合有好几种方法可以达成。共享ADC和DAC能减少硬件成本，但却不能同时播放或录制两种音频流格式。为个别功能安排专用的转换器(converter)可以解决这个问题，不过，此一作法会增加芯片成本。折中的作法是只共享ADC的部分，但有独立的DAC，这样做的话，当电话通信在进行时，也同时可以播放其它音频(如播放另一通电话的铃声，或播放音乐)，但在通信时不能同时进行录音。ADC的耗电可以通过关掉一种功能，而以较低取样速率的方式来加以控制。请参考(图3)及(图4)。