智能音箱、智能家居如今涉足AI領(lǐng)域是個(gè)熱門話題，到市場上就體現(xiàn)在這類產(chǎn)品的出貨量以及廠商的宣傳口徑上。比較有趣的是，雖然智能音箱的所謂“主控”芯片制造商總在宣傳自身的AI屬性，絕大部分芯片內(nèi)部還是鮮有AI專核，或者說神經(jīng)網(wǎng)絡(luò)專用計(jì)算單元。大概這類邊緣設(shè)備的AI算力需求，靠CPU或可能包含的GPU就可以達(dá)成...

不過隨著邊緣算力需求提升，智能語音芯片算力加強(qiáng)本身也是這兩年智能家居、智能音箱發(fā)展的趨勢。比如面向智能音箱的主SoC中，CPU部分就有算力越來越高的趨勢。不過通用處理器在面向智能音頻設(shè)備時(shí)，效率并不高，所以我們看到有廠商開始為芯片加DSP與AI專核（NPU）。

這其中相對典型的全志科技近期推出的R329芯片及其智能語音解決方案，藉由這顆芯片及對應(yīng)解決方案，我們大致也能窺見當(dāng)前智能家居/智能音箱在AI這條路上的發(fā)展思路和方向，順便看看在這類芯片真正有了AI專核以后，高算力的AI智能語音芯片是什么樣子。

從配置看R329的定位

全球智能音箱芯片市場的主要玩家包括了高通、Intel、蘋果、全志科技（Allwinner）、瑞芯微（Rockchip)、晶晨半導(dǎo)體（Amlogic）等。我們并不清楚在全球范圍內(nèi)或者國內(nèi)，“主控”芯片廠商在智能音箱設(shè)備中具體的市場份額——不過從既有智能音箱的主芯片來看，國內(nèi)的競爭似乎也相當(dāng)激烈。

就全志來說，天貓精靈、小度在家、小度音箱Play、京東叮咚、小愛音箱Play、小愛音箱mini、騰訊聽聽、網(wǎng)易云音箱、索尼LF-S80D等這些相對較熱的智能音箱都在用全志的主控芯片，這也讓全志R328、R16、R58成為比較知名的智能音箱主控芯片。全志的R系列在定位上是面向邊緣低功耗應(yīng)用的芯片產(chǎn)品，不只是智能音箱產(chǎn)品：R40/R16另外相對知名的是在Banana Pi上有應(yīng)用，R16也是石頭科技掃地機(jī)系列產(chǎn)品的主控。

R系列產(chǎn)品中的R328去年也得到了Aspencore的“2019全球電子成就獎(jiǎng)”音頻處理器產(chǎn)品獎(jiǎng)。在去年3月份的中國家電消費(fèi)電子博覽會上，全志展示過其強(qiáng)噪音環(huán)境的識別能力。就產(chǎn)品編號來看，R329似乎是R328的迭代產(chǎn)品，不過全志科技發(fā)言人告訴我們，這兩款產(chǎn)品是不同定位的。

其中“R329是高階定位，著力于大算力，3-8麥遠(yuǎn)場智能語音交互，可應(yīng)用于帶電池的超低功耗產(chǎn)品上，且接口豐富”，為當(dāng)前市場中高端智能音箱提供更好的解決方案；而“R328偏向中端到入門級市場，2-3麥遠(yuǎn)場智能語音交互，成本更低”。

全志科技表示，R329的兩大主要特點(diǎn)就是高算力與低功耗。其中高算力的部分，也更多涉及到了DSP與NPU。我們就嘗試從這兩方面來看看R329的產(chǎn)品特色。在此之前首先來全局看一看R329的參數(shù)配置與特性：

- 雙核 Cortex-A531.5GHz 主頻；

- DSP：雙核 HIFI 4，400MHz 頻率；

- NPU：周易 AIPU，800MHz， 0.256T；

- 存儲：片上SRAM；內(nèi)置 128MB DDR3；

- 擴(kuò)展：集成多路音頻ADC和DAC，3路I2S和8通道DMIC，同時(shí)集成LDOs。

針對完整的智能音箱方案，全志也提供配套的WiFi與藍(lán)牙芯片、音頻ADC芯片等，滿足不同客戶需求。

從這一串配置大致就能看出R329在定位上是預(yù)備做高算力的，而且主要針對的是不帶屏幕的智能語音交互產(chǎn)品。通用處理器部分選擇的是Arm Cortex-A53微架構(gòu)：這部分在整個(gè)系統(tǒng)的職能通常是跑操作系統(tǒng)、應(yīng)用、網(wǎng)絡(luò)連接等。全志更早的R系列主流方案用的是A7微架構(gòu)——這也是市面上不少競品的選擇，還有一些選擇了A35。

A53和A7都屬于高能效比的架構(gòu)方案，這兩者在渲染管線上有著比較多的相似性，比如順序8級管線。不過前者又有比較顯著的同頻性能提升，包括改用64位Armv8-A指令集架構(gòu)與擴(kuò)展，更完整的超標(biāo)量支持。A53的雙發(fā)射有著更強(qiáng)的靈活性，分支預(yù)測精度有改進(jìn)；另外整數(shù)、浮點(diǎn)單元、Neon以及存儲性能都有提升。

后續(xù)的A35實(shí)際更多的著眼于效率，它在性能方面定位于A7同檔，整體微架構(gòu)與A53也很相似——前端有一些變化，在取指單元上做了重新設(shè)計(jì)，取指帶寬對能效做了權(quán)衡，指令隊(duì)列更??；Neon/浮點(diǎn)管線在面積效率上有變化。

全志方面為我們提供了A53相較A35的性能提升數(shù)據(jù)，除了每個(gè)周期整數(shù)乘法與浮點(diǎn)單精度與雙精度FLOPS性能，還有一些基準(zhǔn)測試。這個(gè)數(shù)據(jù)也基本符合Arm早前官方給出的，基于不同場景A35性能大約是A53的80%左右。具體到R329芯片，相比R328“提供1.58倍整數(shù)算力，1.98倍浮點(diǎn)算力”——后者采用的是雙核A7（1.2GHz），所以這個(gè)程度的提升也在預(yù)期中。

DSP與AI專核

從通用處理器選擇A53就能看出R329的定位，不過在IP選擇上更能凸顯高算力的應(yīng)該還在于DSP與AI專核。前文就已經(jīng)提到通用處理器部分跑的是操作系統(tǒng)、應(yīng)用、網(wǎng)絡(luò)連接等；DSP負(fù)責(zé)信號處理算法、音效；還有AI專核，即NPU專門用于本地ASR（自動語音識別）、NLP（自然語言識別）和TTS（Textto Speech）——都是在本地執(zhí)行的，也就是我們常說的邊緣計(jì)算。

R329的DSP部分是兩個(gè)HIFI 4核心——這是CadenceTensilica HiFi DSP系列IP中的一個(gè)，在家族定位中也屬于偏向高性能的DSP，在手機(jī)、車載、數(shù)字電視之類的產(chǎn)品上就有相對廣泛的應(yīng)用生態(tài)。HIFI 4實(shí)則本身就支持多通道基于對象的音頻、數(shù)字助手前端處理和基于神經(jīng)網(wǎng)絡(luò)的ASR，雖然我們知道全志選擇了將其中的部分特性交給NPU去完成。

從全志發(fā)言人了解到這兩個(gè)HIFI 4核的其中一個(gè)可用作“音頻前處理，如降噪、回音消除、喚醒詞識別”；一個(gè)則可用于“音頻后處理，實(shí)現(xiàn)音頻解碼、音效增強(qiáng)、錄音等”；配合片上的SRAM可實(shí)現(xiàn)“低功耗小模型雙麥降噪算法與小模型深度學(xué)習(xí)喚醒詞”。從這個(gè)描述可見R329的DSP也有典型的輕度AI計(jì)算屬性。雙核DSP的設(shè)計(jì)在全志的其他R系列產(chǎn)品中也相當(dāng)少見，這種設(shè)計(jì)本身也是為了針對部分音頻應(yīng)用場景提供專門的計(jì)算單元，獲得更好的能效比，與低功耗相關(guān)。有關(guān)低功耗的部分還將在后文提及。

不過似乎在全志看來，僅通用處理器+DSP（以及片上SRAM）的設(shè)計(jì)，在實(shí)現(xiàn)更高算力方面仍然不夠，所以R329還選配了一個(gè)專門的AI專用處理器：周易AIPU。周易AIPU是Arm中國研發(fā)的AI處理器IP。加AI專核在行業(yè)的同檔競品中似乎還是比較罕見的。

Arm中國此前有提到過AIPU相比DSP的優(yōu)勢，加上現(xiàn)在更多的AI專核也有考慮支持可編程性的問題，以適應(yīng)不同算法。Arm中國能夠利用自身優(yōu)勢來構(gòu)建AI軟件生態(tài)，而DSP雖然也能做AI處理，但不同架構(gòu)間始終沒有形成規(guī)模生態(tài)，對軟件開發(fā)而言并沒有那么友好。另外當(dāng)然也就是AI專核擁有一套AI和神經(jīng)網(wǎng)絡(luò)優(yōu)化的指令集，在算力和效率上，運(yùn)行一些專門的負(fù)載任務(wù)時(shí)也會更出色。

Arm中國2018年11月發(fā)布的“周易”平臺，主要包括兩部分，一是AIPU，二是Tengine框架。AIPU最大的特點(diǎn)就是擁有一套AI和神經(jīng)網(wǎng)絡(luò)優(yōu)化指令集，實(shí)現(xiàn)包括張量指令、實(shí)現(xiàn)定制硬件加速單元的特定AI指令，以及AI計(jì)算的標(biāo)量指令等，另外也支持用戶自定義硬件實(shí)現(xiàn)。

支持包括TensorFlow等各種通用框架也是當(dāng)代AI處理器的標(biāo)配了，Arm中國的資料提到AIPU“支持用戶一鍵式加載算法”，并且通過高效、靈活的張量處理單元（tensor execution cell)實(shí)現(xiàn)編程靈活性。

有關(guān)AIPU比較具體的效率，全志也提供了一份算力與功耗對比的數(shù)據(jù)，如上圖所示：這個(gè)程度的效率當(dāng)然并不令人意外，畢竟AIPU是AI專核。不過在性能上相較600MHz的HIFI 4有25 倍的優(yōu)勢仍然能夠表現(xiàn)出當(dāng)代開發(fā)AI專用處理器的價(jià)值和趨勢。需要注意的是，這里的對比限于單核性能與功耗。

據(jù)了解，全志R329是第一款公開發(fā)布的采用周易AIPU的芯片，得到了Arm中國的大力支持，說明雙方對未來NPU在智能音箱及人工智能其它領(lǐng)域的應(yīng)用是非?？粗氐摹Ｋ砸脖容^容易想見R329在面對競品時(shí)有著算力上的更大優(yōu)勢。

至于周易平臺除了AIPU之外的Tengine框架，它實(shí)際并不依賴于AIPU，應(yīng)該算是整個(gè)Arm AI生態(tài)的組成部分。它能夠?qū)ΜF(xiàn)有Arm架構(gòu)的芯片算力做提取，所以Tengine也支持Arm CPU、Mali GPU以及第三方AI單元，為AI應(yīng)用開發(fā)提供一個(gè)抽象的運(yùn)行時(shí)接口。全志針對R329自己也有為開發(fā)者提供全套軟件工具鏈，很大程度應(yīng)該也是在為周易生態(tài)添磚加瓦。

在更具體的應(yīng)用上，全志表示：“ASR、NLP、TTS等技術(shù)對專用AI處理器提出了迫切需求；傳統(tǒng)算法也逐漸被AI算法替代，國內(nèi)外均有發(fā)布，用深度學(xué)習(xí)做端到端的算法，相對于傳統(tǒng)降噪、回聲消除和關(guān)鍵詞識別算法，效果更優(yōu)，具有更高的識別率?！?/span>

所以全志也告訴我們，在R329用上DSP+NPU+2MBSRAM時(shí)，讓大模型雙麥降噪算法跑在DSP上，大模型深度學(xué)習(xí)喚醒詞跑在NPU上，能夠?qū)崿F(xiàn)低功耗特性。這應(yīng)該是權(quán)衡算力與功耗之后，一種相對合理的搭配方式。

高算力下的功耗

DSP+NPU的搭配，本身就是為了提供更到位的運(yùn)算效率，理論上自然能夠在達(dá)成相同算力的情況下達(dá)成明顯更低的功耗，前文Cortex-A7、HIFI 4 DSP以及AIPU的對比就提到專用核心不只是算力上的顯著領(lǐng)先，還在于相同算力下的AI計(jì)算單元功耗僅有通用處理器的幾十分之一。

不過在實(shí)現(xiàn)低功耗的問題上，R329集成在片上的2MB SRAM也是相當(dāng)重要的組成部分。這種在片上集成較大容量SRAM的設(shè)定，在全志以往的R系列產(chǎn)品及同檔競品中也并不多見——某些競品也有片上SRAM，但同檔的配置通常在256KB這樣的水平上。

較小的SRAM本身是無法運(yùn)行低功耗降噪算法+喚醒模型的，還是需要搭配更慢的DDR。在 SRAM的配置下，算法模型大部分算力可以放到SRAM中運(yùn)行。所以全志表示，R329的待機(jī)功耗為（1）內(nèi)置硬件VAD（語音活動檢測），做聲音檢測亦能實(shí)現(xiàn)30mW以下的待機(jī)；（2）DSP+RAM，實(shí)現(xiàn)小模型雙麥降噪算法、小模型深度學(xué)習(xí)喚醒詞，則為50mW待機(jī)功耗；（3）DSP+NPU+ SRAM，讓大模型雙麥降噪算法跑在DSP上，大規(guī)模深度學(xué)習(xí)喚醒詞跑在NPU上，實(shí)現(xiàn)60mW待機(jī)功耗。所以R329本身適用于做帶電池的方案。

最后，相關(guān)I/O部分實(shí)則也是值得一提的。R329集成了2路音頻DAC，可以直接外掛模擬功放實(shí)現(xiàn)立體聲，1.1聲道輸出，通過I2S則可以實(shí)現(xiàn)5.1/7.1聲道的音頻輸出；集成多路音頻ADC——相比競品有更強(qiáng)的音頻接口擴(kuò)展性，也就能夠提供多麥?zhǔn)耙舴桨浮?/span>

未來我們再觀察全志R329的市場表現(xiàn)，大致可以窺見智能語音解決方案的這種高算力是否會成為智能家居市場的趨勢。在全志看來，這個(gè)答案還是比較肯定的。全志在接受我們采訪時(shí)，就算力需求在時(shí)代變遷中的變化舉了個(gè)例子：

“比如剛開始通過MP3音頻格式實(shí)現(xiàn)multiroom，客戶對于這個(gè)功能很驚喜，但隨著客戶逐步習(xí)慣智能語音交互這一基本功能后，就提出智能音箱的音質(zhì)也要跟傳統(tǒng)音箱對標(biāo)，音頻的傳輸格式就從MP3大幅提升到了AAC，再疊加multiroom，這個(gè)功能對應(yīng)的對AP的算力要求就會出現(xiàn)倍數(shù)增加，因?yàn)槭且纛l功能的體驗(yàn)，還需要確保很高的實(shí)時(shí)同步性。”

“消費(fèi)者的要求越來越多，也越來越高，使得對于AP的規(guī)格和算力的要求也在同步提升，智能音箱在不斷增加新的功能，比如multiroom、TWS、DLNA、BT MESH、更震撼的音效；客戶逐步不再滿足簡單EQ和DRC的處理，虛擬低音、3D環(huán)繞立體聲等高階音效的需求不斷提出。”這大概就是R329出現(xiàn)的契機(jī)。

Strategy Analytics發(fā)布的研究報(bào)告指出，2019年全球智能音箱出貨量總計(jì)1.25億臺，比2018年增長了60%。在阿里、百度、小米等推動下，中國智能音箱的出貨量從2018年的2190萬增長到了2019年的5200萬，呈現(xiàn)井噴式增長。

全志科技即是語音主控芯片市場的參與者，智能音箱是該公司重點(diǎn)投入的一個(gè)領(lǐng)域。2018年全志在智能音箱的R系列產(chǎn)品已經(jīng)取得一定突破。2019年全志推出智能語音專用處理器 R328就有不錯(cuò)的市場成績。R329即是基于R328的升級產(chǎn)品，定位于高算力、低功耗的AI語音專用芯片。

全志發(fā)言人表示，2020年全志面向智能音箱會推出多款芯片。除R329之外，目前全志正在規(guī)劃下一代無屏智能音箱集成WiFi/BT RTOS系統(tǒng)芯片，面向低成本產(chǎn)品市場迭代需求；而針對帶屏音箱產(chǎn)品迭代，全志即將推出定位高性能的四核A53芯片R818。