楊 都 張光旭 賴東鋒 葉鐵英 黃佳星

（珠海格力電器股份有限公司 珠海 519070）

引言

人作為空調(diào)設(shè)備人機(jī)交互的主體，用戶體驗(yàn)的好壞、控制便捷性高低直接決定產(chǎn)品的受歡迎程度。傳統(tǒng)空調(diào)的控制方式主要采用遙控器、線控器或是手機(jī)APP進(jìn)行控制，仍需依賴特定設(shè)備進(jìn)行人工觸發(fā)式操控[1]，在智能操控、隨時(shí)隨心使用空調(diào)方面存在一定不足，影響了用戶體驗(yàn)的提升以及空調(diào)智能化程度的提高。

隨著語音識(shí)別技術(shù)的發(fā)展以及智能家居[2]場(chǎng)景的不斷完善，基于語音識(shí)別的智能控制器產(chǎn)品在家電領(lǐng)域的應(yīng)用取得了飛速發(fā)展。智能語音空調(diào)[3]已成為行業(yè)發(fā)展趨勢(shì)并逐步擁有更高的市場(chǎng)占有率。

本文以空調(diào)控制技術(shù)為基礎(chǔ)，結(jié)合智能語音識(shí)別技術(shù)以及嵌入式技術(shù)，完成智能語音控制系統(tǒng)的設(shè)計(jì)，實(shí)現(xiàn)空調(diào)產(chǎn)品零觸摸、全語音化的控制，全面提升空調(diào)產(chǎn)品的智能化程度和用戶體驗(yàn)。

1 總體設(shè)計(jì)

1.1 系統(tǒng)原理及功能

本系統(tǒng)基于ARM-Linux軟硬件平臺(tái)，結(jié)合專業(yè)語音識(shí)別引擎及空調(diào)控制技術(shù)，實(shí)現(xiàn)空調(diào)的智能語音控制。系統(tǒng)主要由基于ARM Cortex-A35的硬件平臺(tái)[4]、基于嵌入式Linux的軟件平臺(tái)以及語音識(shí)別處理平臺(tái)[5]構(gòu)成，結(jié)合HBS通訊技術(shù)、WiFi通訊技術(shù)實(shí)現(xiàn)空調(diào)的智能控制。

系統(tǒng)總體框如圖1所示。

基于ARM Cortex-A35的硬件平臺(tái)主要由ARM處理器模塊、MIC語音輸入、Speaker語音輸出、LCD顯示模塊、HBS通訊模塊和WiFi通訊模塊構(gòu)成，實(shí)現(xiàn)語音采集、輸出及通訊控制，是整個(gè)系統(tǒng)的硬件支撐。

圖1 系統(tǒng)總體框圖

基于嵌入式Linux的軟件平臺(tái)主要由語音識(shí)別處理APP、空調(diào)控制APP和WiFi通訊處理APP構(gòu)成，實(shí)現(xiàn)語音識(shí)別算法處理、語義分析處理、空調(diào)控制邏輯處理以及遠(yuǎn)程控制等功能。APP之間主要通過UDS（Unix Domain Socket）通訊，APP內(nèi)部主要通過多線程技術(shù)實(shí)現(xiàn)數(shù)據(jù)交互。

語音識(shí)別處理平臺(tái)主要通過云知聲語音識(shí)別引擎，實(shí)現(xiàn)系統(tǒng)的語音喚醒、語音識(shí)別和語音合成。語音識(shí)別支持離線和在線識(shí)別功能，在線識(shí)別通過WiFi通訊連接語義服務(wù)器，實(shí)現(xiàn)復(fù)雜語音控制命令的識(shí)別，達(dá)到更為智能的控制效果。

本系統(tǒng)主要實(shí)現(xiàn)如下功能：

1）實(shí)現(xiàn)空調(diào)開機(jī)和關(guān)機(jī)；

2）實(shí)現(xiàn)空調(diào)模式轉(zhuǎn)換，包括制冷、制熱、除濕、送風(fēng)和自動(dòng)等；

3）實(shí)現(xiàn)空調(diào)溫度設(shè)定，包括16-30度調(diào)節(jié)；

4）實(shí)現(xiàn)空調(diào)風(fēng)速設(shè)定，包括低速、中速、高速、自動(dòng)風(fēng)速等；

5）實(shí)現(xiàn)空調(diào)掃風(fēng)控制，包括上下定格掃風(fēng)、左右掃風(fēng)等；

6）實(shí)現(xiàn)其他特殊功能，例如播放音樂、天氣查詢、新聞速遞等服務(wù)。

1.2 系統(tǒng)硬件設(shè)計(jì)

為滿足系統(tǒng)功能和性能設(shè)計(jì)要求，同時(shí)綜合考慮用戶體驗(yàn)和成本，對(duì)硬件各模塊進(jìn)行了詳細(xì)的選型和設(shè)計(jì)：

1）ARM處理器模塊[6]：系統(tǒng)采用基于ARM Cortex-A35內(nèi)核的RK3308處理器，四核1 GHz頻率的高性能滿足實(shí)時(shí)離線語音識(shí)別算法的需求。主芯片內(nèi)置音頻CODEC和ADC/DAC，省去部分外圍硬件成本，同時(shí)也提高了硬件集成度。同時(shí)，為滿足支持多喚醒詞和命令詞，特選用32 M DDRII內(nèi)存和128 M Flash滿足計(jì)算和存儲(chǔ)要求，系統(tǒng)設(shè)計(jì)支持喚醒詞32個(gè)，離線命令詞160條，滿足家用空調(diào)及中小型中央空調(diào)的語音控制需求。

2）語音輸入輸出模塊：硬件平臺(tái)采用雙麥克風(fēng)陣列左右排布，并進(jìn)行mic密封性結(jié)構(gòu)設(shè)計(jì)，配合雙麥降噪技術(shù)，最遠(yuǎn)實(shí)現(xiàn)五米的高精度語音識(shí)別，綜合準(zhǔn)確率可達(dá)90 %以上。采用高性能揚(yáng)聲器配合智能功放芯片，配合mic實(shí)現(xiàn)三角形陣列排布，最大限度減小底噪，實(shí)現(xiàn)語音識(shí)別的準(zhǔn)確度及播報(bào)的高保真效果。

3）LCD顯示模塊：采用一體化液晶面板設(shè)計(jì)，通過IIC接口實(shí)現(xiàn)液晶的驅(qū)動(dòng)，實(shí)現(xiàn)空調(diào)開關(guān)、模式、風(fēng)速等狀態(tài)信息的顯示，語音識(shí)別狀態(tài)的提示，喚醒詞選擇等功能，在保留傳統(tǒng)空調(diào)控制器功能的同時(shí)也增強(qiáng)了語音控制系統(tǒng)的人機(jī)交互便捷性。

4）通訊模塊：本系統(tǒng)通過HBS(HomeBus)總線與空調(diào)內(nèi)機(jī)進(jìn)行通訊，HBS通訊在商用空調(diào)領(lǐng)域應(yīng)用廣泛，可以通過兩芯雙絞線方便的實(shí)現(xiàn)無極性通信及供電，無需單獨(dú)走線供電。系統(tǒng)采用MM1192芯片實(shí)現(xiàn)HBS總線的構(gòu)建，具備成本低、可靠性和實(shí)時(shí)性高的特點(diǎn)，保證了語音命令和空調(diào)控制的穩(wěn)定、高效交互。同時(shí)，為滿足在線語音識(shí)別及OTA等功能，通訊模塊還包含WiFi模組，實(shí)現(xiàn)無線數(shù)據(jù)傳輸功能，通過RTL8188WiFi芯片建立網(wǎng)絡(luò)連接，滿足系統(tǒng)與語義服務(wù)器、OTA服務(wù)器進(jìn)行交互的需求。

系統(tǒng)硬件框圖如圖2所示。

圖2 系統(tǒng)硬件框圖

1.3 系統(tǒng)軟件設(shè)計(jì)

系統(tǒng)軟件主要完成嵌入式Linux系統(tǒng)的移植、對(duì)應(yīng)硬件接口驅(qū)動(dòng)的實(shí)現(xiàn)以及應(yīng)用APP的實(shí)現(xiàn)。

1）嵌入式Linux移植：嵌入式Linux內(nèi)核基于Rockchip Buildroot Linux SDK進(jìn)行裁剪和移植，Buildroot是 Linux 平臺(tái)上一個(gè)開源的嵌入式 Linux 系統(tǒng)自動(dòng)構(gòu)建框架，由Makefile 腳本和 Kconfig 配置文件構(gòu)成，通過Buildroot 配置，實(shí)現(xiàn)Linux 系統(tǒng)的快速生成。

Linux系統(tǒng)版本采用V4.4，主要實(shí)現(xiàn)LCD、Audio、Flash、DDR、Input、電源管理、wifi和USB等驅(qū)動(dòng)的移植，ALSA、glibc、DBUS等基礎(chǔ)lib的移植，以及滿足應(yīng)用、調(diào)試等需求的busybox、supplicant、voice assistant、OTA等應(yīng)用模塊的移植。

2）語音識(shí)別處理與空調(diào)控制應(yīng)用軟件：語音識(shí)別處理APP實(shí)現(xiàn)語音的采集、命令識(shí)別和語音播報(bào)，空調(diào)控制APP負(fù)責(zé)通過HBS總線根據(jù)語音識(shí)別結(jié)果向空調(diào)發(fā)送控制命令，并反饋控制結(jié)果。

語音識(shí)別APP和空調(diào)控制APP之間采用 UDS(Unix Domain Socket)方式進(jìn)行應(yīng)用程序間通訊，二者各有一個(gè)服務(wù)端和客戶端，連接成功后按規(guī)定格式進(jìn)行應(yīng)用間通訊，通訊數(shù)據(jù)包采用JSON格式傳輸。

語音識(shí)別APP通過UDS 把JSON控制命令發(fā)送給到空調(diào)控制APP，JSON命令包括空調(diào)的基本控制內(nèi)容，空調(diào)控制APP根據(jù)語音識(shí)別APP發(fā)送過來的JSON內(nèi)容，進(jìn)行解析控制，并把需要播放的提示內(nèi)容通過UDS 發(fā)送給語音識(shí)別APP，語音識(shí)別APP收到該JSON內(nèi)容，解析后播放對(duì)應(yīng)的內(nèi)容。

語音識(shí)別與控制示意圖如圖3所示。

3）WIFI通訊處理APP：WiFi通訊模塊主要實(shí)現(xiàn)在線語音識(shí)別時(shí)，與語義服務(wù)器的交互，語音識(shí)別app將采集到的語音字段發(fā)送給語義服務(wù)器進(jìn)行語義分析與識(shí)別，語義服務(wù)器將識(shí)別結(jié)果反饋給語音APP，并通過UDS通訊與空調(diào)控制APP進(jìn)行交互，從而實(shí)現(xiàn)智能控制功能。

在線語音控制示意如圖4所示。

同時(shí)，WiFi模塊還負(fù)責(zé)實(shí)現(xiàn)系統(tǒng)軟件的OTA升級(jí)、廠家重要信息推送等功能。

1.4 語音識(shí)別處理設(shè)計(jì)

本系統(tǒng)采用云知聲語音識(shí)別引擎，通過內(nèi)置算法模塊實(shí)現(xiàn)離線語音識(shí)別，以及云端語義服務(wù)器實(shí)現(xiàn)在線語音識(shí)別服務(wù)。

圖4 在線語音控制示意圖

云知聲語音引擎通過回聲消除、混響抑制、空域?yàn)V波等DSP前端處理技術(shù)實(shí)現(xiàn)清晰語音獲取，然后通過語音識(shí)別和語義理解，實(shí)現(xiàn)自然語言命令的解析，并通過TTS合成技術(shù)，實(shí)現(xiàn)語音處理APP的軟件功能。關(guān)于語音識(shí)別處理算法屬云知聲核心技術(shù)，本系統(tǒng)屬于應(yīng)用范疇，不在此詳述。

為了滿足空調(diào)領(lǐng)域的智能應(yīng)用需求，本系統(tǒng)針對(duì)空調(diào)特別是中央空調(diào)一拖多的特點(diǎn)，聯(lián)合云知聲進(jìn)行了如下設(shè)計(jì)，以滿足非特定人、非特定房間、非特定距離的識(shí)別控制需求：

1）多喚醒詞設(shè)計(jì)：針對(duì)一個(gè)家庭有多個(gè)房間多臺(tái)空調(diào)的情況，如使用1個(gè)喚醒詞，存在多個(gè)房間同時(shí)被喚醒和控制的情況，本系統(tǒng)預(yù)置8個(gè)喚醒詞供用戶選擇，實(shí)現(xiàn)每個(gè)房間具有各自的喚醒詞，解決其他房間被誤控制的問題。

2）隱含命令詞設(shè)計(jì)：由于離線命令詞為固定組合，存在用戶記不住命令詞或是命令詞順序顛倒而導(dǎo)致無法便捷控制的問題，本系統(tǒng)對(duì)離線命令詞進(jìn)行了擴(kuò)展，支持部分隱含命令詞的使用，通過不同組合、不同順序、相近含義的命令詞設(shè)計(jì)，減輕用戶的記憶壓力，同時(shí)提升用戶體驗(yàn)。

3）多知識(shí)領(lǐng)域設(shè)計(jì)：針對(duì)空調(diào)用戶的使用特性，在在線識(shí)別模式下，增加了在天氣預(yù)報(bào)、音樂、新聞速遞、限行情況等領(lǐng)域的限定，滿足空調(diào)用戶在日常生活中的識(shí)別需求，同時(shí)也提升在線識(shí)別的服務(wù)精度和體驗(yàn)。

4）多級(jí)喚醒設(shè)計(jì)：針對(duì)中央空調(diào)集中控制的需求，實(shí)現(xiàn)一個(gè)語言控制系統(tǒng)同時(shí)控制多臺(tái)空調(diào)的情況，本系統(tǒng)設(shè)計(jì)了多級(jí)喚醒模式，通過第一級(jí)喚醒命令，使系統(tǒng)進(jìn)入語言識(shí)別狀態(tài)，通過第二級(jí)喚醒實(shí)現(xiàn)目標(biāo)空調(diào)的選擇，之后進(jìn)入語音命令輸入狀態(tài)，達(dá)到準(zhǔn)確控制用戶所期望房間空調(diào)的目的。

2 系統(tǒng)測(cè)試與驗(yàn)證

本系統(tǒng)作為集成語音功能的空調(diào)控制系統(tǒng)，在保證空調(diào)控制功能完整的前提下，語音識(shí)別功能也需達(dá)到較高的準(zhǔn)確率，才能滿足設(shè)計(jì)和使用的需求。

根據(jù)語音識(shí)別功能的使用環(huán)境和性能要求，選用了安靜、有人聲環(huán)境和電視聲環(huán)境三種不同環(huán)境，5 m的距離進(jìn)行測(cè)試驗(yàn)證，分別選取男聲和女聲不同音色，10個(gè)人共260條語音命令，對(duì)喚醒率、識(shí)別率和誤喚醒率三個(gè)指標(biāo)進(jìn)行了考評(píng)，測(cè)試結(jié)果如表1所示。

表1 語音識(shí)別準(zhǔn)確性測(cè)試結(jié)果統(tǒng)計(jì)表

由表1可知，在不同的環(huán)境噪聲條件下，系統(tǒng)語音識(shí)別率均達(dá)到90 %以上，滿足設(shè)計(jì)指標(biāo)要求。

3 結(jié)語

本文在ARM-Linux的軟硬件平臺(tái)上，采用語音識(shí)別技術(shù)、嵌入式和通訊技術(shù)，將空調(diào)的控制與語音應(yīng)用相結(jié)合，實(shí)現(xiàn)了空調(diào)產(chǎn)品語音智能控制的目的。本系統(tǒng)真正意義上滿足了用戶全場(chǎng)景零觸摸、全語音化的使用體驗(yàn)，實(shí)現(xiàn)非特定人自然語音高達(dá)90 %以上識(shí)別率的效果，目前該系統(tǒng)相關(guān)成果已應(yīng)用在產(chǎn)品中，性能穩(wěn)定、體驗(yàn)良好。相信隨著智能家居和物聯(lián)網(wǎng)應(yīng)用場(chǎng)景的不斷成熟,語音識(shí)別技術(shù)、AI技術(shù)和通訊技術(shù)的不斷進(jìn)步，智能家電的語音控制系統(tǒng)將會(huì)不斷更新優(yōu)化，用戶體驗(yàn)不斷升級(jí)，實(shí)現(xiàn)更為智能和友好的交互效果。