張志良 孫曉虎 申亞坤

基于智能物聯(lián)的語音交互，可以為人們提供更加舒適便捷的家居服務(wù)，實(shí)現(xiàn)真正的智能家居。以下提到的系統(tǒng)開發(fā)利用計(jì)算機(jī)技術(shù)、數(shù)字技術(shù)和短消息等多種技術(shù)，并結(jié)合百度鴻鵠語言芯片，將其應(yīng)用到家居場景中，以實(shí)現(xiàn)基于Alot的智能語音交互助手，同時(shí)使用語音識(shí)別模塊改善整個(gè)系統(tǒng)，建立真正的智能家居，為人們提供更加舒適、便捷的服務(wù)。

與傳統(tǒng)物聯(lián)網(wǎng)（IoT）相比，智能物聯(lián)最大的不同就是：前者是人說出自己的需求讓機(jī)器做，后者是機(jī)器發(fā)現(xiàn)人類的需求主動(dòng)做，這不僅僅是錦上添花了，一旦接入AIoT以后，用戶的生活方式將會(huì)發(fā)生改變。隨著科學(xué)技術(shù)的發(fā)展，IoT在遠(yuǎn)去，AIoT在崛起，AIoT智能語音交互機(jī)器人的本質(zhì)和目標(biāo)就是為人提供存在推理、分析并作出自主決策的智能家居?；谡Z音識(shí)別、語音合成、自然語音理解等技術(shù)，賦予設(shè)備“會(huì)聽”“會(huì)分析”“會(huì)說”的功能，讓用戶和設(shè)備進(jìn)行智能的人機(jī)交互。

百度鴻鵠語音芯片提供基礎(chǔ)的信號(hào)處理和喚醒能力，提供完整的語音處理硬件模組方案輸出，通過SDK輸出包括遠(yuǎn)場信號(hào)處理、語音喚醒、廠商定制喚醒，語音識(shí)別、語義理解和語音合成等完整的AIoT語音解決方案，通過百度鴻鵠語音芯片的識(shí)別，最后控制電器完成家居智能化。

鴻鵠語音芯片

支持多達(dá)6路的麥克陣列語音信號(hào)輸入，并支持傳統(tǒng)數(shù)字信號(hào)處理時(shí)的雙聲道立體聲回聲消除、聲源定位和波束形成等?；诎俣阮I(lǐng)先的Deep Peak和Deep CNN語音喚醒技術(shù)，實(shí)現(xiàn)復(fù)雜內(nèi)外噪音場景下的高精準(zhǔn)喚醒，單日誤報(bào)次數(shù)不大于1次。默認(rèn)支持無網(wǎng)環(huán)境下智能物聯(lián)場景的語音識(shí)別，并支持車載場景下命令詞識(shí)別。

開發(fā)板ESP32-Korvo-DU1906

ESP32-Korvo-DU1906搭載百度鴻鵠語音芯片，采用2 mic設(shè)計(jì)，能夠?qū)崿F(xiàn)5 m準(zhǔn)確拾音，3 m內(nèi)85 dB播放打斷喚醒功能，以及低于1天1次的誤報(bào)。它搭載了基于百度深度學(xué)習(xí)技術(shù)Deep Peak的高性能喚醒引擎和基于復(fù)數(shù)CNN的語音增強(qiáng)和聲學(xué)建模一體化建模技術(shù)，大幅提升了語音交互體驗(yàn)。ESP32-Korvo-DU1906基于百度云端識(shí)別SMLTA模型，大幅度提升語音識(shí)別精度，同時(shí)還支持部分方言識(shí)別及中英文混合識(shí)別。實(shí)現(xiàn)端側(cè)全鏈路語音交互，與云端無縫打通，使語音操作方便快捷。

語音控制智能設(shè)備的運(yùn)行流程如下：

拾音：通過單麥或麥克風(fēng)陣列準(zhǔn)確獲取到用戶語音信息；

自動(dòng)語音識(shí)別：將前端拾音的語音信息轉(zhuǎn)化為文本信息；

自然語言處理：將文本信息轉(zhuǎn)化為機(jī)器語言；

平臺(tái)接入：通過各IoT平臺(tái)，接入不同廠商的設(shè)備，下達(dá)控制信息；

語音合成：帶有Speaker的設(shè)備結(jié)束控制操作后，播報(bào)結(jié)果語音，完成閉環(huán)；

最后通過語音完成對(duì)設(shè)備的操作，完成開燈，關(guān)燈，開啟風(fēng)扇，抽水泵等操作。

終端在接收到本地語音信息后，通過AI鏈?zhǔn)秸Z音語義服務(wù)將語音信息發(fā)送到百度語音云進(jìn)行識(shí)別，再將云端反饋的數(shù)據(jù)解析并與本地設(shè)置指令匹配，獲得正確的控制指令。

通過服務(wù)器和網(wǎng)關(guān)將這些指令轉(zhuǎn)發(fā)給相應(yīng)的設(shè)備進(jìn)行指令的執(zhí)行，可隨時(shí)隨地對(duì)家庭內(nèi)部設(shè)備進(jìn)行語音控制。

嵌入式便攜語音控制器在家庭內(nèi)部通過家庭網(wǎng)關(guān)融入到智能家居無線傳感網(wǎng)中，終端在本地獲取語音信息后進(jìn)行識(shí)別并將相應(yīng)的控制指令轉(zhuǎn)發(fā)給網(wǎng)關(guān)，經(jīng)由網(wǎng)關(guān)和服務(wù)器轉(zhuǎn)發(fā)給相應(yīng)的設(shè)備進(jìn)行動(dòng)作指令的執(zhí)行。

在鏈路調(diào)用上，為需要全套解決方案的客戶提供獨(dú)特的鏈?zhǔn)秸Z音語義服務(wù)，具有一次調(diào)用三重結(jié)果的超高性能表現(xiàn)。同時(shí)也可以為具備一定基礎(chǔ)的客戶提供單項(xiàng)的AI能力拆解調(diào)用。鏈路支持底層與百度云IoT平臺(tái)直接打通，完美實(shí)現(xiàn)AI與IoT的有機(jī)融合。

整個(gè)系統(tǒng)硬件主要包括開發(fā)板ESP32-Korvo-DU1906，直流電機(jī)以及家居模型，通過內(nèi)置的AIoT語音模組ESP32-DU1906和百度云端完成了智能的語音交互。