王志剛 王海濤 佘 琪 史雪松 張益民

1(英特爾中國(guó)研究院 北京 100080) 2(英特爾亞太研發(fā)有限公司 上海 200241)zhi.gang.wang@intel.com)

Fig. 1 Architecture of edge computing圖1 邊緣計(jì)算的總體架構(gòu)

2017年，中國(guó)信息通信研究院、IDC國(guó)際數(shù)據(jù)集團(tuán)和英特爾共同發(fā)布了《人工智能時(shí)代的機(jī)器人3.0新生態(tài)》白皮書(shū)[1]，其中把機(jī)器人的發(fā)展歷程劃分為3個(gè)時(shí)代，分別稱(chēng)之為機(jī)器人1.0、機(jī)器人2.0、機(jī)器人3.0.機(jī)器人3.0預(yù)計(jì)將在2020年完成，在此之后，機(jī)器人將進(jìn)入4.0時(shí)代[2]，機(jī)器人將具備更高智能，在更多領(lǐng)域(尤其是服務(wù)機(jī)器人)中得到普及。但是目前機(jī)器人的市場(chǎng)仍以工業(yè)機(jī)器人為主體,主要以完成重復(fù)的、明確的任務(wù)為主.而服務(wù)機(jī)器人雖然發(fā)展迅速，但離大規(guī)模普及應(yīng)用還很遠(yuǎn).這主要是由于現(xiàn)有機(jī)器人系統(tǒng)離機(jī)器人4.0提出的自主服務(wù)的目標(biāo)還有相當(dāng)?shù)木嚯x，尚不能滿(mǎn)足用戶(hù)期望.

機(jī)器人系統(tǒng)中還有很多難點(diǎn)亟待解決.本文先介紹有望實(shí)現(xiàn)機(jī)器人4.0目標(biāo)的云邊端融合的機(jī)器人系統(tǒng)架構(gòu)，再對(duì)其中涉及的的3個(gè)關(guān)鍵技術(shù):持續(xù)學(xué)習(xí)、時(shí)空智能和邊緣計(jì)算進(jìn)行整理和討論，以激發(fā)更多研究和思考，共同推動(dòng)機(jī)器人4.0的進(jìn)步.

1 云邊端融合的機(jī)器人系統(tǒng)架構(gòu)

1.1 云邊端融合的機(jī)器人系統(tǒng)演進(jìn)

機(jī)器人的最初設(shè)計(jì)是在機(jī)器人本體中集成了獨(dú)立的計(jì)算系統(tǒng).2010年提出的云機(jī)器人概念引入了云端大腦，實(shí)現(xiàn)機(jī)器人融合基礎(chǔ)設(shè)施和共享服務(wù)的優(yōu)點(diǎn)[3].相比于獨(dú)立的機(jī)器人本體，連接云端大腦后的機(jī)器人擁有4個(gè)核心優(yōu)勢(shì)：1)信息和知識(shí)共享.很多機(jī)器人都通過(guò)統(tǒng)一的云端大腦控制，云端大腦可以匯集來(lái)自所有連接機(jī)器人的視覺(jué)、語(yǔ)音和環(huán)境信息，經(jīng)云端大腦智能分析處理后的數(shù)據(jù)信息又可以被所有連接機(jī)器人使用.利用云服務(wù)器，各機(jī)器人本體獲取和處理的信息可以保持最新，并安全備份.2)平衡計(jì)算負(fù)載.利用云端平衡計(jì)算負(fù)載可以降低機(jī)器人本體的硬件需求，在保證能力的同時(shí)，讓機(jī)器人更輕、更小、更便宜.3)協(xié)同合作.通過(guò)云端大腦，機(jī)器人本體不再獨(dú)立工作，多機(jī)器人可以協(xié)同工作.4)獨(dú)立于本體持續(xù)升級(jí).機(jī)器人可以獨(dú)立于本體持續(xù)升級(jí).不再受限于本體硬件設(shè)備的能力.

IoT應(yīng)用的快速發(fā)展，使得大量數(shù)據(jù)在網(wǎng)絡(luò)邊緣產(chǎn)生，推動(dòng)了邊緣計(jì)算的產(chǎn)生和發(fā)展.邊緣計(jì)算的提出始于4G時(shí)代，快速發(fā)展于5G時(shí)代.如圖1所示，邊緣計(jì)算將計(jì)算和存儲(chǔ)資源部署到網(wǎng)絡(luò)邊緣，不僅可以減少核心網(wǎng)和互聯(lián)網(wǎng)上的流量，還可以顯著降低傳輸時(shí)延，提高網(wǎng)絡(luò)可靠性.

隨著機(jī)器人應(yīng)用的越發(fā)普及，人們對(duì)機(jī)器人實(shí)時(shí)響應(yīng)的需求也越來(lái)越多,比如實(shí)時(shí)進(jìn)行的推理、場(chǎng)景理解、操控等.而互聯(lián)網(wǎng)和數(shù)據(jù)中心的時(shí)延，一般情況下由于地理位置分布廣和未針對(duì)低時(shí)延優(yōu)化，從核心網(wǎng)網(wǎng)關(guān)到互聯(lián)網(wǎng)數(shù)據(jù)中心可在幾十到幾百毫秒之間.在5G中，其核心網(wǎng)引入了分布式網(wǎng)關(guān)，網(wǎng)關(guān)可以下沉到基站附近，邊緣服務(wù)器可以直接連接到分布式網(wǎng)關(guān)上，大大降低網(wǎng)絡(luò)的端到端時(shí)延.因此，機(jī)器人4.0將云邊端融合的機(jī)器人系統(tǒng)架構(gòu)作為一個(gè)關(guān)鍵支撐.邊緣計(jì)算的引入將增強(qiáng)機(jī)器人云端大腦的實(shí)時(shí)響應(yīng)能力，同時(shí)解決終端能力受限和云計(jì)算的實(shí)時(shí)響應(yīng)的問(wèn)題.邊緣計(jì)算和云計(jì)算的結(jié)合，將突破終端的計(jì)算能力和存儲(chǔ)的限制，提高人工智能(AI)算法的訓(xùn)練和推理能力，比如提升精度和降低訓(xùn)練時(shí)間.同時(shí)將大部分機(jī)器人的智能布署在邊緣和云端，通過(guò)協(xié)作和現(xiàn)場(chǎng)訓(xùn)練，持續(xù)提升機(jī)器人智能水平.

1.2 云邊端的無(wú)縫協(xié)同計(jì)算

當(dāng)前絕大多數(shù)機(jī)器人3.0系統(tǒng)采用以機(jī)器人本體計(jì)算為主，云端處理非實(shí)時(shí)、大計(jì)算量的任務(wù)為輔的系統(tǒng)架構(gòu).為了能夠精準(zhǔn)地感知、理解環(huán)境以服務(wù)于人機(jī)交互，機(jī)器人系統(tǒng)通常集成了大量的傳感器，因而機(jī)器人系統(tǒng)會(huì)產(chǎn)生大量的數(shù)據(jù).比如采用了高清攝像頭、深度攝像頭、麥克風(fēng)陣列以及激光雷達(dá)等傳感器的機(jī)器人，每秒鐘可產(chǎn)生超過(guò)250 MB數(shù)據(jù).如此海量的數(shù)據(jù)全部傳輸?shù)皆贫颂幚砑炔滑F(xiàn)實(shí)，也不高效.因此，需要將數(shù)據(jù)處理合理地分布在云-邊-端上.

另一方面，完成感知和理解的AI算法也非常復(fù)雜.機(jī)器人所使用的AI算法通常需要很強(qiáng)的算力，例如Faster RCNN算法在GPU上可以達(dá)到5fps的處理能力，但是GPU的功耗達(dá)到200W以上，機(jī)器人本體很難承受，從計(jì)算成本而言同樣也非常昂貴.雖然機(jī)器人本體計(jì)算平臺(tái)的計(jì)算能力仍在不斷提高，但是相對(duì)于AI算法的需求依然有限.為了完成機(jī)器人的計(jì)算需求，需要在云和邊緣側(cè)提供算力支持，以實(shí)現(xiàn)在大規(guī)模機(jī)器人應(yīng)用場(chǎng)景下更有效、更經(jīng)濟(jì)的計(jì)算力部署.

在通常情況下，云端可以提供高性能的計(jì)算以及通用知識(shí)的存儲(chǔ)，邊緣側(cè)可以更有效地處理數(shù)據(jù)，為終端設(shè)備提供算力支持，并在邊緣范圍內(nèi)實(shí)現(xiàn)設(shè)備間協(xié)同和共享，機(jī)器人終端完成實(shí)時(shí)地操作和處理等基礎(chǔ)功能.然而由于機(jī)器人的業(yè)務(wù)需求多種多樣，協(xié)同計(jì)算的部署也不是一成不變的，機(jī)器人4.0系統(tǒng)還要支持動(dòng)態(tài)的任務(wù)遷移機(jī)制，合理地根據(jù)業(yè)務(wù)需求和現(xiàn)場(chǎng)情況將任務(wù)分配到云-邊-端，實(shí)現(xiàn)云-邊-端的無(wú)縫協(xié)同計(jì)算.

云-邊-端一體化為機(jī)器人提供多樣化、規(guī)?；姆?wù)(計(jì)算、存儲(chǔ))平臺(tái).這樣的平臺(tái)可以幫助機(jī)器人獲得更高的智能，例如持續(xù)學(xué)習(xí)的能力、時(shí)空智能等.同時(shí)為了更好地支撐這些能力，云邊端的系統(tǒng)(尤其是邊緣計(jì)算技術(shù))也需要不斷提高和演進(jìn).后續(xù)章節(jié)將對(duì)持續(xù)學(xué)習(xí)、時(shí)空智能和邊緣計(jì)算這3項(xiàng)關(guān)鍵技術(shù)進(jìn)行整理和討論.

2 持續(xù)學(xué)習(xí)

2.1 持續(xù)學(xué)習(xí)是什么

過(guò)去的人工智能技術(shù)重在算法模型的比拼，如今則更要依賴(lài)商業(yè)場(chǎng)景的洞察、專(zhuān)家團(tuán)隊(duì)的技術(shù)積累，將AI和行業(yè)實(shí)際需求進(jìn)行結(jié)合，產(chǎn)生真正的應(yīng)用和經(jīng)濟(jì)價(jià)值.其中，基于特定場(chǎng)景的部署、架構(gòu)的建設(shè)以及其他數(shù)字化技術(shù)聯(lián)動(dòng)的差異，業(yè)內(nèi)已經(jīng)將AI與IoT結(jié)合形成AIoT，例如小米的智能家居產(chǎn)品；將AI與云平臺(tái)能力結(jié)合，例如百度的飛槳、無(wú)人駕駛、阿里的云計(jì)算驅(qū)動(dòng)的智能城市、騰訊的泛娛樂(lè)業(yè)務(wù)；將AI與邊緣計(jì)算深入融合，例如英特爾的云-邊-端融合的自主系統(tǒng)方案.這些與產(chǎn)業(yè)全面聯(lián)通相結(jié)合的AI+產(chǎn)業(yè)等發(fā)展路徑，將會(huì)共促人工智能和實(shí)體經(jīng)濟(jì)的深入融合.

作為人工智能浪潮內(nèi)最為突出的技術(shù)貢獻(xiàn)之一，深度神經(jīng)網(wǎng)絡(luò)在固定任務(wù)的表現(xiàn)已經(jīng)得到了廣泛的認(rèn)可，其在互聯(lián)網(wǎng)，泛工業(yè)，諸如能源、交通、制造業(yè)等領(lǐng)域的應(yīng)用范圍和效果都得到了前所未有的突破.訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)是一個(gè)靜態(tài)的知識(shí)實(shí)體，但是在擴(kuò)展此知識(shí)容量的過(guò)程中通常會(huì)導(dǎo)致已學(xué)習(xí)任務(wù)的災(zāi)難性遺忘.比如，在計(jì)算機(jī)視覺(jué)應(yīng)用中，用神經(jīng)網(wǎng)絡(luò)算法去識(shí)別日常生活用品，當(dāng)新的用品需識(shí)別時(shí)，如果對(duì)深度神經(jīng)網(wǎng)絡(luò)做出微調(diào)(fine-tuning)，對(duì)舊的、早先訓(xùn)練過(guò)的日常物品的識(shí)別率就會(huì)顯著降低[4].目前的業(yè)內(nèi)解決方案主要有2種：1)多模型多任務(wù)，也就是每個(gè)任務(wù)需要存儲(chǔ)一個(gè)模型.這是在不考慮功耗、計(jì)算、存儲(chǔ)等資源限制情況下的妥協(xié)選擇.但是實(shí)際的諸如計(jì)算機(jī)視覺(jué)的任務(wù)，往往有很多相似可以共享的知識(shí)，冗余的模型設(shè)計(jì)帶來(lái)的就是計(jì)算和存儲(chǔ)量、部署成本的陡增.2)用所有需要學(xué)習(xí)的任務(wù)數(shù)據(jù)來(lái)調(diào)整神經(jīng)網(wǎng)絡(luò)，這種方案對(duì)于部署周期短、更新迭代快的落地場(chǎng)景通常是不適用的，因?yàn)闀r(shí)間上往往來(lái)不及，消耗的人力成本也非常高，很難作為一個(gè)長(zhǎng)期的商業(yè)上可行的解決方案.

持續(xù)學(xué)習(xí)將主流深度學(xué)習(xí)的范式轉(zhuǎn)變成動(dòng)態(tài)針對(duì)多項(xiàng)任務(wù)的過(guò)程，通過(guò)盡量少的網(wǎng)絡(luò)模組的協(xié)同工作可以不斷積累多項(xiàng)任務(wù)的知識(shí)，而無(wú)需從頭開(kāi)始進(jìn)行再訓(xùn)練，旨在減輕遺忘，快速進(jìn)行知識(shí)的有效遷移.例如，對(duì)于計(jì)算機(jī)視覺(jué)問(wèn)題中的持續(xù)學(xué)習(xí)能力，主要關(guān)注如何在多個(gè)連續(xù)視覺(jué)任務(wù)中保證算法的穩(wěn)定性，如何有效克服神經(jīng)網(wǎng)絡(luò)中災(zāi)難性遺忘的問(wèn)題，如何將舊任務(wù)的知識(shí)快速遷移到新的任務(wù)中，以及如何在硬件受限情況下優(yōu)化持續(xù)學(xué)習(xí)的綜合表現(xiàn).圖2比較了持續(xù)學(xué)習(xí)與其他機(jī)器學(xué)習(xí)方法的主要區(qū)別，持續(xù)學(xué)習(xí)在實(shí)用性和生物智能性2個(gè)維度上都明顯優(yōu)于其他方法.

Fig. 2 Continual learning: Towards both interpretable and practical learning method圖2 持續(xù)學(xué)習(xí)：通向可解釋性和實(shí)用性并存的學(xué)習(xí)方法

2.2 持續(xù)學(xué)習(xí)與邊緣計(jì)算的關(guān)系

邊緣計(jì)算包括一系列使用機(jī)器學(xué)習(xí)進(jìn)行推演的嵌入式設(shè)備.它們具有數(shù)據(jù)采集、分析的基本能力.邊緣設(shè)備采集的數(shù)據(jù)可以用作訓(xùn)練數(shù)據(jù)集，在服務(wù)器端(例如云服務(wù)器)等計(jì)算能力強(qiáng)的計(jì)算設(shè)備中進(jìn)行模型的訓(xùn)練，隨后再將訓(xùn)練好的模型部署到計(jì)算能力較弱的邊緣設(shè)備執(zhí)行推理.這就好比戰(zhàn)場(chǎng)上，前線軍官對(duì)于一些簡(jiǎn)單任務(wù)可以自主決策，無(wú)需上報(bào)將軍，而對(duì)于難度較大或難以綜合判斷的任務(wù)則需要向上匯報(bào).這樣，達(dá)成部分自主的功能，從而增加系統(tǒng)計(jì)算的靈活性.邊緣計(jì)算不僅能緩解網(wǎng)絡(luò)寬帶和數(shù)據(jù)中心壓力，而且能夠保護(hù)隱私數(shù)據(jù)，做到速度、安全、靈活、可靠性合為一體.

隨著計(jì)算模型的不斷優(yōu)化和邊緣計(jì)算能力的不斷提升，很多深度學(xué)習(xí)的推理工作已經(jīng)在邊緣計(jì)算領(lǐng)域順利開(kāi)展，機(jī)器學(xué)習(xí)的第一波浪潮是在云端，我們相信下一個(gè)突破點(diǎn)將會(huì)在邊緣端.目前大規(guī)模的深度學(xué)習(xí)訓(xùn)練過(guò)程主要還是在云端，這就大大限制了部署在邊緣端模型更新迭代的時(shí)間.并且隨著數(shù)據(jù)量的陡增，就算邊緣計(jì)算的能力有所提升，還是很難滿(mǎn)足邊緣端進(jìn)行訓(xùn)練模型的要求，這就自然而然地引領(lǐng)出對(duì)持續(xù)學(xué)習(xí)的強(qiáng)烈需求.持續(xù)學(xué)習(xí)，是機(jī)器學(xué)習(xí)領(lǐng)域中新起，關(guān)注僅利用當(dāng)前最新數(shù)據(jù)和部分歷史數(shù)據(jù)使模型不斷快速迭代的有效手段.

2.3 如何賦予邊緣計(jì)算持續(xù)學(xué)習(xí)的能力

邊緣計(jì)算和深度學(xué)習(xí)的研究結(jié)合點(diǎn)有很多，我們將其大致分為5種，各有不同的側(cè)重點(diǎn)[5].1)邊緣端深度學(xué)習(xí)的應(yīng)用，包括對(duì)技術(shù)框架提供的智能服務(wù)的分析和應(yīng)用的探索；2)邊緣端深度學(xué)習(xí)方案的推理，側(cè)重邊緣計(jì)算架構(gòu)中深度學(xué)習(xí)的實(shí)際部署和推理，用于滿(mǎn)足不同準(zhǔn)確性和時(shí)延性的要求；3)支撐深度學(xué)習(xí)框架的邊緣計(jì)算服務(wù)，為深度學(xué)習(xí)各種模型算法提供給網(wǎng)絡(luò)結(jié)構(gòu)、硬件和軟件的設(shè)計(jì)；4)在邊緣端進(jìn)行深度學(xué)習(xí)的訓(xùn)練，側(cè)重于在資源和隱私限制條件下，訓(xùn)練分布式邊緣設(shè)備中的深度學(xué)習(xí)模型；5)為深度學(xué)習(xí)在邊緣端進(jìn)行優(yōu)化，對(duì)邊緣緩存、計(jì)算卸載、通信、安全保護(hù)等方面進(jìn)行全面優(yōu)化.

持續(xù)學(xué)習(xí)的方案，主要側(cè)重點(diǎn)在于第2和第4個(gè)方向，讓邊緣端具備持續(xù)學(xué)習(xí)、理解、推理的能力.由于邊緣端計(jì)算能力的受限，無(wú)法大規(guī)模地進(jìn)行模型的重新訓(xùn)練，首先我們想到的就是利用諸如知識(shí)蒸餾[6-7]等遷移學(xué)習(xí)、領(lǐng)域自適應(yīng)的方案，通過(guò)在云端訓(xùn)練的“教師模型”去傳授邊緣端“學(xué)生模型”的大部分知識(shí)，然后“學(xué)生模型”通過(guò)各個(gè)場(chǎng)景特有的傳感器數(shù)據(jù)進(jìn)行少量數(shù)據(jù)的重新訓(xùn)練.再者，持續(xù)學(xué)習(xí)的邊緣計(jì)算需要將部分隱私性很強(qiáng)、比較敏感關(guān)鍵的數(shù)據(jù)留在邊緣端，此時(shí)深度生成模型是一個(gè)關(guān)鍵的技術(shù).通過(guò)諸如對(duì)抗生成網(wǎng)絡(luò)(GAN)[8-9]、變分自動(dòng)編碼器(VAE)的近期研究[10-11]，生成的樣本質(zhì)量和多樣性已經(jīng)有了很大的突破.這樣只需在邊緣端存儲(chǔ)生成模型，而云端或客戶(hù)端給予輸入的隨機(jī)變量便可以生成某個(gè)任務(wù)的樣本數(shù)據(jù)用于rehearsal的邊緣訓(xùn)練，進(jìn)行持續(xù)學(xué)習(xí).第3個(gè)可以借助的力量是聯(lián)邦學(xué)習(xí)，其本質(zhì)上是一種分布式的機(jī)器學(xué)習(xí)技術(shù)框架，目標(biāo)在于在保證數(shù)據(jù)隱私安全及合法的基礎(chǔ)上實(shí)現(xiàn)共享建模，其起源是谷歌在2016年提出用于解決安卓手機(jī)終端用戶(hù)在本地更新模型的問(wèn)題[12].聯(lián)邦學(xué)習(xí)的引入會(huì)產(chǎn)生的主要優(yōu)勢(shì)包括：1)對(duì)用戶(hù)各自數(shù)據(jù)的相對(duì)隔離，滿(mǎn)足用戶(hù)隱私保護(hù)和數(shù)據(jù)安全的要求；2)模型質(zhì)量的無(wú)損，盡量減少學(xué)習(xí)的負(fù)遷移；3)能夠在保證各個(gè)參與端相互獨(dú)立的情況下，進(jìn)行信息與模型參數(shù)的加密交換.

3 時(shí)空智能

3.1 時(shí)空智能是什么

許多機(jī)器人需要在以人為中心的環(huán)境中工作，發(fā)揮機(jī)器人的優(yōu)勢(shì)，自動(dòng)執(zhí)行某些任務(wù)，幫助人類(lèi)解決某些問(wèn)題，真正成為人類(lèi)的助手.這要求機(jī)器人可以像人類(lèi)一樣學(xué)習(xí)、理解和執(zhí)行任務(wù).這對(duì)機(jī)器人提出了非常高的要求，要機(jī)器人像人一樣感知周?chē)h(huán)境(目標(biāo)、障礙和導(dǎo)航)；像人一樣去了解每個(gè)人的類(lèi)型和屬性；像人一樣規(guī)劃和實(shí)施行動(dòng)；像人一樣執(zhí)行操作；最終再像人一樣進(jìn)行總結(jié)和修正.從人工智能發(fā)展的歷史看，單一方法很難徹底解決這些問(wèn)題，未來(lái)需要多種方法結(jié)合的AI系統(tǒng)[13].從最近幾年的研究進(jìn)展看，這也是未來(lái)人工智能取得進(jìn)一步突破的必經(jīng)之路.所以設(shè)計(jì)一個(gè)統(tǒng)一的框架，把這些方法和問(wèn)題統(tǒng)一起來(lái)，顯得尤為重要.我們認(rèn)為時(shí)空智能是一個(gè)關(guān)鍵性概念.時(shí)空智能是人工智能向外感知的重要組成部分，讓機(jī)器對(duì)周?chē)h(huán)境進(jìn)行多層次、多角度的時(shí)空感知，從而進(jìn)行自主決策.時(shí)空智能具備3個(gè)核心功能：

1) 時(shí)空記憶.整理和記錄時(shí)空中所發(fā)現(xiàn)的物體、行為、屬性等.

2) 時(shí)空推理.發(fā)現(xiàn)和預(yù)測(cè)一些不能直接觀測(cè)到的事件、屬性等.

3) 時(shí)空學(xué)習(xí).探索和總結(jié)一些規(guī)律性的知識(shí)，并在應(yīng)用中不斷泛化和修正.

為了實(shí)現(xiàn)這些功能，時(shí)空智能通常需要集成從高到低多個(gè)層次的知識(shí)表示以方便高效地進(jìn)行推理.這里，越高層的知識(shí)與人對(duì)環(huán)境的理解越接近，側(cè)重于語(yǔ)義和關(guān)系的表示；越低層的知識(shí)表示越接近于機(jī)器人的感知和控制系統(tǒng)，沒(méi)有結(jié)構(gòu)或符號(hào)，多為原始的數(shù)據(jù).

3.2 基于自適應(yīng)機(jī)器人交互能力庫(kù)的時(shí)空智能

英特爾中國(guó)研究院研發(fā)的自適應(yīng)機(jī)器人交互能力庫(kù)2.0[14]，在為服務(wù)機(jī)器人提供的時(shí)空智能的方向上邁出了堅(jiān)實(shí)的一步.如圖3所示，該庫(kù)向用戶(hù)提供豐富的多層次的知識(shí)表示和對(duì)應(yīng)的推理能力.最底層是傳感器層的知識(shí)表示(圖3右下角的圖片流).傳感器的原始數(shù)據(jù)被完整高效地保存下來(lái).傳感器層的上一層是感知層的數(shù)據(jù)和模型.利用機(jī)器人同時(shí)定位與建圖(SLAM)技術(shù)，地圖層將感知層的數(shù)據(jù)轉(zhuǎn)換為一個(gè)三維語(yǔ)義地圖.最后，地圖中的語(yǔ)義信息被整理分析后，匯總至一個(gè)動(dòng)態(tài)的、實(shí)時(shí)變化的知識(shí)圖譜.各個(gè)層次的信息，通過(guò)時(shí)間戳(時(shí)間信息)和位置(空間)映射到一起，換言之，任意層次的任何一個(gè)信息都可利用其中的時(shí)空屬性找到它在其他層次上的對(duì)應(yīng)表示.這不僅使得機(jī)器人可以在不同的層次中進(jìn)行推理和學(xué)習(xí)，更讓不同層次的推理結(jié)果可以相互促進(jìn)，推動(dòng)機(jī)器人自主地、持續(xù)地學(xué)習(xí)，不斷提高機(jī)器人的能力.具體來(lái)說(shuō)，這樣的時(shí)空智能，賦予了機(jī)器人的4種能力.

1) 幾何關(guān)系的推理.幾何關(guān)系既可以是非常精確的深度和位置信息，例如圖3中沙發(fā)的精確位置和尺寸；也可以是粗略的相對(duì)關(guān)系，例如圖3中的沙發(fā)可以坐2個(gè)人.這與人對(duì)世界的幾何關(guān)系的理解是一致的.機(jī)器人可以根據(jù)任務(wù)的不同，查詢(xún)不同精度的信息.

2) 物體的穩(wěn)定性和安全性的關(guān)系的推理.在建立了三維地圖后，機(jī)器人可以分析出物體在空間中的關(guān)系.而隨著時(shí)間的推進(jìn)，這些信息會(huì)在機(jī)器人的時(shí)空記憶中不斷積累，這對(duì)于機(jī)器人自主移動(dòng)和操縱物體是非常有幫助的.通過(guò)引入物理關(guān)系的仿真分析，機(jī)器人甚至可以理解物體間的支撐關(guān)系，這可以為機(jī)器人確保環(huán)境的安全性提供支持.

3) 物體和行為關(guān)聯(lián)關(guān)系的推理.隨著時(shí)間的推移，在知識(shí)圖譜中很容易發(fā)現(xiàn)一些一起出現(xiàn)或者先后出現(xiàn)的關(guān)系，這些關(guān)系能為機(jī)器人提供很多指導(dǎo)性的信息.例如，圖3所示的例子中，機(jī)器人發(fā)現(xiàn)彈琴和拿某個(gè)文件夾經(jīng)常一起發(fā)生，據(jù)此機(jī)器人可以猜測(cè)該文件夾和琴相關(guān)，經(jīng)詢(xún)問(wèn)用戶(hù)，機(jī)器人確認(rèn)該文件夾是琴譜.利用回溯歷史的原始數(shù)據(jù)，機(jī)器人可以通過(guò)少樣本學(xué)習(xí)和持續(xù)學(xué)習(xí)技術(shù)更新感知層中的模型[15]，以后即可準(zhǔn)確識(shí)別該琴譜.另外，此類(lèi)信息也可以幫助機(jī)器人在未來(lái)提供更好的服務(wù)，比如主動(dòng)將書(shū)架上的琴譜拿給正在彈琴的客人.

4) 異常關(guān)系檢測(cè).時(shí)空智能的語(yǔ)義層以語(yǔ)義的方式匯總了各個(gè)時(shí)刻從不同的感知模塊獲取的信息.通過(guò)引入本體信息，可以在語(yǔ)義層面發(fā)現(xiàn)現(xiàn)有知識(shí)圖譜中的異常，進(jìn)而告知出現(xiàn)錯(cuò)誤的感知模塊，讓該模塊進(jìn)行自我修正，從而幫助底層模塊的自我進(jìn)化.在圖3的實(shí)驗(yàn)過(guò)程中，機(jī)器人就曾經(jīng)上報(bào)過(guò)一個(gè)異常，真實(shí)情況如圖4所示，底層的感知模塊把一個(gè)日常生活中不常見(jiàn)的展示臺(tái)誤認(rèn)為馬桶.僅靠感知模塊是無(wú)法修正錯(cuò)誤的，但有了時(shí)空智能后，通過(guò)高層的分析，很容易發(fā)現(xiàn)在書(shū)架和沙發(fā)旁出現(xiàn)馬桶這一異常事件，進(jìn)而進(jìn)行修正.

Fig. 3 Multi-level spatial-temporal intelligence 圖3 多層次的時(shí)空智能

Fig. 4 Anomaly detection 圖4 異常檢測(cè)

3.3 云邊端方案助力時(shí)空智能

把時(shí)空智能根據(jù)計(jì)算、隱私等需求分布到在從云到端的各個(gè)地方，充分利用云邊端的計(jì)算資源去提供更高性?xún)r(jià)比的服務(wù)，把要完成任務(wù)的記憶場(chǎng)景的知識(shí)和常識(shí)很好地組合起來(lái)，是實(shí)現(xiàn)規(guī)?；渴鸬囊淮笾?云邊端的解決方案將讓時(shí)空智能在3個(gè)方面受益.

1) 有了云和邊緣服務(wù)器的支持，使得在時(shí)空智能框架中引入更準(zhǔn)確的、更細(xì)粒度的、也更復(fù)雜的感知模塊成為可能.比如，我們可以將現(xiàn)有系統(tǒng)中的物體檢測(cè)變成物體分割，這樣物體間的幾何關(guān)系的推理也會(huì)變得更準(zhǔn)確.

2) 加速訓(xùn)練過(guò)程.時(shí)空智能中的知識(shí)是多層次表示的，在高層經(jīng)常會(huì)推理產(chǎn)生一些新的知識(shí).得益于持續(xù)學(xué)習(xí)，低層次的模型也可以利用這些知識(shí)不斷地提高自己的能力.但模型的更新和訓(xùn)練是一個(gè)耗時(shí)的過(guò)程，這在一定程度上影響了時(shí)空智能的效果.例如3.2節(jié)琴譜的例子，若在端上進(jìn)行訓(xùn)練，需要一天時(shí)間，而如果在一天時(shí)間里發(fā)生關(guān)于琴譜的交互，將會(huì)影響用戶(hù)體驗(yàn).遑論有些訓(xùn)練根本無(wú)法在端上完成，云邊端融合的方案可以幫助時(shí)空智能走出這個(gè)困境.

3) 推進(jìn)知識(shí)共享學(xué)習(xí).基于單一機(jī)器人的知識(shí)積累是一個(gè)比較緩慢的過(guò)程.但是時(shí)空智能，尤其是高層的知識(shí)是完全可以共享的.在云側(cè)和邊緣側(cè)，把一些知識(shí)匯總起來(lái)，并有效泛化后，再把新的智能模型分發(fā)到端上，將會(huì)快速提高機(jī)器人的時(shí)空智能，讓機(jī)器人更好地服務(wù)于人.

4 邊緣計(jì)算

4.1 邊緣計(jì)算總體系統(tǒng)架構(gòu)

未來(lái)超過(guò)70%的數(shù)據(jù)需要在邊緣側(cè)分析、處理和存儲(chǔ)，邊緣計(jì)算領(lǐng)域的多樣性計(jì)算架構(gòu)、產(chǎn)品與解決方案越發(fā)重要.邊緣計(jì)算是在靠近物或數(shù)據(jù)源頭的網(wǎng)絡(luò)邊緣側(cè)，融合網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)、應(yīng)用核心能力的分布式開(kāi)放平臺(tái)(架構(gòu))，就近提供邊緣智能服務(wù)，滿(mǎn)足行業(yè)數(shù)字化在敏捷聯(lián)接、實(shí)時(shí)業(yè)務(wù)、數(shù)據(jù)優(yōu)化、應(yīng)用智能、安全與隱私保護(hù)等方面的關(guān)鍵需求.邊緣計(jì)算軟件平臺(tái)采用云原生架構(gòu)與關(guān)鍵技術(shù)，硬件平臺(tái)支持超異構(gòu)計(jì)算能力，以邊云協(xié)同和邊緣智能為關(guān)鍵特征，形態(tài)上主要包括云邊緣、邊緣云、邊緣網(wǎng)關(guān).

1) 云邊緣作為公有云的延伸，將云的部分服務(wù)或者能力擴(kuò)展到邊緣基礎(chǔ)設(shè)施之上.中心云和云邊緣相互配合，實(shí)現(xiàn)全網(wǎng)資源共享、全網(wǎng)統(tǒng)一管控等能力.

2) 邊緣云基于云計(jì)算技術(shù)與架構(gòu)構(gòu)建的邊緣分布式開(kāi)放平臺(tái)，可提供集中管理和調(diào)度的能力，邊緣云內(nèi)及邊緣云之間可以進(jìn)行資源共享.

4.2 計(jì)算硬件架構(gòu)的新演進(jìn)

邊緣計(jì)算催生超異構(gòu)計(jì)算架構(gòu)的另一個(gè)背景是AI和5G在近年都達(dá)到了可用性(5G在2019年試商用，在2020年正式商用)，AI×5G的聚變效應(yīng)以后，計(jì)算就將進(jìn)入超異構(gòu)時(shí)代.目前這種AI×5G的聚變效應(yīng)在某些邊緣計(jì)算場(chǎng)景上，例如智能交通中已經(jīng)有所體現(xiàn)：AI算法可以對(duì)視頻數(shù)據(jù)進(jìn)行實(shí)時(shí)分析，但這種分析不能全在云端上，還需要利用5G的能力在前端、邊緣端做一些分析篩選的配合；而數(shù)據(jù)到了云端之后，需要利用云端的全場(chǎng)景模擬，例如數(shù)字孿生，去實(shí)現(xiàn)與真實(shí)場(chǎng)景的同步性，而“同步”依靠的正是5G.未來(lái)隨著更多更復(fù)雜的邊緣計(jì)算場(chǎng)景的落地，對(duì)上述流程還會(huì)提出更高的要求，AI×5G的聚變可能比我們想象得還要猛烈，將激發(fā)對(duì)數(shù)據(jù)傳輸、存儲(chǔ)、計(jì)算、分析等方面的需求增長(zhǎng)，而超異構(gòu)計(jì)算，是這些需求反應(yīng)中的一個(gè)被觸發(fā)的技術(shù)點(diǎn)，這種技術(shù)發(fā)展的背后，是整體的計(jì)算機(jī)技術(shù)趨勢(shì)走向更加深度的整合協(xié)同.

4.3 基于云原生的邊緣軟件架構(gòu)

在云邊緣、邊緣云、邊緣網(wǎng)關(guān)的系統(tǒng)架構(gòu)中，針對(duì)業(yè)務(wù)類(lèi)型和所處邊緣位置的不同，邊緣計(jì)算硬件選型設(shè)計(jì)往往也會(huì)不同.相對(duì)硬件架構(gòu)設(shè)計(jì)，系統(tǒng)軟件架構(gòu)的確存在著一定的共同特性，比如與設(shè)備無(wú)關(guān)的微服務(wù)、容器及虛擬化技術(shù)、資源調(diào)度和編排等.以上軟件技術(shù)統(tǒng)一了云端、邊緣甚至是物(機(jī)器人)端的服務(wù)運(yùn)行環(huán)境，并提供了統(tǒng)一的部署和運(yùn)維接口，這些技術(shù)背后的支撐從云原生軟件架構(gòu)在邊緣的演化可窺一斑.典型的邊緣系統(tǒng)軟件架構(gòu)如圖5所示.

Fig. 5 Software architecture of edge computing 圖5 邊緣系統(tǒng)軟件架構(gòu)

在云計(jì)算領(lǐng)域，傳統(tǒng)IT軟件的微服務(wù)化已經(jīng)得到了充分的演化而日趨成熟.而邊緣計(jì)算是傳統(tǒng)的工業(yè)領(lǐng)域的OT(operational technology)、通信領(lǐng)域的CT(communications technology)和IT的融合.考慮到仍有相當(dāng)一部分的CT和OT的軟件實(shí)現(xiàn)是基于整體式架構(gòu)并根據(jù)定制的需求開(kāi)發(fā)的，因此傳統(tǒng)CT和OT的微服務(wù)化是邊緣計(jì)算軟件演化的重要課題.

在一些復(fù)雜的邊緣計(jì)算的應(yīng)用場(chǎng)景中可以看到邊緣計(jì)算平臺(tái)并不是傳統(tǒng)意義上的只負(fù)責(zé)數(shù)據(jù)收集轉(zhuǎn)發(fā)的網(wǎng)關(guān)，更重要的是，邊緣計(jì)算平臺(tái)需要提供智能化的運(yùn)算能力，而且能產(chǎn)生可操作的決策反饋，用來(lái)反向控制設(shè)備端.過(guò)去，這些運(yùn)算只能在云端完成.現(xiàn)在需要從云邊議題的角度考慮將云端的計(jì)算框架通過(guò)裁剪、合并等簡(jiǎn)化手段遷移至邊緣計(jì)算平臺(tái),使得能在邊緣計(jì)算平臺(tái)上運(yùn)行云端訓(xùn)練后的智能分析算法.邊緣軟件架構(gòu)需求通常是單臺(tái)計(jì)算機(jī)或者少數(shù)幾臺(tái)計(jì)算機(jī)組成的小規(guī)模集群環(huán)境中隔離主機(jī)資源,實(shí)現(xiàn)分布式計(jì)算框架的資源調(diào)度.同時(shí)，邊緣計(jì)算所需的開(kāi)發(fā)工具和編程語(yǔ)言具有多樣性.目前，計(jì)算機(jī)編程技術(shù)呈百花齊放勢(shì)，開(kāi)發(fā)人員運(yùn)用不同的編程語(yǔ)言解決不同場(chǎng)景的問(wèn)題已經(jīng)成為常態(tài)，所以在邊緣計(jì)算需要支持多種開(kāi)發(fā)工具和多種編程語(yǔ)言的運(yùn)行時(shí)環(huán)境.而隨著容器技術(shù)和容器編排技術(shù)逐漸成熟，通過(guò)容器技術(shù)進(jìn)行資源的隔離、調(diào)度和編排將是邊緣軟件架構(gòu)的演進(jìn)方向.

4.4 邊緣計(jì)算中的關(guān)鍵技術(shù)

1) 安全容器

在傳統(tǒng)的云計(jì)算方案中,虛擬機(jī)是主流的解決方案,相比于傳統(tǒng)的物理實(shí)體機(jī),具有啟動(dòng)快、部署簡(jiǎn)單、低成本等顯著優(yōu)勢(shì).但是隨著技術(shù)的演進(jìn),和目前急劇增長(zhǎng)的數(shù)據(jù)帶寬和計(jì)算需求相比,虛擬機(jī)已經(jīng)無(wú)法滿(mǎn)足在目前已有的邊緣計(jì)算中的低成本、低時(shí)延、高并發(fā)等特性，因此符合上述要求的容器技術(shù)成為了新趨勢(shì).容器技術(shù)相比于傳統(tǒng)的虛擬機(jī)而言具有更快的啟動(dòng)速度、更低的單位成本、更輕量級(jí)的資源切分等顯著優(yōu)勢(shì)，很好地滿(mǎn)足了云計(jì)算場(chǎng)景對(duì)技術(shù)演進(jìn)的實(shí)際需求.

在此大背景之下,邊緣網(wǎng)絡(luò)計(jì)算也會(huì)采用主流的容器技術(shù)作為通用的解決方案.容器雖然可以對(duì)宿主機(jī)的資源按需求進(jìn)行隔離和分配,但是運(yùn)行在同一個(gè)宿主機(jī)上的所有容器是共享宿主機(jī)內(nèi)核的.在這種情況下,容器與容器之間的數(shù)據(jù)安全性得不到充足的保證，容器內(nèi)的數(shù)據(jù)對(duì)于宿主機(jī)而言也是內(nèi)部可見(jiàn)的.在對(duì)數(shù)據(jù)安全和算法私密性日趨嚴(yán)格的情況下,基于虛擬機(jī)的安全容器技術(shù)，如Kata Containers既具有可以媲美容器的啟動(dòng)速度和低資源消耗，又具有虛擬機(jī)對(duì)數(shù)據(jù)安全和數(shù)據(jù)私密性的保護(hù)，很好地結(jié)合了虛擬機(jī)的安全性和容器的輕量級(jí)優(yōu)點(diǎn).因此，在邊緣計(jì)算場(chǎng)景中，Kata Containers已經(jīng)受到業(yè)界越來(lái)越多的關(guān)注和實(shí)際應(yīng)用[17].

2) 神經(jīng)網(wǎng)絡(luò)模型部署

邊緣計(jì)算的初衷在于提供高能效、低延時(shí)的數(shù)據(jù)處理能力，而機(jī)器人往往又需要同時(shí)利用多種神經(jīng)網(wǎng)絡(luò)模型實(shí)時(shí)處理多路傳感器數(shù)據(jù)，因此模型的運(yùn)行效率至關(guān)重要.常見(jiàn)的神經(jīng)網(wǎng)絡(luò)模型壓縮技術(shù)，如剪枝、量化等，自然可以應(yīng)用于邊緣端部署，這方面已經(jīng)有成熟的自動(dòng)化工具Distiller[18].在針對(duì)特定架構(gòu)的性能加速層面，工業(yè)界也提供了相應(yīng)的模型優(yōu)化和部署工具，如英特爾OpenVINO工具包，能夠自動(dòng)優(yōu)化訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型并高效執(zhí)行.而針對(duì)機(jī)器人4.0的需求，更多系統(tǒng)層面的優(yōu)化技術(shù)仍處于研究的早期階段，我們將其歸納為3個(gè)方向.

① 計(jì)算層次之間的協(xié)同處理.例如，early-exit技術(shù)能夠通過(guò)在淺層網(wǎng)絡(luò)給出部分樣本的推理結(jié)果而降低對(duì)這部分樣本的計(jì)算量[19].若將該技術(shù)與云-邊-端架構(gòu)相融合，不僅能夠?qū)崿F(xiàn)數(shù)據(jù)的“多級(jí)分診”(即僅當(dāng)前一端無(wú)法以高置信度取得結(jié)果的數(shù)據(jù)才發(fā)送給后一端做進(jìn)一步判斷)，取得計(jì)算、通信開(kāi)銷(xiāo)與模型準(zhǔn)確度之間的更好均衡，還能輔助實(shí)現(xiàn)多設(shè)備間的協(xié)同推理[20].

② 多路數(shù)據(jù)之間的協(xié)同處理.例如通過(guò)緩存模型推理結(jié)果，可以在來(lái)自不同設(shè)備的相似數(shù)據(jù)之間實(shí)現(xiàn)結(jié)果復(fù)用，從而極大降低邊緣服務(wù)器計(jì)算負(fù)載并縮減響應(yīng)時(shí)間[21].

③ 多個(gè)模型之間的協(xié)同處理.通過(guò)優(yōu)化模型之間的資源調(diào)度，以及實(shí)現(xiàn)模型復(fù)雜度和精度之間的在線折衷等方式，在資源受限情況下優(yōu)化整體性能.這方面的代表性工作包括DeepEye[22],NestDNN[23]和HiveMind[24]等.

以上所舉研究并非專(zhuān)門(mén)針對(duì)機(jī)器人系統(tǒng)開(kāi)展，但我們認(rèn)為相關(guān)技術(shù)必定可使未來(lái)的機(jī)器人4.0系統(tǒng)從中受益，且廣泛部署的機(jī)器人應(yīng)用也將為相關(guān)研究提供更多案例和數(shù)據(jù)支持.

4.5 邊緣計(jì)算提升機(jī)器人智能

邊緣計(jì)算與智能機(jī)器人研究看似不相關(guān)，實(shí)為通向機(jī)器人4.0所需智能的關(guān)鍵支撐.其支撐作用有3個(gè)層面.

首先，邊緣計(jì)算可為機(jī)器人4.0所需智能提供強(qiáng)大靈活的計(jì)算和存儲(chǔ)能力.機(jī)器人本體受限于功耗和成本考慮，其自身計(jì)算和存儲(chǔ)資源往往不足以支撐實(shí)現(xiàn)高層次人工智能，邊緣服務(wù)器則能夠在滿(mǎn)足時(shí)延要求的前提下提供高效的處理能力.另外，在機(jī)器人智能演進(jìn)過(guò)程中，所需處理能力也經(jīng)常有所提升，但對(duì)已部署的機(jī)器人執(zhí)行硬件升級(jí)成本較高，而將處理置于邊緣服務(wù)器更易于靈活升級(jí).

進(jìn)而，邊緣計(jì)算可幫助實(shí)現(xiàn)多設(shè)備間的協(xié)作能力.在實(shí)際機(jī)器人應(yīng)用中，同一空間內(nèi)往往需要若干甚至幾十上百臺(tái)機(jī)器人同時(shí)執(zhí)行工作，而其中至關(guān)重要的場(chǎng)景建模、路徑規(guī)劃、任務(wù)調(diào)度等算法均需要多設(shè)備協(xié)作執(zhí)行，相比于依靠機(jī)器人之間通信的分布式計(jì)算，若將這些算法統(tǒng)一部署于該空間的邊緣服務(wù)器上，可顯著降低實(shí)現(xiàn)協(xié)作的復(fù)雜度.

最終，邊緣計(jì)算將支撐機(jī)器人的持續(xù)學(xué)習(xí)和時(shí)空智能，為機(jī)器人4.0的實(shí)現(xiàn)提供堅(jiān)實(shí)基礎(chǔ).

5 總 結(jié)

本文基于云邊端融合的機(jī)器人系統(tǒng)，就機(jī)器人4.0的3項(xiàng)關(guān)鍵技術(shù)：持續(xù)學(xué)習(xí)、時(shí)空智能和邊緣計(jì)算進(jìn)行了初步的探討，特別是邊緣計(jì)算如何支持持續(xù)學(xué)習(xí)和時(shí)空智能.這些技術(shù)本身也在持續(xù)地提高中，所以它們并不一定是最終的解決方案，我們期望更多的研究人員加入我們，共同思考和探索如何實(shí)現(xiàn)機(jī)器人4.0，推動(dòng)機(jī)器人和人工智能產(chǎn)業(yè)的發(fā)展.