周志楊，劉光輝，楊 蕾，張婭琳，張鈺敏

(西安建筑科技大學(xué) 信息與控制工程學(xué)院，西安 710055)

0 引言

據(jù)統(tǒng)計(jì)學(xué)分析，現(xiàn)代人一天中有80%～90%以上的時(shí)間都在室內(nèi)度過，許多人對(duì)室內(nèi)環(huán)境質(zhì)量提出了更高的要求[1]。在環(huán)境質(zhì)量研究中，環(huán)境的熱舒適性是影響人員工作效率和生產(chǎn)力的最重要因素[2-3]。熱舒適性反映室內(nèi)人員對(duì)周圍環(huán)境滿意程度，由環(huán)境因素和個(gè)人因素決定，環(huán)境因素包括室內(nèi)溫度、相對(duì)濕度、風(fēng)速和平均輻射溫度，個(gè)人因素包括服裝熱阻和代謝率。環(huán)境因素通過溫度/風(fēng)速傳感器等很容易測量，而個(gè)人對(duì)環(huán)境偏好不同，難以通過傳感器準(zhǔn)確測量人體參數(shù)以確定精確的熱舒適性結(jié)果。在個(gè)人因素中，服裝為人體提供隔熱層，它是人體與環(huán)境之間的重要決定因素，因此服裝熱阻的估計(jì)對(duì)熱舒適性有重要作用[4]。

為了準(zhǔn)確估計(jì)服裝熱阻參數(shù)，文獻(xiàn)[5]利用三維掃描儀測量人體在6種手臂姿勢下,12個(gè)體段的衣下間隙體積及接觸面積,測量服裝各體段的局部熱阻；文獻(xiàn)[6]采用暖體假人“Newton”設(shè)備對(duì)服裝熱阻進(jìn)行測量，提出在不影響防護(hù)服性能前提下，采取腋下、胸背部及大腿內(nèi)側(cè)開口設(shè)計(jì)來改善服裝熱濕舒適性；文獻(xiàn)[7]從服裝面積因子出發(fā)，分析計(jì)算面積的直接法和間接法之間的差異，提出三種服裝面積因子測評(píng)方法。文獻(xiàn)[8]利用熱流密度測量儀測定人體部位的熱流密度，計(jì)算服裝局部熱阻和總熱阻；文獻(xiàn)[9]對(duì)比了串行、全局和并行計(jì)算方法，提出設(shè)計(jì)防護(hù)服時(shí)要特別注意關(guān)鍵部位的設(shè)計(jì)。以上服裝熱阻估計(jì)以測量儀器為主，這些設(shè)備估計(jì)精度往往取決于多個(gè)局部熱阻的測量，而且這些測量方法沒有考慮到風(fēng)速、人員行進(jìn)速度的影響。而且在公共建筑環(huán)境中，人員服裝信息通過調(diào)查問卷方式獲得，受試者要多次填寫調(diào)查問卷，估計(jì)過程復(fù)雜。

隨著人工智能和機(jī)器視覺技術(shù)的迅速發(fā)展，各個(gè)領(lǐng)域逐漸用CCD等“軟傳感器”代替人眼視覺，并取得較好效果[10]，得到了廣泛應(yīng)用。由于計(jì)算機(jī)視覺技術(shù)可以實(shí)時(shí)獲取大量有效信息，而且易于集成到控制系統(tǒng)中，因此，在工業(yè)化生產(chǎn)過程中，人們逐漸將視覺技術(shù)廣泛用于智能化系統(tǒng)控制、測量等領(lǐng)域。文獻(xiàn)[11]利用艦體幾何結(jié)構(gòu)特征進(jìn)行航空遙感影像的直線段檢測，結(jié)合聚類分析實(shí)現(xiàn)了艦船目標(biāo)檢測。文獻(xiàn)[12]通過圖像檢測技術(shù)，對(duì)建筑空間圖像中人群密度和人員分布進(jìn)行檢測，估計(jì)人員實(shí)時(shí)負(fù)荷，用于空調(diào)分級(jí)調(diào)控。文獻(xiàn)[13]提出了一種基于視頻圖像的人體體溫調(diào)節(jié)狀態(tài)識(shí)別框架，實(shí)現(xiàn)空調(diào)系統(tǒng)個(gè)性化熱舒適性控制。

圖像檢測技術(shù)為人員動(dòng)態(tài)服裝熱阻的實(shí)時(shí)估計(jì)提供了新思路，因此提出采用CCD視覺傳感器代替問卷調(diào)查，搭建了基于圖像檢測技術(shù)的動(dòng)態(tài)服裝熱阻測量系統(tǒng)。通過攝像頭采集圖像以及應(yīng)用圖像處理技術(shù)，減少人為操作，提高測量的準(zhǔn)確性。同時(shí)減少了測量過程中的人為誤差，解除受試者繁重的調(diào)查工作。首先，采用計(jì)算機(jī)視覺技術(shù)，建立端到端的人員服裝檢測網(wǎng)絡(luò)模型，利用攝像頭采集的室內(nèi)圖像數(shù)據(jù)檢測人員著衣量；然后，通過查表映射法對(duì)室內(nèi)服裝熱阻進(jìn)行初步估計(jì)，利用測量儀器測得風(fēng)速、行走速度對(duì)服裝熱阻修正，得到動(dòng)態(tài)服裝熱阻估計(jì)結(jié)果。

1 系統(tǒng)結(jié)構(gòu)及原理

1.1 功能分析

在服裝熱阻估計(jì)過程中，受試者需要通過CCD相機(jī)的可視化分析和室內(nèi)環(huán)境數(shù)據(jù)的實(shí)時(shí)監(jiān)測，綜合估計(jì)動(dòng)態(tài)環(huán)境中的服裝熱阻值，當(dāng)監(jiān)測到室內(nèi)人員時(shí)，算法能夠滿足系統(tǒng)的實(shí)時(shí)性要求，并通過可視化分析預(yù)測到服裝穿著，為動(dòng)態(tài)服裝熱阻的估計(jì)提供依據(jù)。因此在整個(gè)服裝熱阻系統(tǒng)的設(shè)計(jì)中，需要滿足以下功能需求：1)算法的檢測精度;2)模型加載;3)環(huán)境數(shù)據(jù)采集;4)算法實(shí)時(shí)性。

1.2 系統(tǒng)架構(gòu)方法

基于服裝檢測模型的室內(nèi)人員服裝熱阻系統(tǒng)架構(gòu)原理圖如圖1所示，首先需要依據(jù)室內(nèi)空氣參數(shù)以及其他外部數(shù)據(jù)進(jìn)行綜合分析，再使用服裝檢測模型對(duì)CCD相機(jī)采集的圖像進(jìn)行特征提取，預(yù)測服裝熱阻，實(shí)現(xiàn)室內(nèi)人員服裝熱阻系統(tǒng)，將預(yù)測值與美國采暖、制冷與空調(diào)工程師學(xué)會(huì)(ASHRAE)制定的不同服裝搭配熱阻分布情況進(jìn)行對(duì)比，分析數(shù)據(jù)之間的關(guān)系。實(shí)驗(yàn)中用到的設(shè)備如表1所示。

圖1 系統(tǒng)架構(gòu)原理圖

表1 測量儀器

室內(nèi)人員服裝熱阻估計(jì)系統(tǒng)方法如圖2所示，是根據(jù)國內(nèi)/國外標(biāo)準(zhǔn)中關(guān)于服裝熱阻提供的數(shù)據(jù)信息，由單獨(dú)的深度學(xué)習(xí)組合模型進(jìn)行訓(xùn)練和預(yù)測，其主要功能包括：數(shù)據(jù)采集和標(biāo)注、網(wǎng)絡(luò)模型訓(xùn)練和模型預(yù)測和動(dòng)態(tài)服裝熱阻(CLO)估計(jì)三部分。

圖2 CCD動(dòng)態(tài)服裝熱阻系統(tǒng)

在數(shù)據(jù)采集與標(biāo)注中，使用麻省理工計(jì)算機(jī)科學(xué)和人工智能實(shí)驗(yàn)室研發(fā)的圖像標(biāo)注工具labelme進(jìn)行樣本標(biāo)注。如圖3所示為標(biāo)注的圖片工具和標(biāo)注的掩模實(shí)例。標(biāo)簽類別分別為：外套、短袖、無袖背心、長袖、裙子、長褲和短褲。

圖3 數(shù)據(jù)標(biāo)注

2 系統(tǒng)硬件設(shè)計(jì)

該系統(tǒng)設(shè)計(jì)應(yīng)用EAIDK310開發(fā)板進(jìn)行模型硬件部署，基于嵌入式深度學(xué)習(xí)框架Tengine進(jìn)行編寫，該框架支持tensorflow模型文件，部署流程如圖4所示。

圖4 部署流程圖

基于EAIDK310的硬件部署運(yùn)行流程圖描述如下。

1)使用tensorflow深度學(xué)習(xí)框架語言訓(xùn)練網(wǎng)絡(luò)模型，并保存其模型結(jié)構(gòu)和網(wǎng)絡(luò)參數(shù)，文件格式為.pth、.pt或.pkl格式；模型優(yōu)化算法選擇Adam。設(shè)當(dāng)前收斂過程中迭代次數(shù)為t，Adam優(yōu)化算法如表2所示。

表2 Adam運(yùn)算表

其中：ε為步長；ρ1和ρ2為矩估計(jì)的指數(shù)衰減率，在[0,1)內(nèi)取值；初始化一階和二階矩變量s=0，r=0，初始化時(shí)間步t=0；δ取值10-8防止分母為0，發(fā)生異常;

2)進(jìn)行深度學(xué)習(xí)模型文件格式轉(zhuǎn)換，將上一步驟所得模型文件轉(zhuǎn)換為ONNX文件格式。ONNX(Open Neural Network Exchange)用于表示深度學(xué)習(xí)模型的標(biāo)準(zhǔn)，使模型在不同框架之間進(jìn)行轉(zhuǎn)移；

3)運(yùn)行官方提供Tengine模型轉(zhuǎn)換工具將ONNX模型文件轉(zhuǎn)換為tmfile文件格式；

4)完成模型文件轉(zhuǎn)換之后，在EAIDK310開發(fā)板燒錄Linux系統(tǒng)，并配置相關(guān)程序開發(fā)環(huán)境。運(yùn)用OpenCV對(duì)輸入圖片做圖像預(yù)處理，運(yùn)行Tengine硬件加速庫調(diào)用深度學(xué)習(xí)模型文件(tmfile文件)，得到網(wǎng)絡(luò)模型運(yùn)行結(jié)果；

5)最后根據(jù)模型運(yùn)行結(jié)果數(shù)據(jù)，在服裝類別檢測任務(wù)中檢測著裝類別并進(jìn)行邊界框回歸操作。

3 系統(tǒng)軟件設(shè)計(jì)

3.1 改進(jìn)的Mask RCNN網(wǎng)絡(luò)設(shè)計(jì)

FPN[15]可以輸出每個(gè)階段的神經(jīng)網(wǎng)絡(luò)層級(jí)特征圖用于預(yù)測，但是FPN網(wǎng)絡(luò)的池化下采樣操作會(huì)造成圖像分辨率降低，丟失服裝的部分信息?？斩淳矸e[16]可以通過在標(biāo)準(zhǔn)卷積核中添加空洞，即在空洞位置添加0，達(dá)到擴(kuò)大卷積核尺度，增大感受野的目的，且不增加參數(shù)運(yùn)算量。因此，構(gòu)建了一個(gè)AFPN模塊，利用C1～C4階段的不同空洞率的空洞卷積核對(duì)不同尺寸特征進(jìn)行重采樣，揭示圖像的上下文信息。在空洞卷積尾部串聯(lián)空間金字塔結(jié)構(gòu)[17]，將不同大小的特征圖映射為相同維度的空間信息，然后融入圖像表示中，以更好地完成特征提取任務(wù)。

空洞卷積定義為:

(1)

式中,w表示卷積核；K表示卷積核尺寸；w[k]表示大小為k的卷積核；a[i]表示第i個(gè)輸入值；*l表示空洞卷積運(yùn)算；l表示空洞率，描述卷積核處理數(shù)據(jù)時(shí)采樣的步幅，通過調(diào)整l即可調(diào)整感受野大小。

不同空洞率下感受野的變化如圖5所示。圖中5(a)表示標(biāo)準(zhǔn)的3×3卷積，感受野為3×3；圖5(b)表示空洞率為2的3×3擴(kuò)張卷積，感受野為7×7；圖5(c)表示空洞率為4的3×3擴(kuò)張卷積，其感受野可達(dá)15×15。

圖5 不同空洞率下感受野的變化

RPN網(wǎng)絡(luò)用于生成候選區(qū)域，回歸候選框的位置坐標(biāo)，區(qū)分出前景與背景，并輸出得分信息。特征圖經(jīng)過基于ResNet-101的AFPN網(wǎng)絡(luò)提取后，通過共享卷積操作，得到統(tǒng)一維度的特征圖[18]。特征圖中的每一個(gè)錨點(diǎn)，依據(jù)像素點(diǎn)按長寬比為1：1、1：2、2：1生成錨框，框的維度大小分別設(shè)置為[32，32]、[64，64]、[128，128]、[256，256]、[512，512]。因此，每個(gè)像素點(diǎn)對(duì)應(yīng)15個(gè)錨框，錨框的坐標(biāo)與原圖對(duì)應(yīng)。然后，RPN網(wǎng)絡(luò)輸出的候選框經(jīng)過ROIAlign處理，得到固定大小尺寸的候選目標(biāo)特征圖，ROI Align使用雙線性插值的方式進(jìn)行池化操作，解決傳統(tǒng)ROI池化中兩次取整操作導(dǎo)致區(qū)域不匹配的問題。最后使用FCN全連接網(wǎng)絡(luò)對(duì)候選目標(biāo)特征圖進(jìn)行服裝分類和邊界框預(yù)測，mask分支用于檢測的目標(biāo)生成掩膜。服裝檢測網(wǎng)絡(luò)的總損失函數(shù)為式(2)：

L=Lcls+Lbox+Lmask

(2)

(1-pi)(1-pi*)]

(3)

(4)

(5)

其中:R是smooth函數(shù)，如式(6)所示。

(6)

式中，i表示錨框索引，pi是候選框包含服裝的預(yù)測概率，pi*為真值標(biāo)簽，ti為預(yù)測邊界框的偏移量，ti*為錨框相對(duì)于真值框的實(shí)際偏移量，Ncls為總的錨點(diǎn)框的數(shù)量，Nreg是特征圖的大小。Lcls和Lreg為分類和回歸的損失函數(shù)。mask分支的損失Lmask采用式(5)平均二進(jìn)制交叉熵?fù)p失，cls_k表示類別數(shù)。

圖6 服裝檢測網(wǎng)絡(luò)結(jié)構(gòu)圖

服裝檢測網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。其中，C1～C5表示ResNet101特征提取的五個(gè)階段，每個(gè)階段特征圖尺寸分別為256×256、128×128、64×64、32×32、16×16；P2～P4表示1×1卷積和2倍上采樣加和融合后的特征圖，P5是在C5通過1×1卷積改變通道數(shù)的特征信息，P6是在P5上用步長為2的最大池化下采樣得到的結(jié)果[13]。在圖6中，使用AFPN會(huì)產(chǎn)生多個(gè)特征圖[P2，P3，P4，P5，P6]，需要從多個(gè)特征圖中確定一個(gè)特征圖用來選定候選區(qū)域(ROI)，這里ROI的選擇依據(jù)以下式(7)：

(7)

其中:w，h代表選定候選區(qū)域的寬和高，224表示預(yù)訓(xùn)練ImageNet圖片的大小，即224×224，k表示面積為w×h的ROI所應(yīng)該在的層級(jí)。這樣做會(huì)使大尺寸的候選區(qū)域從低層特征圖提取，有利于大目標(biāo)檢測，小尺寸的候選區(qū)域從高層特征圖提取，有利于檢測小目標(biāo)。修正層用于候選區(qū)域固定大小尺寸，然后通過連接函數(shù)得到候選目標(biāo)特征圖，送入到預(yù)測層進(jìn)行分類、回歸和mask預(yù)測。

在網(wǎng)絡(luò)模型訓(xùn)練階段，使用改進(jìn)的Mask RCNN網(wǎng)絡(luò)架構(gòu)進(jìn)行服裝檢測，將訓(xùn)練的模型部署在硬件中，以進(jìn)行室內(nèi)人員服裝類別的實(shí)時(shí)檢測。

3.2 查表映射法

針對(duì)改進(jìn)的Mask RCNN網(wǎng)絡(luò)模型識(shí)別的服裝類別，并結(jié)合ASHRAE 55[19]和ISO 9920[20]標(biāo)準(zhǔn)，如表3所示這些單件服裝的服裝熱阻值基本情況。首先，通過服裝識(shí)別網(wǎng)絡(luò)模型得到人員著裝的分類結(jié)果；然后結(jié)合表3，通過查表映射的方式計(jì)算當(dāng)前人員的服裝熱阻。

表3 單件服裝熱阻值Iclu(clo)

成套衣服的服裝熱阻通過以下式(8)計(jì)算：

(8)

其中:Iclu,i表示第i件單件服裝的熱阻值，單位為clo(m2·℃/W)，Icl表示成套服裝的靜態(tài)熱阻值，單位為clo(m2·℃/W)。

3.3 修正過程實(shí)現(xiàn)

服裝熱阻修正的具體操作如圖7所示。首先，開啟系統(tǒng)后，通過服裝檢測模型識(shí)別服裝類別，查表映射計(jì)算得到靜態(tài)熱阻Icl；其次，通過風(fēng)速測量儀和便攜式可穿戴設(shè)備Fitbit對(duì)人員附近風(fēng)速var和行進(jìn)速度vw進(jìn)行測量，修正靜態(tài)熱阻參數(shù)；最后，得到動(dòng)態(tài)環(huán)境的服裝熱阻值(CLO)。

針對(duì)夏季工況人員不同的穿著搭配，參數(shù)修正存在差異。這里主要研究輕質(zhì)服裝(0 clo

其中輕質(zhì)服裝的動(dòng)態(tài)熱阻估計(jì)，采用文獻(xiàn)[21]推導(dǎo)的式(9)進(jìn)行服裝熱阻修正：

IT,r=Icl·exp[-0.224·(var-0.15)+0.023 4·

(9)

式中,IT,r代表修正后的動(dòng)態(tài)服裝熱阻，Icl代表靜態(tài)熱阻，var代表人附近的空氣流速，vw代表人行走的速度。var為0.15～4 m/s，vw為0～1.2 m/s。

對(duì)于服裝熱阻(Icl)大于0.6且小于1.4的正常工作服，依據(jù)ISO 9920標(biāo)準(zhǔn)要求[20]，修正后的服裝總熱阻應(yīng)按下式計(jì)算：

IT,r=Icl·exp[-0.281·(var-0.15)+

(10)

式中,IT,r代表修正后的動(dòng)態(tài)服裝熱阻，Icl代表靜態(tài)熱阻，var代表人附近的空氣流速，vw代表人行走的速度。var為0.15～3.5 m/s，vw為0～1.2 m/s。

圖7 服裝熱阻修正流程圖

4 應(yīng)用實(shí)例及結(jié)果分析

選用開源NTU-RGB+B120[22]數(shù)據(jù)集和構(gòu)建西安某高校辦公室內(nèi)采集的部分?jǐn)?shù)據(jù)作為訓(xùn)練樣本，從NTU-RGB+D 120的幀序列和自建數(shù)據(jù)中隨機(jī)選擇服裝搭配存在差異的圖片進(jìn)行數(shù)據(jù)標(biāo)注，然后用數(shù)據(jù)增強(qiáng)改變圖片亮度、加噪聲、加隨機(jī)點(diǎn)、平移、翻轉(zhuǎn)等方式擴(kuò)充訓(xùn)練樣本數(shù)量，增加訓(xùn)練樣本多樣性，以避免過擬合，同時(shí)提升模型性能。最終構(gòu)建5380張圖片用于模型訓(xùn)練，為了測試模型性能從原數(shù)據(jù)集選取圖片進(jìn)行測試。

4.1 改進(jìn)的Mask RCNN網(wǎng)絡(luò)實(shí)驗(yàn)結(jié)果

改進(jìn)的Mask RCNN服裝檢測模型訓(xùn)練和測試的服務(wù)器配置如下：Ubuntu 16.04，兩塊GPU，GPU型號(hào)2080Ti以及12G顯存，環(huán)境配置為CUDA10.0 +anaconda3 +python3 + tensorflow-gpu 1.13.1。網(wǎng)絡(luò)初始訓(xùn)練學(xué)習(xí)率為1e-3，batch size=2，epochs=1 000。

圖8 服裝檢測和靜態(tài)熱阻預(yù)測結(jié)果

服裝檢測模型在訓(xùn)練階段需計(jì)算預(yù)測結(jié)果和標(biāo)注值間的損失，并進(jìn)行反向傳播優(yōu)化模型參數(shù)。改進(jìn)Mask RCNN模型人員靜態(tài)服裝熱阻在線估計(jì)的四組結(jié)果如圖8所示，其中圖片主要來自實(shí)驗(yàn)室場景，虛線框和其中的色塊是檢測和分割的結(jié)果，虛線框上的類別名稱是分類的結(jié)果。每類服裝的識(shí)別精度結(jié)果如表4所示。由表4可知，改進(jìn)Mask RCNN網(wǎng)絡(luò)模型能提高服裝分類識(shí)別精度，證明了特征提取階段的AFCN模塊中融入空洞卷積操作的有效性。

表4 服裝識(shí)別準(zhǔn)確度 %

算法的實(shí)時(shí)性進(jìn)行對(duì)比如表5所示，改進(jìn)Mask RCNN網(wǎng)絡(luò)和原始方法在單幀圖像檢測時(shí)間一樣。雖然改進(jìn)Mask RCNN服裝檢測模型的精度較高，但實(shí)時(shí)性方面沒有提升。

表5 算法實(shí)時(shí)性對(duì)比

4.2 動(dòng)態(tài)服裝熱阻估計(jì)結(jié)果

為了估計(jì)動(dòng)態(tài)服裝熱阻，在實(shí)際環(huán)境進(jìn)行了實(shí)驗(yàn)，四名人員穿著分別與圖8相對(duì)應(yīng)，測量人員周圍的空氣流速和人員移動(dòng)速度，估算并得到的動(dòng)態(tài)熱阻值如表6所示。

表6 動(dòng)態(tài)熱阻和靜態(tài)熱阻結(jié)果對(duì)比

由表6分析可知，隨著人員著衣量的增多，動(dòng)態(tài)熱阻和靜態(tài)熱阻之間的偏差值△I逐漸增大，說明在動(dòng)態(tài)環(huán)境中，需要考慮風(fēng)速、人員行進(jìn)速度對(duì)服裝熱阻估計(jì)的影響，尤其在正常工作服(0.6 clo

5 結(jié)束語

采用CCD相機(jī)替代問卷調(diào)查，結(jié)合風(fēng)速測量儀和Fitbit等設(shè)備，應(yīng)用EAIDK310開發(fā)板進(jìn)行模型硬件部署，實(shí)現(xiàn)了CCD動(dòng)態(tài)服裝熱阻系統(tǒng)設(shè)計(jì)。運(yùn)用圖像檢測技術(shù)識(shí)別人員穿著信息，應(yīng)用查表映射計(jì)算得到服裝熱阻的初步估計(jì)，然后，利用測量儀器測得風(fēng)速、行走速度對(duì)服裝熱阻修正，得到動(dòng)態(tài)服裝熱阻估計(jì)結(jié)果。

在服裝熱阻估計(jì)過程中，改進(jìn)Mask RCNN網(wǎng)絡(luò)識(shí)別精度雖高，但是實(shí)時(shí)性較差，而且在硬件部署方面，由于長時(shí)間運(yùn)行，芯片溫度比較高。因此，后期工作要提高網(wǎng)絡(luò)實(shí)時(shí)性，使模型更輕量化，方便硬件部署，避免系統(tǒng)過熱。