鄒芳園，閔衛(wèi)東，崔 浩，韓 清

基于多關聯(lián)特征的屏幕閱讀坐姿健康性判別

鄒芳園1，閔衛(wèi)東2，崔 浩1，韓 清1

(1. 南昌大學信息工程學院，江西 南昌 330031；2. 南昌大學軟件學院，江西 南昌 330047)

長期坐姿不正確將會嚴重危害人體健康?，F(xiàn)有的基于計算機視覺的坐姿檢測方法主要是通過檢測人體本身來判別坐姿的健康性，沒有綜合地考慮人體與屏幕之間的交互關系，使得對多種不健康坐姿無法準確檢測，對此提出了一種基于多關聯(lián)特征的屏幕閱讀坐姿健康性判別方法。從人體自身的約束關系和人與屏幕間的約束關系這2個方面考慮，先檢測出人體和屏幕，再根據(jù)目標的空間方位關系綜合地提取與坐姿健康關聯(lián)性強的坐姿特征。接著將坐姿特征序列輸入到卷積神經(jīng)網(wǎng)絡中進行學習和分類，從而實現(xiàn)坐姿的健康性判別。實驗結(jié)果表明，該方法可以有效地識別出屏幕閱讀時存在的多種不健康坐姿行為。與其他方法相比，具有較好地識別結(jié)果及應用價值。

坐姿檢測；健康性判別；多關聯(lián)特征；卷積神經(jīng)網(wǎng)絡

計算機的普及使得坐式成為人們的一種生活常態(tài)。由于不健康坐姿不僅會傷害眼睛，還會增加患各種肌肉骨骼疾病的風險，嚴重危害人體健康[1-3]，因此坐姿檢測對幫助人們養(yǎng)成健康的坐姿習慣是非常有必要的。

坐姿檢測主要分為2類：基于穿戴式設備的方法和基于視覺的方法。MEYER等[4]和MATTMANN等[5]利用貝葉斯分類器對壓力傳感器收集的信息來識別姿勢；MA等[6]通過安裝在頸后部的三軸加速度計獲取坐姿數(shù)據(jù)，結(jié)合支持向量機進行坐姿分類；LIANG等[7]通過Adaboost分類壓力信號來識別坐姿。這些方法均能檢測坐姿，但對傳感器精度要求高，檢測效果受人與傳感器接觸區(qū)域影響大、易受干擾、成分復雜、可能給人帶來不舒適感等問題。

張宇[8]和MU等[9]采用基于視覺的方法，通過檢測人臉再比對人臉區(qū)域面積的大小來識別坐姿，但是對光線、背景等要求高，且臉部信息不能完全反映人體關節(jié)之間的信息，可能存在漏檢情況；WANG等[10]提出將圖像處理技術與Kinect相結(jié)合的方法，把人體姿勢分為坐、站、躺、彎腰和跪5種截然不同姿勢再進行分類；YAO等[11]通過Kinect比較監(jiān)測與正常狀態(tài)的坐姿，設計了坐姿判別方法，但易漏檢；LIU等[12]在RGB-D場景中結(jié)合健康的坐姿估算框架來估計坐姿，該方法可通過檢測肢體的分布幫助適當?shù)卣{(diào)整坐姿；馬葉涵[13]通過Kinect獲取與用戶體態(tài)相關的RGB-D圖像進行坐姿檢測，并對打電話、喝水和打字3個動作進行建模實現(xiàn)動作分類；郭玉喜[14]提出了一種基于real sense體感攝像機的坐姿檢測方法，通過深度圖像計算使用者頭部的擺動幅度及其與顯示器之間的距離來判別坐姿是否健康；曾星等[15]通過采集的深度圖像獲取人體關鍵點特征和輪廓特征來檢測坐姿，幫助糾正學習工作情況中出現(xiàn)的不良坐姿。

由于現(xiàn)有的檢測方法只關注被檢測者的坐姿，忽略了人與屏幕之間的健康約束關系，使得多種不健康坐姿如由于視距和視角不當造成的不良坐姿無法被準確檢測。對此提出一種基于多關聯(lián)特征的屏幕閱讀坐姿健康性判別方法。從人體自身健康約束關系和人與屏幕的健康約束關系這2個方面入手，通過場景檢測提取目標對象間的關聯(lián)特征，并與從深度圖像中提取的人體關節(jié)特征相融合。再將坐姿特征序列輸入到一個淺層的卷積神經(jīng)網(wǎng)絡(convolutionalneuralnetwork, CNN)中進行分類，實現(xiàn)對屏幕閱讀的不健康坐姿的精確判別。

1 坐姿健康性判別方法介紹

人在屏幕閱讀時容易無意識地形成不健康坐姿，這是因為坐姿會受到計算機工作站系統(tǒng)中如人、屏幕、椅子等因素的影響[16-18]。MCATAMNEY等[19]指出腰椎角度、頸椎角度大于20°即為不良坐姿；BURGESS-LIMERICK等[20]建議健康的人眼監(jiān)控距離為40~70 cm；SPRINGER[21]表明視覺顯示最佳角度為低于水平視線15°~30°，所以健康的坐姿是人與工作環(huán)境共同作用的結(jié)果。本文結(jié)合人體關節(jié)和人與場景[22]2個方面定義了健康的坐姿形態(tài)，并展示了3種常見的不健康坐姿示例，如圖1所示。圖1已根據(jù)本文中的坐姿健康性關聯(lián)特征進行了相應的標注。

基于多關聯(lián)特征的屏幕閱讀坐姿健康性判別方法如圖2所示。對Kinect輸出的場景深度圖與彩色圖進行骨架跟蹤和場景檢測。根據(jù)坐姿健康性的約束關系，從人體骨架關節(jié)信息和人與屏幕間的空間關系2個方面入手提取坐姿的關聯(lián)特征。將提取的坐姿關聯(lián)特征序列輸入到一個淺層的CNN中進行健康性分類，進而得到更準確的人體坐姿健康性判別結(jié)果。

2 基于坐姿健康性約束關系的關聯(lián)特征提取

2.1 人體關節(jié)點檢測及跟蹤

深度傳感器Kinect憑借非入侵性和用戶友好型的優(yōu)勢被廣泛應用于現(xiàn)有行為檢測工作的采集實驗數(shù)據(jù)中[23]。主要原理是通過解碼接收到的紅外光線生成具有三維深度信息的圖像，接著通過骨架追蹤系統(tǒng)尋找圖中可能是人的移動物體，并進行像素級別評估分辨出人體的不同部位。根據(jù)追蹤到的關節(jié)點可得到人體骨架，同時對每個模型的輸出像素進行位置評估，因此能準確地返回骨骼關節(jié)的位置和方向。

骨架跟蹤前，被測者需要面向傳感器呈T形以幫助完成骨架模型的匹配和校準。圖3是呈T形的人體骨架示意圖，關節(jié)的位置和方向與實際的人體相對應，坐標系中軸向右，軸向上，軸表示深度增加方向。

由于骨架檢測及跟蹤容易受肢體重疊、運動速度及遮擋等問題的影響，其導致跟蹤效果差甚至是失敗。因此相機應避免放置在被檢測對象的正前方或正后方，以造成不必要的遮擋，影響檢測性能[24]，側(cè)邊放置能夠提供較好的檢測效果[12]。為了減少骨架跟蹤的干擾，本文結(jié)合關節(jié)間的健康約束關系[9,25]，提取了屏幕閱讀時與坐姿健康性有強約束關系的人體頭部關節(jié)點、頸部關節(jié)點和腰部關節(jié)點。

(a) 健康坐姿

(b) 駝背坐姿

(c) 后傾式坐姿

(d) “獅身人面”坐姿 圖1 坐姿示例 圖2 框架概述 圖3 人體骨架正面示意圖 2.2 場景檢測 人在屏幕閱讀時，坐姿與屏幕之間存在互交作用。要判別人與屏幕間的約束關系，需要先從復雜環(huán)境中精準地識別出人與屏幕，才能提取目標間的空間關聯(lián)特征。Faster R-CNN[26]相比于其他幾種機器學習方法[27-29]具有更高的檢測精度和更快的目標檢測速度。MIN等[30]通過場景分析的方法有效地識別出場景中人與家具，精確地判斷了人體的摔倒行為。本文通過Faster R-CNN對屏幕閱讀場景進行檢測，獲取人與屏幕間的空間關系。 Faster R-CNN網(wǎng)絡主要由區(qū)域建議網(wǎng)絡RPN提取候選區(qū)域模塊和目標檢測模塊組成。由于這2個網(wǎng)絡模塊被統(tǒng)一到一個深度學習網(wǎng)絡框架下，避免了重復計算，極大地減少了計算量，使得目標檢測收斂速度更快。RPN網(wǎng)絡生成的建議區(qū)域的中心坐標為x，y，寬、高分別為w，h。標定框?qū)嬖谥行淖鴺藶閤*，y*，其寬和高為w*，h*。xa，ya是候選框的中心坐標，wa和ha是其對應的寬和高?；貧w損失計算公式為 , (1) , (2) , (3) , (4) 圖像的總損失函數(shù)為 傳統(tǒng)本科人才的培養(yǎng)體系一般都偏重于基礎知識教學和深奧理論的講授，忽視了對應用能力的培養(yǎng)，對實踐教學體系也缺乏深入的思考和系統(tǒng)的構(gòu)建。針對傳統(tǒng)本科人才的培養(yǎng)體系，學校要大膽改革，實施三大轉(zhuǎn)變：以教師為中心向以學生為中心轉(zhuǎn)變；以學歷為中心向?qū)W歷和能力并重轉(zhuǎn)變；以理論為中心向理論和實踐相結(jié)合轉(zhuǎn)變，培養(yǎng)應用型人才，增強“雙師型”教師意識。 (5) 其中，pi為候選區(qū)域被預測為目標的概率；為與被預測為目標的錨點所對應的標定框的坐標向量；為目標和背景的對數(shù)損失；為回歸損失函數(shù)，R為損失函數(shù)smooth L1。 Faster R-CNN的訓練數(shù)據(jù)集voc-2007中包含本實驗需要檢測的人與顯示屏幕類別，且所有圖片均已標注。使用自收集的實驗數(shù)據(jù)進行微調(diào)后，分別獲得檢測人的F1分數(shù)為89.19%，屏幕檢測的F1分數(shù)為81.13%，precision為檢測精度；?；贔aster R-CNN的場景檢測結(jié)果如圖4所示，實驗表明場景檢測方法可以有效地檢測出人與屏幕，有利于幫助獲取目標對象之間的空間關系。 2.3 坐姿關聯(lián)特征提取 通過場景檢測和骨架跟蹤后，本文利用基于坐姿健康性的約束關系[19-21]提取了4個與健康性有較強關聯(lián)的檢測特征頸椎角、腰椎角、視距和視角。屏幕閱讀時坐姿關聯(lián)特征提取如圖5 所示。 理論分析及解析解的研究，試圖通過不需要經(jīng)過復雜的數(shù)值模擬計算即可得到系統(tǒng)數(shù)學模型的求解結(jié)果，進而指導工業(yè)設計或系統(tǒng)性能優(yōu)化等。 圖4 目標檢測結(jié)果示意圖 圖5 坐姿關聯(lián)特征提取示意圖 令頭部關節(jié)點為H(Xh,Yh,Zh)，頸部關節(jié)點為S(Xs,Ys,Zs)，腰部關節(jié)點為 W(Xw,Yw,Zw)，顯示器中心坐標為M(Xm,Ym,Zm)。頸部至頭部向量為SH，腰部至頸部向量為WS，人體頭部至顯示器的向量為HM。表示水平方向上的方向向量為HL，豎直方向上的方向向量為SG。向量SH計算為 (6) 根據(jù)上述向量計算方式可計算向量WS和HM。 特征角度計算以頸椎角度αV計算為例。頸椎角度是向量SH與豎直方向上的方向向量SG之間的夾角，即 (7) 根據(jù)上述角度計算方式可計算腰椎角度βV和視角θV。 市場在取水權(quán)申請環(huán)節(jié)發(fā)揮作用的流程是：水權(quán)申請人通過市場競爭水權(quán)后，經(jīng)政府確權(quán)登記發(fā)證，取得水權(quán)，并可以流轉(zhuǎn)?？梢姡袌鰴C制不但在水權(quán)交易二級市場中發(fā)揮決定性作用，而且在取水權(quán)申請環(huán)節(jié)一級市場也可以發(fā)揮決定性作用。但是，由于后者增加社會用水總量，又是政府參與市場活動，應當慎用，最好是作為彌補市場不足時采用；而前者不增加用水總量，又是市場平等主體間的交易，應當優(yōu)先采用。 人與屏幕間的距離DV為 (8) 根據(jù)人機工程學健康指導原則[29-31]，定義坐姿的健康性。圖6為一段時間內(nèi)的坐姿特征序列示意圖，由于人在屏幕閱讀時處于活動狀態(tài)，因此提取到坐姿特征的值會隨著人體運動而相應變化。將4個特征序列組成一個基于時間序列的運動特征。采用CNN學習關聯(lián)特征序列，實現(xiàn)屏幕閱讀時坐姿不健康性的判別。 在高中語文核心素養(yǎng)中，語言構(gòu)建和運用能力是最為基礎的內(nèi)涵，對于發(fā)展學生思維發(fā)展能力、審美能力和創(chuàng)新能力、文化傳承和詮釋等，都能夠起到不可替代的作用。只有在構(gòu)建良好語言體系、完善語言運用能力的基礎上，才能夠不斷提升綜合素養(yǎng)[2]。因此，在高中語文的教學過程中，應該始終把語言構(gòu)建和運用能力作為教學的根本。 圖6 坐姿關聯(lián)特征的時間序列 3 基于CNN的坐姿健康性判別 CNN可以被應用于分類人的日常行為[31-32]，本文采用一個淺層的CNN學習坐姿特征序列的時空信息，用于屏幕閱讀時坐姿健康性檢測判別。分類網(wǎng)絡結(jié)構(gòu)如圖7所示。 圖7 用于分類坐姿健康性的CNN架構(gòu) 首先將坐姿特征序列進行分割處理，再輸入到卷積層中由多個濾波器對其進行并行學習，以獲取豐富的坐姿特征表達。本文選取的濾波器的大小為12，步長為1。接著通過激勵層對上一卷積層的輸出結(jié)果做非線性映射，這里采用的激勵函數(shù)是ReLU函數(shù)。ReLU函數(shù)是一個逐點計算的激活函數(shù)，收斂速度快，表現(xiàn)形式為ReLU(x)=max(0,x)。為了除去冗余信息，減少計算負擔，本文通過最大池化，使用尺寸為14的濾波器對特征圖進行降維處理。并將池化層的輸出特征圖輸入到Flatten層中進行扁平化，即把多維的輸入數(shù)據(jù)折疊成一維數(shù)據(jù)。補充特征是關于特征序列的均值、方差等，與一維化后的CNN提取的特征一同輸入到全連接層。全連接層由1 024個神經(jīng)元構(gòu)成。為了降低學習過程出現(xiàn)過擬合風險，在訓練過程中使用Dropout的方法來降低神經(jīng)元之間復雜的聯(lián)合適應性，即保持輸入層和輸出層神經(jīng)元的個數(shù)不變，每次隨機忽略隱藏層的部分節(jié)點，迫使網(wǎng)絡去學習更加魯棒的特征。最后將這些特征輸入到softmax層進行最后的分類，并計算出坐姿健康性的概率似然值。 (1)確定實驗對象。本文針對的是網(wǎng)絡課程設計的學生。(2)確定教學內(nèi)容。以OSI七層模型為基礎，涉及網(wǎng)絡層、傳輸層等相關協(xié)議的應用。 蒲琳笑著不由自主地摟住張盈盈，半天卻不知道說什么，想起以前她賭氣和張盈盈說起的摘星星的話，就說：“我們想摘的星星是什么？” 模型的損失函數(shù)為交叉熵損失函數(shù)，即 (9) 其中，M為類別的數(shù)量；y為真實的分類結(jié)果；p為觀測樣本的類別預測結(jié)果。通過隨機梯度下降算法Adam[33]來優(yōu)化網(wǎng)絡參數(shù)。 4 實驗結(jié)果及分析 本文實驗是基于Ubuntu 16.04 LTS + Tensorflow 1.0.0 + Opencv2.4.9 +Matlab +Microsoft Kinect 2.0攝像頭+配置了英特爾酷睿i7-4790 3.60 GHz處理器、顯卡M4000以及內(nèi)存為8 G的PC機上實現(xiàn)的。實驗椅子高為43 cm，辦公桌高為78 cm，顯示器可升降，實驗中可根據(jù)需要調(diào)整顯示器高度及位置。圖8為屏幕閱讀時常見的坐姿行為，其中圖8(a)為健康坐姿，圖8(b~i)為幾種常見的不健康坐姿。 由于目前沒有符合本文坐姿檢測情況的坐姿健康性檢測標準數(shù)據(jù)集，因此實驗中所用到的數(shù)據(jù)均為自己拍攝收集的坐姿檢測數(shù)據(jù)。本文通過8名受測試者在2種辦公環(huán)境下收集了包括健康坐姿在內(nèi)的多種坐姿視頻共276個，每個視頻大于300幀，在收集的30 545幀圖像特征數(shù)據(jù)用于訓練及測試。實驗結(jié)果見表1。 由于坐姿健康性分類是基于時間的特征序列，為了測試在訓練過程中坐姿特征序列的長度對分類結(jié)果的影響，本文將特征序列分割成了不同的長度。經(jīng)過多次測試發(fā)現(xiàn)，識別間隔為10時，分類精度最好。本文對圖8中的不同坐姿分別進行了健康性判別，用于測試的每類坐姿的個數(shù)分別為600，判別的結(jié)果見表2。 (a) 健康坐姿(b) 身體右側(cè)(c) 手托頭部 (d) 身體前傾(e) 身體左側(cè)(f) 身體后傾 (g) 視距過近(h) 視角不當(i) 身體前趴 圖8 9種坐姿示例 表1 實驗結(jié)果 樣本坐姿類別召回率 (%)精度 (%)F1分數(shù) (%) 訓練測試 健康 9 0285 44993.9997.0995.51 不健康10 4995 56995.7691.3793.51 表2 坐姿健康性判別實驗 坐姿類別識別率(%) CNN分類隨機森林分類 健康坐姿100100 身體右歪93.3399.17 手托頭部99.1598.33 身體前傾83.0577.97 身體左歪96.6796.67 身體后傾94.92100 身體前趴93.3395.83 視距過近93.7568.25 視角不當87.1965.83 平均識別率93.3689.12 首先對屏幕閱讀過程中目標對象所處的場景環(huán)境進行檢測后，結(jié)合人體骨架信息綜合地提取與健康性具有較強的關聯(lián)特征，再針對坐姿特征序列進行分類。本文采用CNN對坐姿進行分類，并與隨機森林分類算法進行比較。隨機森林是一種由多棵決策樹構(gòu)成的對數(shù)據(jù)進行判別和分類的方法，能夠很好地處理多維特征數(shù)據(jù)。表2實驗結(jié)果表明，隨機森林模型能夠很好地判別身體幅度較大的不健康坐姿。CNN通過對提取的坐姿關聯(lián)特征進行學習和分類，可以更有效地檢測和判別屏幕閱讀時坐姿的健康性。 本文還綜合地復現(xiàn)了基于視覺的方法[8]和基于Kinect骨架檢測的方法[11]，對屏幕閱讀時的坐姿進行健康性判別實驗分析。對比實驗檢測結(jié)果如圖9所示。 圖9 坐姿健康性判別識別率對比 文獻[8]通過檢測人臉，計算臉部面積再與基準人臉面積對比來判斷人的坐姿。該方法簡單易操作，但只能給出大致的距離和方位提醒，受光照影響大，人臉檢測易出現(xiàn)漏判和誤檢。文獻[11]通過計算人體關節(jié)角度來檢測坐姿是否健康，該方法簡單效果好，但受骨架檢測及跟蹤效果影響大，且未關聯(lián)屏幕。圖9結(jié)果表明，本文提出的坐姿檢測方法具有更好的坐姿健康性判別效果。 李閨女又呸了一口：李六如，真是越來越不知道羞恥了。原先拆遷時，你想當個先進也就算了。如今，又勾結(jié)佟金鑫占了那點口糧田。你說，老少爺們今后怎么活？ 下面定性的分析幾種現(xiàn)有的坐姿檢測方法對圖8所示坐姿的健康性判別能力。 基于穿戴設備的坐姿檢測方法[4-5]和基于輔助設備的坐姿檢測方法[6-7]可以獲取人體速度和高度等信息，通過壓力變化來檢測坐姿。但只能根據(jù)傳感器的受力情況來判別是否存在不健康坐姿，并沒有對關聯(lián)場景進行分析，無法有效地檢測出因視距不當及顯示器高度不合理而導致的不健康坐姿。 基于計算機視頻的方法[8-9]主要是通過在設定的區(qū)域內(nèi)進行人臉檢測，計算面部區(qū)域的大小來判別坐姿是否健康。如果出現(xiàn)面部遮擋等情況，如身體前趴時，則無法通過檢測人臉識別出不健康坐姿。而且該方法沒有提取對象間有效的關聯(lián)特征，無法有效地檢測出如屏幕高度不當、視角不合理的坐姿環(huán)境。 這句臺詞在誕生之后風靡了整個朋友圈，引發(fā)近乎病毒式的傳播。但對此句話熟悉的人應該知道，其原句是：“看似穩(wěn)如老狗，實際慌得一批”，由于電子競技游戲經(jīng)常會有“極限反殺”、“絲血逃生”這樣的極限操作，因此這個閃爍著無數(shù)網(wǎng)友自黑抖機靈的智慧光輝的用詞，在世界杯躥紅之前已經(jīng)火爆在電競?cè)α恕? 基于體感攝像機的坐姿檢測方法[15]利用用戶臉部的深度圖像來監(jiān)測人體頭部的擺動和俯仰情況，從而實現(xiàn)坐姿檢測。該方法主要根據(jù)頭部運動來判別坐姿是否健康，容易出現(xiàn)對人體上半身軀干部位監(jiān)測不全的問題。基于Kinect的坐姿檢測方法[11]通過深度信息計算出人體骨架關節(jié)點之間的關系，實現(xiàn)坐姿檢測。該方法依賴于人體骨架信息，且只關注人體本身的坐姿情況，沒有關聯(lián)場景，因而忽略了人與屏幕之間的聯(lián)系，致使一些由視距和視角等造成的不健康坐姿無法被準確地檢測和識別。 專業(yè)核心課程通過引進全球性國際酒店管理專業(yè)機構(gòu)—美國飯店協(xié)會教育學院(AHLEI)的人才培養(yǎng)模式、核心課程、師資、教材和教學方法，共享其在全球的教學、實習、就業(yè)資源，以AHLEI12門專業(yè)核心課程作為理論課程建設主線，根據(jù)不同課程和學生實際情況，逐步加大英語授課比例，大一20%-30%，大二50%左右，大三及以上80%-100%，實施本土化雙語教學。自建中英文試題庫，配套階段測試，幫助學生適應美方考試模式，逐步提高課程通過率，為學生真正能用英語從業(yè)打下堅實的基礎。 綜上，本文提出的方法可準確有效地識別出屏幕閱讀時存在的多種不健康坐姿行為。在實驗過程中盡可能地模擬用戶在日常情況下的屏幕閱讀狀態(tài)。和現(xiàn)有方法相比，本文方法能更準確地識別出更多種的不健康坐姿，特別是由視距和視角等造成的不健康坐姿。 5 結(jié)束語 坐姿復雜多樣，為了有效檢測屏幕閱讀的不健康坐姿，本文提出一種基于多關聯(lián)特征的屏幕閱讀坐姿健康性判別方法。從人體自身和人與屏幕的互交2個方面綜合判別屏幕閱讀坐姿健康性。實驗結(jié)果表明，本文方法能夠有效地檢測出多種不健康的坐姿行為，并具有較好地檢測準確率。由于本文選取的關聯(lián)特征都是與人體健康存在較強的約束關系，因此可以根據(jù)關聯(lián)特征值的變化對人體坐姿的健康性進行具體分析，針對性幫助及時調(diào)整和糾正不健康坐姿，可以潛在地使用和整合于工作場所的保健中。 參考文獻 [1] 方躍偉, 潘松濤, 段蔣文. 辦公室坐姿作業(yè)肌肉骨骼疾患健康危害及對策[J]. 健康教育與健康促進, 2014, 9(4): 326-329. [2] LIS A M, BLACK K M, KORN H, et al. Association between sitting and occupational LBP [J]. European Spine Journal, 2007, 16(2): 283-298. [3] OKUNRIBIDO O O, MAGNUSSON M, POPE M H. Low back pain in drivers: The relative role of whole-body vibration, posture and manual materials handling [J]. Journal of Sound and Vibration, 2006, 298(3): 540-555. [4] MEYER J, ARNRICH B, SCHUMM J, et al. Design and modeling of a textile pressure sensor for sitting posture classification [J]. IEEE Sensors Journal, 2010, 10(8): 1391-1398. [5] MATTMANN C, AMFT O, HARMS H, et al. Recognizing upper body postures using textile strain sensors [C]//2007 11th IEEE International Symposium on Wearable Computers. New York: IEEE Press, 2007: 29-36. [6] MA S Y, CHO W H, QUAN C H, et al. A sitting posture recognition system based on 3 axis accelerometer [C]//2016 IEEE Conference on Computational Intelligence in Bioinformatics and Computational Biology (CIBCB). New York: IEEE Press, 2017: 1-3. [7] LIANG G, CAO J, LIU X. Smart cushion: A practical system for fine-grained sitting posture recognition [C]//2017 IEEE International Conference on Pervasive Computing and Communications Workshops (PerCom Workshops). New York: IEEE Press, 2017: 419-424. [8] 張宇. 基于人臉檢測與膚色統(tǒng)計的坐姿行為監(jiān)測[J]. 計算機與網(wǎng)絡, 2017, 43(7): 72-75. [9] MU L, LI K, WU C. A sitting posture surveillance system based on image processing technology [C]//2010 2nd International Conference on Computer Engineering and Technology. New York: IEEE Press, 2010: V1-692-V1-695. [10] WANG W J, CHANG J W, HAUNG S F, et al. Human posture recognition based on images captured by the kinect sensor [J]. International Journal of Advanced Robotic Systems, 2016, 13(2): 54. [11] YAO L, MIN W, CUI H. A new kinect approach to judge unhealthy sitting posture based on neck angle and torso angle [C]//International Conference on Image and Graphics. Heidelberg: Springer, 2017: 340-350. [12] LIU B, LI Y, ZHANG S, et al. Healthy human sitting posture estimation in RGB-D scenes using object context [J]. Multimedia Tools and Applications, 2017, 76(8): 10721-10739. [13] 馬葉涵. 基于Kinect的辦公健康分析系統(tǒng)的設計與實現(xiàn)[D]. 哈爾濱: 哈爾濱工業(yè)大學, 2015. [14] 郭玉喜. 基于Real Sense的坐姿檢測與糾正系統(tǒng)的設計與實現(xiàn)[D]. 長春: 吉林大學, 2016. [15] 曾星, 羅武勝, 孫備, 等. 基于深度圖像的嵌入式人體坐姿檢測系統(tǒng)的實現(xiàn)[J]. 計算機測量與控制, 2017, 25(9): 8-12. [16] PONGLANGKA W, THEERA-UMPON N, AUEPHANWIRIYAKUL S. Eye-gaze distance estimation based on gray-level intensity of image patch [C]//2011 International Symposium on Intelligent Signal Processing and Communications Systems (ISPACS). New York: IEEE Press, 2012: 1-5. [17] RUBENOWITZ S. Survey and intervention of ergonomic problems at the workplace [J]. International Journal of Industrial Ergonomics, 1997, 19(4): 271-275. [18] SHIKDAR A A, AL-KINDI M A. Office ergonomics: Deficiencies in computer workstation design [J]. International Journal of Occupational Safety and Ergonomics, 2007, 13(2): 215-223. [19] MCATAMNEY L, NIGEL C E. RULA: A survey method for the investigation of work-related upper limb disorders [J]. Applied Ergonomics, 1993, 24(2): 91-99. [20] BURGESS-LIMERICK R, PLOOY A, ANKRUM D R. The effect of imposed and self-selected computer monitor height on posture and gaze angle [J]. Clinical Biomechanics, 1998, 13(8): 584-592. [21] SPRINGER T J. VDT workstations: A comparative evaluation of alternatives [J]. Applied Ergonomics, 1982, 13(3): 211-212. [22] JASCHINSKI W, HEUER H, KYLIAN H. Preferred position of visual displays relative to the eyes: A field study of visual strain and individual differences [J]. Ergonomics, 1998, 41(7): 1034-1049. [23] CAI Z, HAN J, LIU L, et al. RGB-D datasets using microsoft kinect or similar sensors: A survey [J]. Multimedia Tools and Applications, 2017, 76(3): 4313-4355. [24] SHOTTON J, FITZGIBBON A, COOK M, et al. Real-time human pose recognition in parts from single depth images [J]. Communications of the ACM, 2013, 56(1): 116-124. [25] WASENMüLLER O, STRICKER D. Comparison of Kinect V1 and V2 Depth Images in Terms of Accuracy and Precision [M]//Computer Vision-ACCV 2016 Workshops. Heidelberg: Springer, 2017: 34-45. [26] REN S, HE K, GIRSHICK R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6):1137-1149. [27] GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation [C]//2014 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2014: 580-587. [28] HE K, ZHANG X, REN S, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1904-1916. [29] GIRSHICK R. Fast R-CNN [C]//2015 IEEE International Conference on Computer Vision (ICCV). New York: IEEE Press, 2015: 1440-1448. [30] MIN W, CUI H, RAO H, et al. Detection of human falls on furniture using scene analysis based on deep learning and activity characteristics [J]. IEEE Access, 2018, 6: 9324-9335. [31] IGNATOV A. Real-time human activity recognition from accelerometer data using Convolutional Neural Networks [J]. Applied Soft Computing, 2018, 62: 915-922. [32] 鄧志鋒, 閔衛(wèi)東, 鄒松.一種基于CNN和人體橢圓輪廓運動特征的摔倒檢測方法[J]. 圖學學報, 2018, 39(6): 1042-1047. [33] KINGMA D P, BA J. Adam: A method for stochastic optimization [EB/OL]. (2014-12-22). [2017-01-30]. https://arxiv.org/abs/1412.6980. Health Discrimination of Sitting Posture in Screen Reading Based on Multi-Relevant Features ZOU Fang-yuan1, MIN Wei-dong2, CUI Hao1, HAN Qing1 (1. School of Information Engineering, Nanchang University, Nanchang Jiangxi 330031, China;2. School of Software, Nanchang University, Nanchang Jiangxi 330047, China) Abstract: Long-time incorrect sitting posture is seriously harmful to human health. The existing computer vision-based method of judging whether the sitting posture is healthy or not mainly relies on the detection of the state of the human body itself, in disregard of the interaction between the human body and the screen, resulting in a failure to accurately detect a number of unhealthy sitting postures. We proposed a method of judging the healthiness of screen-reading sitting posture based on multi-relevant features. In consideration of the constraints imposed by the human body and the binding force between the human and screen, the method extracts the features that are strongly related to the sitting posture healthiness according to the spatial orientation of the target in a comprehensive way after detecting the human body and the screen. Subsequently, the sitting posture feature sequence is input to the convolutional neural network for analysis and classification in order to judge whether it is healthy or not. The experimental results show that the method can effectively identify a variety of unhealthy sitting behaviors during screen reading. Compared with other existing methods, this method is characterized with better recognition effects and application value. Keywords: sitting posture detection; healthiness judgment; multi-correlation features; convolutional neural network 中圖分類號：TP 391 DOI：10.11996/JG.j.2095-302X.2019050892 文獻標識碼：A 文章編號：2095-302X(2019)05-0892-08 收稿日期：2019-04-12； 定稿日期：2019-06-08 基金項目：國家自然科學基金項目(61762061)；江西省自然科學基金項目(0161ACB20004)；江西省智慧城市重點實驗室項目(20192BCD40002) 第一作者：鄒芳園(1995-)，女，江西上饒人，碩士研究生。主要研究方向為圖形圖像處理、計算機視覺等。E-mail：ncuzoufangyuan@163.com 通信作者：閔衛(wèi)東(1966-)，男，江西贛州人，教授，博士，博士生導師。主要研究方向為圖形圖像處理、圖形學、人工智能、大數(shù)據(jù)、智慧城市信息技術。E-mail：minweidong@ncu.edu.cn