張 柏，凌彩金，李露青，周巧儀，Zhenfeng Li，宋飛虎，宋春芳

基于數據融合策略的紅茶發(fā)酵程度判別

張 柏1，凌彩金2，李露青3，周巧儀2，Zhenfeng Li1，宋飛虎1，宋春芳1※

（1. 江南大學機械工程學院/江蘇省食品先進制造裝備技術重點實驗室，無錫 214122；2. 廣東省農業(yè)科學院茶葉研究所/廣東省茶樹資源創(chuàng)新利用重點實驗室，廣州 510640；3. 安徽農業(yè)大學茶與食品科技學院/安徽農業(yè)大學茶樹生物學與資源利用國家重點實驗室，合肥 230036）

發(fā)酵是紅茶加工過程中關鍵的一道工序，對紅茶的品質形成有著重要影響。該研究以大葉種英德紅茶中的英紅九號為研究對象，試驗收集了204份不同發(fā)酵時間的紅茶樣品并使用便攜式近紅外光譜儀和工業(yè)相機獲取紅茶發(fā)酵中的信息，基于近紅外光譜數據、圖像數據和數據融合策略分別建立了紅茶發(fā)酵程度判別模型。通過分析茶多酚和兒茶素類含量的變化，將紅茶的發(fā)酵劃分為3個階段，即發(fā)酵不足、發(fā)酵適度和發(fā)酵過度。采用Savitzky-Golay光滑對原始光譜進行預處理，利用競爭自適應重加權采樣（Competitive Adaptive Reweighted Sampling, CARS）、連續(xù)投影算法（Successive Projections Algorithm, SPA）和主成分分析（Principal Components Analysis, PCA）對近紅外光譜變量進行降維處理；相應地，圖像進行去陰影后提取了9個顏色特征變量，采用皮爾森（Pearson）相關分析和主成分分析進行特征變量提取。最后采用線性判別分析（Linear Discriminant Analysis, LDA）和支持向量機（Support Vector Machine, SVM）分別建立了基于近紅外、圖像和兩者數據融合的分類模型。結果表明，在建模數據相同的條件下，非線性的支持向量機模型性能優(yōu)于線性判別分析模型。單一傳感器數據建模效果不佳，近紅外光譜和圖像判別模型的預測集最大準確率僅為83.82%和73.53%。低層次數據融合建模效果較單一傳感器數據建模無明顯提升，而中層次的數據融合建模效果比單一數據建模均有顯著提高，其中SPA提取光譜變量結合Pearson提取圖像變量建立的判別模型效果較佳，校正集和預測集準確率分別達到了97.06%和95.59%。研究表明，近紅外光譜和視覺結合的中層次融合策略可以作為一種快速判別紅茶發(fā)酵程度的方法，研究結果為紅茶發(fā)酵程度構建等級模型與判別奠定了一定的理論基礎，為紅茶發(fā)酵的自動化檢測提供了重要依據。

近紅外光譜；機器視覺；紅茶發(fā)酵；數據融合；判別模型

0 引 言

茶是傳統(tǒng)三大非酒精植物型飲料之一，它不僅美味可口，而且還有一定健康功能。在國際市場上，紅茶是很受歡迎的茶類之一。近年來，隨著紅茶的藥用價值和保健作用被科學實驗進一步證實[1-5]，全球范圍內紅茶的消費量持續(xù)增長。英德紅茶是中國主要名優(yōu)茶之一，2018年的總產量達到7 700 t，品牌價值達20.78億元[6]。茶葉主要產于廣東省清遠市英德市，因其濃厚、強烈、鮮爽的特征，在國內外市場中贏得了一致好評。研究表明，英德紅茶水浸出物中茶多酚、總兒茶素、茶黃素和茶紅素含量為國內紅茶中最高，茶褐素含量最低[7]，這些物質的含量形成了英德紅茶獨有的風味。紅茶的傳統(tǒng)加工工藝包括萎凋、揉捻、發(fā)酵和干燥。其中，發(fā)酵過程被認為是最重要的步驟，因為在發(fā)酵過程中茶葉的化學成分發(fā)生了極大的改變，茶多酚和兒茶素類發(fā)生酶促氧化反應生成茶黃素、茶紅素和茶褐素等物質[8-10]，從而形成了茶的色、香、味、質。傳統(tǒng)功夫紅茶的最佳發(fā)酵時間約在3 h左右[11-12]，而英德紅茶因茶多酚含量高等的特點，所需發(fā)酵時間比傳統(tǒng)紅茶長。因此，確定適宜的英德紅茶發(fā)酵時間至關重要，探索茶多酚、兒茶素類在發(fā)酵過程中含量的變化有利于確定適宜的發(fā)酵程度。

傳統(tǒng)方法中，茶師們根據經驗從發(fā)酵茶葉的香氣和顏色的變化來判斷紅茶發(fā)酵的質量，該方法具有較高的主觀性、不完全準確且重現(xiàn)性差，無法保證每批加工茶葉的質量[13]。目前，企業(yè)使用氣相色譜-質譜分析法和高效液相色譜法等化學方法來檢測品質成分，但這類方法的分析成本高、耗時長、需要員工具有一定的專業(yè)技能且無法及時反饋[11]，無法實現(xiàn)紅茶加工的自動化、智能化。近幾年，一些無損快速檢測技術被應用在紅茶加工過程中，如電子鼻[14-15]和電子舌技術[16-17]。然而，電子鼻和電子舌都受環(huán)境的影響很大，且設備成本高昂無法在工業(yè)中廣泛應用。

近年來，近紅外光譜技術（Near Infrared Spectroscopy, NIRS）由于其無損性和快速性在食品加工過程中得到廣泛應用，尤其在茶葉領域取得了良好的效果，廣泛應用于茶葉等級劃分[18]、產地溯源[19]、摻假研究[20]、貯藏年限檢測[21]和茶葉生化成分定量檢測[22-24]。機器視覺（Computer Vision, CV）是一種仿生技術，使用工業(yè)相機模擬視覺功能來獲取被測樣品圖像，通過圖像處理來獲取樣品的顏色、紋理和形狀等信息。目前, 機器視覺已經較為成熟地應用于農業(yè)和食品工程領域，如張瑞青等[25]提出了一種基于遷移學習的圖像識別方法，可實現(xiàn)花生莢果等級識別；李小占等[26]利用卷積神經網絡結合圖像處理來檢測哈密瓜的表面缺陷；李修華等[27]利用圖像的顏色特征變量來檢測葉片的葉綠素含量。已有研究表明，機器視覺可以檢測紅茶發(fā)酵質量[28-29]。由于紅茶發(fā)酵過程的復雜性，顏色和風味的變化都涉及其中，單一的傳感器很難對樣本信息進行全面準確的描述。Jin等[12]的研究表明，將近紅外數據與計算機視覺數據融合可以幫助提高評價紅茶發(fā)酵程度準確率，但是該研究的設備為臺式傅立葉近紅外光譜儀，它體積龐大且價格昂貴，難以在實際的生產中使用。微型近紅外光譜儀因其價格低廉、易于攜帶等特點被應用于茶葉領域[30-31]。研究表明，微型近紅外光譜儀結合機器視覺可以較好地評價紅茶發(fā)酵程度[32]，但是微型近紅外光譜儀的數據傳遞途徑為藍牙，藍牙傳遞數據的距離較短、速率較低且信號不穩(wěn)定容易受環(huán)境影響。

因此，本研究采用便攜式近紅外光譜系統(tǒng)和自行搭建的圖像采集系統(tǒng)分析紅茶發(fā)酵質量。該光譜采集系統(tǒng)使用通用串行總線（Universal Serial Bus, USB）傳輸數據，信號較穩(wěn)定、抗干擾能力較強；使用Y型光纖采集光譜可以使得數據采集端與數據接收端分離，避免光譜儀在高濕度的發(fā)酵環(huán)境下工作，更適用于實際生產。通過分析不同發(fā)酵時間的茶多酚和兒茶素類含量的變化規(guī)律，基于近紅外光譜和機器視覺單獨評價紅茶發(fā)酵的性能，比較中低層次數據融合方法與單一傳感器數據建模的優(yōu)劣, 為紅茶發(fā)酵程度構建等級模型與判別，紅茶發(fā)酵的自動化檢測提供依據。

1 材料與方法

1.1 材料與試劑

1.1.1 材 料

試驗于2021年10月在廣東省清遠市英德市鴻雁茶葉有限公司進行，茶鮮葉品種為英紅9號，以一芽兩嫩葉方式采摘茶葉。茶鮮葉在萎凋槽中均勻分布，在24 ℃左右溫度下風扇萎凋22 h左右，含水率為56%～58%。隨后，通過皮帶輸送至揉捻機，揉捻約90 min。隨后茶葉運輸至發(fā)酵室，溫度恒定控制在24 ℃，空氣相對濕度為90% 以上，發(fā)酵時間延長至8 h使樣本可以覆蓋到過度發(fā)酵階段，每0.5 h采集12個樣品，本研究共采集204份樣品。樣品采集過程中，還進行了近紅外光譜和計算機視覺試驗。然后，將204份樣品使用干冰保存運輸至實驗室，置于?80 ℃冰箱中保存待用。

1.1.2 試 劑

乙腈、甲醇、乙酸、乙二胺四乙酸二鈉、抗壞血酸、碳酸鈉、福林酚（國藥集團化學試劑有限公司）；沒食子酸、咖啡堿、沒食子兒茶素、表沒食子兒茶素、兒茶素、表兒茶素、表沒食子兒茶素沒食子酸酯、沒食子兒茶素沒食子酸酯、表兒茶素沒食子酸酯、兒茶素沒食子酯（上海源葉生物科技有限公司）。

1.2 儀器設備

自動化萎凋設備和揉捻設備組（廣東省農業(yè)科學院茶葉研究所）；FA124C電子分析天平、HH-2數顯恒溫水浴鍋（上海力辰邦西儀器科技有限公司）；TG-16G型高速離心機（上海川一實驗儀器有限公司）；1260高效液相色譜儀（美國安捷倫科技有限公司）；T6紫外分光光度計（北京普析通用儀器有限責任公司）。

1.3 光譜采集

紅茶發(fā)酵過程中，在24 ℃環(huán)境溫度下，采用便攜式近紅外光譜系統(tǒng)以吸收模式在900～2 500 nm范圍內掃描采集了所有茶葉樣品的光譜信息。光譜儀積分時間設置為100 ms，每條光譜曲線為32次掃描結果的平均值，其平均掃描時間為3.2 s，光譜平滑窗口默認為0，每份樣品采集3條曲線，取3次光譜平均值為該份樣品的光譜曲線。該系統(tǒng)由一臺筆記本電腦、一臺便攜式近紅外光譜儀（NIR2500，上海復享光學股份有限公司）、一個鹵素光源（HL2000，上海復享光學股份有限公司）、一個檢測平臺、一根7股Y型光纖（FIB-Y-200-NIR，上海復享光學股份有限公司）、一個校正白板（STD-WS，上海復享光學股份有限公司）和一根USB數據傳輸線組成。

1.4 圖像采集

本研究采用自建的計算機視覺系統(tǒng)獲取茶葉發(fā)酵過程中的圖像信息。該系統(tǒng)包括一臺筆記本電腦、一個（40×40×40）cm3的暗箱配有4個光源和一個工業(yè)相機。相機的鏡頭被固定在暗箱的頂部，以確保恒定的角度和拍攝距離。另外，在圖像采集前20 min打開暗箱內光源，保持暗箱內環(huán)境穩(wěn)定。試驗中，每份樣品稱量10 g，放入直徑8 cm的玻璃培養(yǎng)皿中并把茶葉樣品的表面壓平，然后將培養(yǎng)皿放在暗箱中攝像機的視場中采集圖像。

1.5 品質成分檢測

對試驗樣品其進行冷凍干燥并采用磨粉機進行磨粉。參照GB/T 8313-2018 《茶葉中茶多酚和兒茶素類含量的檢測方法》[33]，發(fā)酵紅茶中茶多酚含量的測定采用福林酚比色法，用紫外分光光度計在765 mm處測量被測溶液的吸收值；兒茶素類的含量使用高效液相色譜儀在流速1 mL/min、檢測波長278 nm條件下測量。

1.6 數據融合

數據融合是將不同來源的數據進行融合，主要是利用互補的輸入數據來增強組合技術之間的協(xié)同作用，以充分了解分析目標，獲得良好的分類和預測結果。數據融合策略分為低層次融合、中層次融合和高層次融合。低層次數據融合為多傳感器數據直接聯(lián)合成一個矩陣進行多維變量分析；中層次的融合是提取每個傳感器的特征變量并基于特征變量進行融合；高層次的融合處理每個傳感器數據并做出判斷，最后對所有決策進行融合，這需要精確的數據處理。根據文獻結果[11-12,32]，本文選擇了中低水平的數據融合進行數據處理。

2 結果與分析

2.1 紅茶發(fā)酵程度品質成分分析

在紅茶發(fā)酵過程中，茶多酚和兒茶素類物質在多酚氧化酶的作用下發(fā)生氧化聚合生成紅茶特有的風味物質。茶多酚含量變化如圖1a所示，茶多酚平均含量在發(fā)酵開始最高達到23.47%，在0.5～2.0 h之間，茶多酚含量迅速下降，降解率達到24.27%，表明茶多酚在此期間被迅速氧化；在2.5～3.5 h茶多酚含量持續(xù)下降，下降速率較之前有所變緩；在4.0～5.0 h之間茶多酚含量基本不變，降解率在29.75%～30.60%范圍內，表明在此期間只有極少量茶多酚被氧化；5.5 h以后又有些許茶多酚被氧化并持續(xù)到8 h，最終降解率達到37.46%。如圖1b所示，兒茶素類含量變化與茶多酚具有相似的變化規(guī)律，前期兒茶素類含量迅速下降，后放緩慢下降，在4～5 h趨于平緩，5 h后緩慢下降。

圖1 發(fā)酵期間茶多酚和兒茶素類含量變化

在發(fā)酵前期，茶多酚迅速氧化降解生成茶黃素和茶紅素[34-35]，隨著紅茶的持續(xù)發(fā)酵，茶多酚持續(xù)降解，在發(fā)酵4～5 h之間，茶多酚極少降解。在發(fā)酵過程中，茶黃素和茶紅素同時會進一步氧化聚合生成茶褐素，從而形成紅茶特有的風味[36]。5.5 h以后僅些許茶多酚被氧化，但在此期間茶黃素和茶紅素會持續(xù)氧化聚合生成茶褐素，茶褐素過多會使得紅茶顏色發(fā)暗，影響紅茶的口感，導致過度發(fā)酵。因此，根據茶多酚和兒茶素類發(fā)酵過程中降解率的變化并結合茶葉現(xiàn)場評審專家的判斷，將紅茶發(fā)酵樣品劃分為3個階段，即發(fā)酵不足、發(fā)酵適度和發(fā)酵過度。如表1所示，茶多酚降解率為0～28.16%，兒茶素類降解率為0～47.57%被劃分為發(fā)酵不足；茶多酚降解率為29.75%～30.60%，兒茶素類降解率為49.41%～50.27%被劃分為發(fā)酵適度；茶多酚降解率為32.23%～37.46%，兒茶素類降解率為53.86%～59.99%被劃分為發(fā)酵過度。

表1 發(fā)酵紅茶的分組

2.2 近紅外光譜數據分析

2.2.1 光譜預處理

試驗采集樣品900～2 500 nm波長的近紅外光譜曲線，光譜兩端因噪聲影響較大需要去除，故取950～2 400 nm范圍內的波形。圖2a為紅茶發(fā)酵試驗0～8 h每組樣品的平均近紅外光譜原始圖，在光譜曲線上存在的許多粗糙毛刺清晰可見，這是由于光譜采集過程中產生的噪聲干擾造成的，因此原始光譜需要進行預處理。本文采用Savitzky-Golay(S-G)光滑對發(fā)酵樣品曲線進行預處理，預處理后平均光譜如圖2b所示，毛刺的形貌明顯改善，表明噪聲降低。圖2a和b中的光譜曲線顯示，在1 140～1 160、1 430～1 450和1 920～1 940 nm三個波長范圍內存在明顯的吸收峰。1 150 nm的吸收峰可能與游離氨基酸的烯烴C-H二級倍頻和兒茶素類的甲基C-H二級倍頻有關；1 440 nm的吸收峰可能是由水的O-H一級倍頻導致的；1 930 nm左右的吸收峰可歸因于的水的O-H組合頻[11,32]。

由于光譜變量數量較大，且含有與發(fā)酵茶葉信息無關的冗余變量，需要對光譜進行降維處理。本文采用了競爭自適應重加權采樣、連續(xù)投影算法和主成分分析對光譜數據進行精簡。

利用競爭自適應重加權采樣（Competitive Adaptive Reweighted Sampling, CARS）對S-G光滑處理的光譜進行有效波長的篩選，本試驗蒙特卡羅采樣次數設置為50，采用10倍交叉驗證建模來評估每個變量，其結果如圖3a、b、c所示，當采樣次數為22次時，其交互驗證均方根誤差（Root Mean Square Error of Cross Validation, RMSECV）最小，篩選出29個特征波長。連續(xù)投影算法（Successive Projections Algorithm, SPA）是一種前向特征變量選擇方法，該方法可以有效地消除原始光譜矩陣中的冗余信息，運用SPA提取光譜的特征波長結果如圖3d所示，共選出17個特征波長。

圖2 茶葉樣品的原始光譜和S-G光滑預處理光譜曲線

圖3 競爭自適應重加權采樣和連續(xù)投影算法篩選的特征波長

2.2.2 光譜變量降維

主成分分析（Principal Components Analysis, PCA）不僅可以對光譜數據進行降維處理，而且可以可視化紅茶發(fā)酵過程中樣品的分布。如圖4所示，前三個主成分解釋了總方差的92.76%（PC1=61.18%，PC2=19.97%，PC3=11.61%），圖中可以看出三個發(fā)酵階段的樣本存在一定范圍內的聚集，這表明對近紅外光譜數據使用主成分分析并不能很好地判別紅茶發(fā)酵程度。

圖4 發(fā)酵紅茶光譜數據的主成分分析

2.3 圖像數據分析

不同發(fā)酵時間的紅茶圖像如圖5a所示，從圖中可以看出，茶葉顏色從青綠色逐漸向深紅色變化，到4 h左右綠色幾乎消失，這是由于隨著發(fā)酵的進行茶多酚和兒茶素類被氧化生成茶色素，且葉綠素降解為脫鎂葉綠素[37]。

對采集的圖像進行一定的預處理后提取顏色特征值（,,,,,,,,），其結果如圖5b,c,d所示。在發(fā)酵0～4 h期間，特征值呈現(xiàn)總體快速上升趨勢，值變化趨勢不明顯，其余顏色特征均有明顯的下降趨勢，這與圖1所示的化學成分變化趨勢相一致。在4～5 h期間，達到最高峰值、達到最低峰值，葉片顏色的紅色程度最高。5 h后，代表發(fā)酵葉片紅色程度的、、值趨于平緩，代表黃藍顏色通道的仍有下降趨勢，發(fā)酵葉片呈現(xiàn)棕色，紅茶的感官質量下降。

圖5 不同發(fā)酵時間的茶葉圖像及其顏色特征變量

采用皮爾森（Pearson）相關分析來評估顏色變量與多酚和兒茶素類濃度之間的關系，結果如圖6所示。值與茶多酚和兒茶素類的相關性均很低，值與茶多酚（=?0.511）和兒茶素類（=?0.510）均呈一定的負相關，其他顏色變量均與多酚和兒茶素類濃度均呈顯著正相關（>0.6）。、、與茶多酚相關系數分別為0.898、0.885、0.917，與兒茶素類相關系數分別為0.900、0.881、0.934，它們之間均顯著相關，因此使用Pearson相關性分析提取了、和三個顏色特征。

注：紅色和藍色分別表示正相關和負相關，顏色越深、圓面積越大表示相關性越強; ‘×’表示顯著性水平P>0.05。

對圖像9個顏色特征變量進行主成分分析，結果如圖7所示，前三個主成分很好地解釋了總方差的99.91%（PC1=80.56%，PC2=11.14%，PC3=8.21%），圖中可以看出三個發(fā)酵階段的樣本存在一定范圍內的聚集，這與近紅外光譜數據主成分分析結果相似，表明圖像數據的主成分分析并不能很好地判別紅茶發(fā)酵程度。

圖7 發(fā)酵紅茶圖像數據的主成分分析

2.4 單一傳感器數據建模

在建立預測模型之前，使用Kennard-Stone(K-S)法以2:1的比例將204份試驗驗樣品劃分為校正集和預測集。光譜數據和圖像數據均建立了線性判別分析（Linear Discriminant Analysis, LDA）和支持向量機（Support Vector Machine, SVM）判別模型，校正集和預測集的建模判別結果如表2所示。通過比較LDA和SVM判別模型，可以發(fā)現(xiàn)SVM模型性能總體優(yōu)于LDA模型，這可能是由于紅茶發(fā)酵過程是不平衡的，非線性的支持向量機模型更適用于紅茶發(fā)酵程度判別。近紅外光譜數據的全光譜建模與三種降維方法CARS、SPA、PCA建立的SVM模型校正集準確率分別為72.79%、99.26%、98.53%、73.53%，對應的預測集準確率分別為70.59%、83.82%、77.94%、64.71%，光譜采集的較佳模型為采用CARS特征提取的SVM模型，校正集和預測集準確率均為80%以上，取得比較滿意的結果。機器視覺圖像9個顏色變量數據整體建模與Pearson、PCA處理方法建立的SVM模型校正集準確率分別為86.03%、84.56%、86.03%，相應的預測集準確率分別為73.53%、70.59%、72.06%，較佳模型的預測集準確率為73.53%，取得結果欠佳。這一結果表明，紅茶發(fā)酵的化學變化是一個非常復雜的過程，單一傳感器對發(fā)酵程度的判定并不能取得良好的結果。

2.5 數據融合建模

紅茶發(fā)酵是一個復雜的過程，涉及顏色和多種風味物質化學成分的變化。因此，獲取單一傳感器數據來評價紅茶發(fā)酵質量是不夠的，需要結合兩種傳感器數據進行聯(lián)合建模。本文采用低層次和中層次數據融合策略進行建模，模型判別準確率如表2所示。通過對比可以發(fā)現(xiàn)，通過特征提取的中層次數據融合策略建立的LDA和SVM模型效果均優(yōu)于低層次數據融合策略，其原因可能是低層次數據融合直接融合全部光譜數據和圖像數據建模，這些數據可能包含了與發(fā)酵程度無關的變量，導致了建模效果較差；SVM模型預測準確性皆比LDA模型高，這結果與單一傳感器建模效果類似，可能因為紅茶發(fā)酵過程是不均衡的，線性判別模型適用性會比較低。使用CARS特征提取光譜數據結合Pearson提取圖像數據、SPA特征提取光譜數據結合Pearson提取圖像數據和都使用PCA降維處理建立SVM預測模型的校正集準確率分別為100.00%、97.06%、99.26%，對應的預測集準確率分別為85.30%、95.59%、86.77%。對比單一傳感器近紅外較佳模型的預測集準確率83.82%和圖像數據較佳模型的預測集準確率73.53%，中層次數據融合建模效果總體上比單一傳感器數據建模有所提升。

表2 不同數據源的紅茶發(fā)酵程度判別準確率對比

注：為誤差懲罰因子，為核函數參數。

Note: Parameterrepresents error penalty factor, andrepresents kernel function parameter.

其中，使用SPA提取光譜變量結合Pearson提取圖像變量建立的判別模型效果最佳，校正集和預測集準確率分別達到了97.06%和95.59%，模型具體判別效果如圖8所示。在校正集中，模型可以很好辨別出發(fā)酵不足樣品，有8.33%的發(fā)酵適度樣品被誤判為過度發(fā)酵，4.76%的發(fā)酵過度樣品被誤判為發(fā)酵適度；在預測集中，模型對發(fā)酵不足樣品判別的準確率為100%，8.33%的發(fā)酵適度樣品被誤判為發(fā)酵過度，6.67%的發(fā)酵過度樣品被誤判為發(fā)酵適度?？傮w而言，中層次數據融合方法在紅茶發(fā)酵適度判別中取得了比較令人滿意的結果，來自兩種傳感器數據的互補很好地體現(xiàn)紅茶發(fā)酵的特征現(xiàn)象，提高了發(fā)酵判別的準確率。

注：標簽IF、MF、EF分別代表了發(fā)酵不足、適度發(fā)酵和過度發(fā)酵。

3 結 論

本文利用近紅外光譜技術結合機器視覺來判別英德紅茶的發(fā)酵程度并分析了其可行性。為了克服發(fā)酵過程的高濕環(huán)境，建立了一種便攜式近紅外光譜系統(tǒng)實現(xiàn)了光譜采集端與接收端的分離。試驗主要結論如下：

1）近紅外光譜和圖像數據單獨建模較優(yōu)判別準確率分別為83.82%和73.53%，其效果不佳；

2）低層次數據融合建模效果較單一傳感器數據建模沒有明顯提升，這可能是因為融合的數據中含有較多的無關變量；

3）中層次數據融合在評價紅茶發(fā)酵度方面優(yōu)于單一傳感器，說明從單個傳感器獲得的信息不足以代表紅茶發(fā)酵全部信息?；谶B續(xù)投影算法（Successive Projections Algorithm, SPA）和皮爾森（Pearson）相關分析特征提取的中層融合支持向量機（Support Vector Machine, SVM）模型的分類準確率最高，校正集和預測集準確率分別達到了97.06%和95.59%。該研究結果為紅茶發(fā)酵過程的自動化提供了理論基礎，為實現(xiàn)便攜式近紅外光譜儀結合工業(yè)相機自動化監(jiān)控紅茶發(fā)酵過程提供科學依據。

[1] Shan Z G, Nisar M F, Li M X, et al. Theaflavin chemistry and its health benefits [J]. Oxidative Medicine and Cellular Longevity, 2021, 2021: 6256618.

[2] Zhang H, Qi R L, Mine Y. The impact of oolong and black tea polyphenols on human health [J]. Food Bioscience, 2019, 29: 55-61.

[3] Yan Z M, Zhong Y Z, Duan Y H, et al. Antioxidant mechanism of tea polyphenols and its impact on health benefits[J]. Animal Nutrition, 2020, 6(2): 115-123.

[4] Rasheed Z. Molecular evidences of health benefits of drinking black tea[J]. International Journal of Health Sciences-IJHS, 2019, 13(3): 1-3.

[5] Chakraborty K, Dey A, Bhattacharyya A, et al. Anti-fibrotic effect of black tea () extract in experimental pulmonary fibrosis [J]. Tissue & Cell, 2019, 56: 14-22.

[6] 位亞路，劉路星. 基于SWOT-PEST分析法的茶產業(yè)高質量發(fā)展研究：以英德紅茶產業(yè)為例[J]. 清遠職業(yè)技術學院學報，2022，15(1)：30-40.

Wei Yalu, Liu Luxing. Study on high quality development of black tea industry based on SWOT-PEST analysis: Taking Yingde black tea industry as an example[J]. Journal of Qingyuan Polytechnic, 2022, 15(1): 30-40. (in Chinese with English abstract).

[7] 范捷. 英德茶文化與英德紅茶品質特征研究[D]. 長沙：湖南農業(yè)大學，2019.

Fan Jie. Study on Yingde Tea Culture and the Quality Characteristic of Yingde Black Tea[D]. Changsha: Hunan Agricultural University, 2019. (in Chinese with English abstract)

[8] Wang H J, Shen S, Wang J J, et al. Novel insight into the effect of fermentation time on quality of Yunnan Congou black tea[J]. LWT-Food Science and Technology, 2022, 155: 112939.

[9] Hua J J, Wang H J, Yuan H B, et al. New insights into the effect of fermentation temperature and duration on catechins conversion and formation of tea pigments and theasinensins in black tea[J]. Journal of the Science of Food and Agriculture, 2022, 102(7): 2750-2760.

[10] Dong C W, Yang C S, Liu Z Y, et al. Nondestructive testing and visualization of catechin content in black tea fermentation using hyperspectral imaging[J]. Sensors, 2021, 21(23): 8051.

[11] Wang Y J, Li L Q, Zhang Z Z. Enhanced quality monitoring during black tea processing by the fusion of NIRS and computer vision[J]. Journal of Food Engineering, 2021, 304: 110599.

[12] Jin G, Wang Y J, Li L Q, et al. Intelligent evaluation of black tea fermentation degree by FT-NIR and computer vision based on data fusion strategy[J]. LWT-Food Science and Technology, 2020, 125: 109216.

[13] Zhu H K, Liu F, Ye Y, et al. Application of machine learning algorithms in quality assurance of fermentation process of black tea based on electrical properties[J]. Journal of Food Engineering, 2019, 263: 165-172.

[14] Sharmilan T, Premarathne I, Wanniarachchi I, et al. Electronic nose technologies in monitoring black tea manufacturing process[J]. Journal of Sensors, 2020, 2020: 3073104.

[15] Ghosh S, Tudu B, Bhattacharyya N, et al. A recurrent Elman network in conjunction with an electronic nose for fast prediction of optimum fermentation time of black tea[J]. Neural Computing & Applications, 2019, 31(2): 1165-1171.

[16] Ren G X, Li T H, Wei Y M, et al. Estimation of Congou black tea quality by an electronic tongue technology combined with multivariate analysis[J]. Microchemical Journal, 2021, 163: 105899.

[17] Ouyang Q, Yang Y C, Wu J Z, et al. Measurement of total free amino acids content in black tea using electronic tongue technology coupled with chemometrics[J]. LWT-Food Science and Technology, 2020, 118: 108768.

[18] Ren G X, Wang Y J, Ning J M, et al. Highly identification of keemun black tea rank based on cognitive spectroscopy: Near infrared spectroscopy combined with feature variable selection [J]. Spectrochimica Acta Part A: Molecular and Biomolecular Spectroscopy, 2020, 230: 118079.

[19] 陳琦，潘天紅，李魚強，等. 基于卷積神經網絡和近紅外光譜的太平猴魁茶產地鑒別分析[J]. 光譜學與光譜分析，2021，41(9)：2776-2781.

Chen Qi, Pan Tianhong, Li Yuqiang, et al. Geographical origin discrimination of Taiping Houkui tea using convolutional neural network and near-Infrared spectroscopy[J]. Spectroscopy and Spectral Analysis, 2021, 41(9): 2776-2781. (in Chinese with English abstract).

[20] Dong C W, Liu Z Y, Yang C S, et al. Rapid detection of exogenous sucrose in black tea samples based on near-infrared spectroscopy[J]. Infrared Physics & Technology, 2021, 119: 103934.

[21] Ou Q H, Li J M, Yang X E, et al. Identification of Pu’er raw tea with different storage years by infrared spectroscopy[J]. Journal of Food Processing and Preservation, 2021, 45(12): e16103.

[22] Zhang S S, Zuo Y M, Wu Q, et al. Development and validation of near-Infrared methods for the quantitation of caffeine, epigallocatechin-3-gallate, and moisture in green tea production[J]. Journal of Analytical Methods in Chemistry, 2021, 2021: 9563162.

[23] Guo Z M, Barimah A O, Shujat A, et al. Simultaneous quantification of active constituents and antioxidant capability of green tea using NIR spectroscopy coupled with swarm intelligence algorithm[J]. LWT-Food Science and Technology, 2020, 129: 109510.

[24] Chen S M, Wang C Y, Tsai, C Y, et al. Fermentation quality evaluation of tea by estimating total catechins and theanine using near-infrared spectroscopy[J]. Vibrational Spectroscopy, 2021, 115: 103278.

[25] 張瑞青，李張威，郝建軍，等. 基于遷移學習的卷積神經網絡花生莢果等級圖像識別[J]. 農業(yè)工程學報，2020，36(23)：171-180.

Zhang Ruiqing, Li Zhangwei, Hao Jianjun, et al. Image recognition of peanut pod grades based on transfer learning with convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(23): 171-180. (in Chinese with English abstract)

[26] 李小占，馬本學，喻國威，等. 基于深度學習與圖像處理的哈密瓜表面缺陷檢測[J]. 農業(yè)工程學報，2021，37(1)：223-232.

Li Xiaozhan, Ma Benxue, Yu Guowei, et al. Surface defect detection of Hami melon using deep learning and image processing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(1): 223-232. (in Chinese with English abstract)

[27] 李修華，盧顯杰，奚金陽，等. 智能手機RGB圖像檢測植物葉片葉綠素含量的通用方法[J]. 農業(yè)工程學報，2021，37(22)：145-151.

Li Xiuhua, Lu Xianjie, Xi Jinyang, et al. Univeisal method to detect the chlorophyll content in plant leaves with RGB images captured by smart phones[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(22): 145-151. (in Chinese with English abstract)

[28] Ren G X, Gan N, Song Y, et al. Evaluating Congou black tea quality using a lab-made computer vision system coupled with morphological features and chemometrics[J]. Microchemical Journal, 2021, 160: 105600.

[29] Dong C W, Liang G Z, Hu B, et al. Prediction of Congou black tea fermentation quality indices from color features using non-linear regression methods[J]. Scientific Reports, 2018, 8(1): 10535.

[30] Wang Y J, Li T H, Li L Q, et al. Evaluating taste-related attributes of black tea by micro-NIRS [J]. Journal of Food Engineering, 2021, 290: 110181.

[31] Li L Q, Wang Y J, Jin S S, et al. Evaluation of black tea by using smartphone imaging coupled with micro-near-infrared spectrometer[J]. Spectrochimica Acta Part A: Molecular and Biomolecular Spectroscopy, 2021, 246: 118991.

[32] Jin G, Wang Y J, Li M H, et al. Rapid and real-time detection of black tea fermentation quality by using an inexpensive data fusion system [J]. Food Chemistry, 2021, 358: 129815.

[33] 國家質量監(jiān)督檢驗檢疫總局，中國國家標準化管理委員會. GB/T 8313-2018茶葉中茶多酚和兒茶素類含量的檢測方法[S]. 北京：中國標準出版社，2018

[34] Chen L, Liu F, Yang Y F, et al. Oxygen-enriched fermentation improves the taste of black tea by reducing the bitter and astringent metabolites[J]. Food Research International, 2021, 148: 110613.

[35] Hua J J, Xu Q, Yuan H B, et al. Effects of novel fermentation method on the biochemical components change and quality formation of Congou black tea[J]. Journal of Food Composition and Analysis, 2021, 96: 103751.

[36] Yang C S, Zhao Y, An T, et al. Quantitative prediction and visualization of key physical and chemical components in black tea fermentation using hyperspectral imaging[J]. LWT-Food Science and Technology, 2021, 141: 110975.

[37] 金戈. 基于數字化技術的紅茶發(fā)酵綜合評價[D]. 合肥：安徽農業(yè)大學，2021.

Jin Ge. Comprehensive Evaluation of Black Tea Fermentation Based on Digital Technology[D]. Hefei: Anhui Agricultural University, 2021. (in Chinese with English abstract)

Discrimination of black tea fermentation degrees based on data fusion strategy

Zhang Bai1, Ling Caijin2, Li Luqing3, Zhou Qiaoyi2, Zhenfeng Li1, Song Feihu1, Song Chunfang1※

(1,,,214122,; 2,510640,; 3,,,230036,)

Fermentation is a key processing step for the quality of black tea. Tea polyphenols (catechins) are generally oxidized by the polyphenol oxidase and peroxidase to form the theaflavins and thearubigins. In this research, the Yinghong NO.9 of Yingde black tea was collected by the kind of one bud and two leaves. The data was collected during different black tea fermentation time using a portable near-infrared spectrometer and a Charge-Coupled Device (CCD) camera. A discriminant model was established for the black tea fermentation degree using near-infrared spectra, images, and the data fusion of spectra and images. Specifically, 204 samples of black tea at different fermentation time were collected to acquire the near-infrared spectrum and images. The content of tea polyphenols was determined using an ultraviolet spectrophotometer with a detection wavelength of 765 nm. The catechins concentration was measured by High-Performance Liquid Chromatography (HPLC) at a flow rate of 1 mL/min and detection wavelength of 278 nm. The contents of tea polyphenols and catechins decreased rapidly in the early period, tending to be flat at 4-5 h, and continued to fall off after 5.5 h. According to the changes in the tea polyphenols and catechins, the fermentation degree of black tea was divided into three stages: insufficient, moderate, and excessive fermentation. Savitzky-Golay smoothing was adopted to process the rough burrs of the original spectrum that were caused by noise interference. Then, the Competitive Adaptive Reweighted Sampling (CARS) and Successive Projections Algorithm (SPA) were applied to reduce the data dimensionality of near-infrared spectral variables, where the feature wavelengths were selected. Meanwhile, nine color feature variables were extracted from the images after shadow removal. Pearson correlation analysis between chemical components and color variables was conducted to extract the feature variables. In addition, the Principal Component Analysis (PCA) was employed to reduce the data dimensionality for the distribution of black tea fermentation samples. The PCA of spectral and image data showed the similar three fermentation stages were not separated significantly, indicating that PCA cannot effectively discriminate the fermentation stage. Finally, the discrimination models were established using the near-infrared, image, and their data fusion through Linear Discriminant Analysis (LDA) and Support Vector Machine (SVM). The comparison of the model showed that the performance of nonlinear SVM models was better than that of LDA models under the same conditions, indicating the unbalanced process of black tea fermentation. Furthermore, a single sensor failed to discriminate the fermentation degree. There was less performance in the models using a single sensor, due mainly to the complex change of fermentation information. In general, the maximum accuracies were only 83.82% and 73.53% for the prediction set of the discrimination models using near-infrared spectra and images, respectively. The performance of the middle-level data fusion models was significantly improved, compared with the models founded on a single sensor, or the low-level data fusion. The reason was that the low-level date fusion brought the variables irrelevant to the black tea fermentation. Among them, better performance was achieved in the SVM discriminant model that was established by SPA extraction of spectral variables and Pearson correlation analysis extraction of image variables, with 97.06% and 95.59% accuracies of calibration and prediction set. Consequently, a rapid and nondestructive method can be used to evaluate the degree of black tea fermentation under the middle-level fusion strategy using near-infrared spectroscopy and computer vision. A theoretical foundation was laid to establish a grade model and discrimination of black tea fermentation degrees. The finding can provide an important basis for the detection and automation of black tea fermentation.

near infrared spectroscopy; computer vision; black tea fermentation; data fusion; discrimination model

10.11975/j.issn.1002-6819.2022.15.037

TS272.3

A

1002-6819(2022)-15-0339-09

張柏，凌彩金，李露青，等. 基于數據融合策略的紅茶發(fā)酵程度判別[J]. 農業(yè)工程學報，2022，38(15)：339-347. doi：10.11975/j.issn.1002-6819.2022.15.037 http://www.tcsae.org

Zhang Bai, Ling Caijin, Li Luqing, et al. Discrimination of black tea fermentation degrees based on data fusion strategy[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(15): 339-347. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.15.037 http://www.tcsae.org

2022-05-09

2022-07-14

廣東省茶樹資源創(chuàng)新利用重點實驗室開放課題（2020KF02）；安徽農業(yè)大學茶樹生物學與資源利用國家重點實驗室開放基金資助項目（SKLTOF20210117）；廣州市科技計劃項目（202002020079）；以農產品為單元的廣東省現(xiàn)代農業(yè)產業(yè)技術體系創(chuàng)新團隊建設項目（茶葉）（2021KJ120）

張柏，研究方向：茶葉智能化加工。Email：dfuczb@126.com

宋春芳，教授，博士生導師，研究方向：農產品無損檢測與控制。Email：songcf@jiangnan.edu.cn