周 恒 （1. 上海市建筑科學(xué)研究院有限公司上海建筑機(jī)械安全智能控制工程技術(shù)研究中心， 上海 0003；. 上海市建筑科學(xué)研究院科技發(fā)展有限公司， 上海 01506）

在“雙碳”目標(biāo)日益緊迫的背景下，中國(guó)信息通信研究院發(fā)布《企業(yè)數(shù)字化轉(zhuǎn)型藍(lán)皮報(bào)告—新 IT 賦能實(shí)體經(jīng)濟(jì)低碳綠色轉(zhuǎn)型》，聚焦石油石化、電力和制造 3 個(gè)碳排放能耗大戶，對(duì)其數(shù)字化最新進(jìn)展、轉(zhuǎn)型成效、痛點(diǎn)難點(diǎn)、相關(guān)技術(shù)、業(yè)務(wù)場(chǎng)景與轉(zhuǎn)型路徑進(jìn)行了深度剖析。工信部智能制造試點(diǎn)示范項(xiàng)目數(shù)據(jù)顯示，相關(guān)制造企業(yè)在數(shù)字化、智能化轉(zhuǎn)型后，其能源利用率平均提升 16.1%，最高達(dá)到 1.25 倍，節(jié)能降耗正向賦能作用顯著。通過(guò)以上數(shù)據(jù)可以看到，在推進(jìn)“雙碳”工作實(shí)施落地的過(guò)程中，新 IT 相關(guān)數(shù)字技術(shù)正成為驅(qū)動(dòng)產(chǎn)業(yè)綠色低碳改造、實(shí)現(xiàn)節(jié)能降耗減排的重要引擎，正成為促進(jìn)能源效率提升、能源結(jié)構(gòu)優(yōu)化的重要?jiǎng)恿?，正成為推?dòng)企業(yè)發(fā)展模式綠色低碳轉(zhuǎn)型、實(shí)現(xiàn)人與自然和諧共生的重要手段。

推進(jìn)數(shù)字化轉(zhuǎn)型升級(jí)和實(shí)現(xiàn)智能制造，是傳統(tǒng)制造業(yè)的必經(jīng)之路，制造業(yè)的核心是生產(chǎn)，數(shù)字化生產(chǎn)是指企業(yè)應(yīng)用新 IT 數(shù)字技術(shù)如數(shù)字孿生、人工智能、大數(shù)據(jù)等，從計(jì)劃、質(zhì)量、物料、設(shè)備等多維度實(shí)現(xiàn)自感知、自決策，以達(dá)到智能化的目標(biāo)。作為數(shù)字化生產(chǎn)的源頭，全面準(zhǔn)確地預(yù)測(cè)分析客戶的需求，對(duì)于計(jì)劃調(diào)度的優(yōu)化和產(chǎn)能的合理配置都是極其重要的，能夠有效降低市場(chǎng)的不確定性對(duì)生產(chǎn)的沖擊，對(duì)歷史客戶需求數(shù)據(jù)的分析以及對(duì)未來(lái)一段時(shí)間內(nèi)的需求預(yù)測(cè)，是發(fā)揮大數(shù)據(jù)輔助決策功能的重要基礎(chǔ)。

生產(chǎn)需求預(yù)測(cè)具有典型的時(shí)間序列數(shù)據(jù)特征，具有不穩(wěn)定性、隨機(jī)性、復(fù)雜性等特征。針對(duì)時(shí)間序列預(yù)測(cè)問(wèn)題，現(xiàn)有的主要研究成果方向，主要包括經(jīng)典的線性回歸模型和基于機(jī)器學(xué)習(xí)的預(yù)測(cè)模型。由于時(shí)間序列數(shù)據(jù)基本屬于非線性，因此機(jī)器學(xué)習(xí)的預(yù)測(cè)模型效果要遠(yuǎn)好于線性回歸模型。本文選擇機(jī)器學(xué)習(xí)中的 LSTM 循環(huán)神經(jīng)網(wǎng)絡(luò)，它具有出色的非線性擬合能力，能夠有效提升預(yù)測(cè)效果。

1 循環(huán)神經(jīng)網(wǎng)絡(luò)

1.1 基礎(chǔ)循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）

RNN 網(wǎng)絡(luò)結(jié)構(gòu)如圖 1 所示，RNN 模型在 t 時(shí)刻的輸入為 Xt，上一時(shí)刻的狀態(tài) zt-1傳遞到當(dāng)前時(shí)刻，并與參與當(dāng)前運(yùn)算，獲得當(dāng)前時(shí)刻的輸出 Yt和狀態(tài) zt，并將 zt傳遞到下一時(shí)刻，影響下一時(shí)刻的運(yùn)算，運(yùn)算公式簡(jiǎn)化如式(1)和(2)所示，其中的 a、b、c、u、v、w 為參數(shù)，通過(guò)模型訓(xùn)練后獲得最優(yōu)解。

圖1 RNN 網(wǎng)絡(luò)結(jié)構(gòu)圖

1.2 長(zhǎng)短期記憶循環(huán)神經(jīng)網(wǎng)絡(luò)（LSTM）

相較于傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)無(wú)差別的記憶所有信息，導(dǎo)致重要信息經(jīng)過(guò)長(zhǎng)期迭代后丟失，LSTM 采用了“門控制”的思想，忘記門將部分無(wú)用信息剔除，更新門確定給記憶細(xì)胞添加哪些信息，輸出門篩選需要輸出的信息[1]。因此，在深層次網(wǎng)絡(luò)結(jié)構(gòu)中，也能留下重要信息并傳遞下去，可以解決長(zhǎng)期時(shí)序信息處理時(shí)梯度消失的問(wèn)題[2]。LSTM 的單元網(wǎng)絡(luò)結(jié)構(gòu)如圖 2 所示。

圖2 LSTM 網(wǎng)絡(luò)結(jié)構(gòu)圖

其中 LSTM 的核心部分為單元狀態(tài)如式（3）所示。

遺忘門原理：ft是一個(gè)[0,1]的向量如公式（4）所示，通過(guò)單位乘運(yùn)算，將上個(gè)單元的 Ct-1的部分特征信息保留到 Ct中。通常使用 sigmoid 作為激活函數(shù)，sigmoid 的輸出是一個(gè) [0,1] 區(qū)間內(nèi)的值，計(jì)算公式如式（5）所示。

輸入門原理： it如公式（6）所示，和 ft一樣也是一個(gè)[0,1]的向量，用于控制將 Ct有用的特征更新 Ct，同樣由 Xt和 ht-1經(jīng)由 sigmoid 激活函數(shù)計(jì)算而成。Ct表示單元狀態(tài)更新值如式（7）所示，由輸入數(shù)據(jù) Xt和隱節(jié)點(diǎn) ht-1經(jīng)由一個(gè)神經(jīng)網(wǎng)絡(luò)層得到，單元狀態(tài)更新值的激活函數(shù)通常使用 tanh 如圖 2 所示 。

輸出門原理：輸出 ht由 ot和單元狀態(tài) Ct計(jì)算得到，其中 ot的計(jì)算方式和 ft以及 it相同，ot、ht計(jì)算如式（9）、式（10）所示。

以上公式中的 Wf、Wi、Wo為隨機(jī)權(quán)重參數(shù)，bf、bi、bo為偏置參數(shù)。

2 循環(huán)神經(jīng)網(wǎng)絡(luò)的產(chǎn)品排產(chǎn)預(yù)測(cè)模型

2.1 建模流程及方法

本文通過(guò)某建筑機(jī)械制造工廠的實(shí)際數(shù)據(jù)做分析，使用神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)排產(chǎn)預(yù)測(cè)，建模和訓(xùn)練主流程如圖 3 所示。收集 2019—2022年的某客戶的銷售數(shù)據(jù)，將 2019年和 2020年的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集，2021年和 2022年的數(shù)據(jù)作為測(cè)試數(shù)據(jù)集，為了數(shù)據(jù)更快收斂將數(shù)據(jù)進(jìn)行歸一化處理。首先進(jìn)行數(shù)據(jù)預(yù)處理，把數(shù)據(jù)轉(zhuǎn)換成可以用于 RNN 輸入的數(shù)據(jù)。接著建立 RNN 模型，通過(guò)訓(xùn)練數(shù)據(jù)集訓(xùn)練 RNN 模型，得到預(yù)測(cè)模型，再將測(cè)試數(shù)據(jù)導(dǎo)入預(yù)測(cè)模型獲得預(yù)測(cè)結(jié)果，并將預(yù)測(cè)結(jié)果與實(shí)際數(shù)據(jù)做對(duì)比。

圖3 建模和訓(xùn)練流程圖

數(shù)據(jù)初始化：選用長(zhǎng)度為 7 個(gè)數(shù)據(jù)的窗口，對(duì)第 8 個(gè)數(shù)據(jù)進(jìn)行預(yù)測(cè)，對(duì)未來(lái)一周的產(chǎn)品銷售情況進(jìn)行預(yù)測(cè)。提取數(shù)據(jù)方法如圖 4 所示，形成樣本數(shù) 250 個(gè)，序列長(zhǎng)度為 7 ，數(shù)據(jù)維度為 1。

圖4 數(shù)據(jù)初始化方法

2.2 基礎(chǔ) RNN 建模及結(jié)果

首次建模參數(shù)采用單層 RNN 結(jié)構(gòu)，輸出 5 個(gè)神經(jīng)元，激活函數(shù)選用 ReLU，輸出層選用單神經(jīng)元，激活函數(shù)選用 linear，配置參數(shù)中優(yōu)化器選用 adam，損失函數(shù)選用最小均方誤差（MSE）。

30 個(gè)樣本計(jì)算一次梯度下降，經(jīng)過(guò) 1000 次訓(xùn)練后，損失函數(shù)值為 0.0107，效果不是很理想。如圖 5 所示，藍(lán)色為測(cè)試數(shù)據(jù)集的實(shí)際曲線，黃色為預(yù)測(cè)數(shù)據(jù)曲線，在徒增和陡降時(shí)擬合的效果不佳。利用訓(xùn)練后的模型對(duì)測(cè)試組數(shù)據(jù)進(jìn)行預(yù)測(cè)，結(jié)果如圖 6 所示，兩條曲線也是欠擬合狀態(tài)。

圖5 訓(xùn)練數(shù)據(jù)集預(yù)測(cè)結(jié)果圖

圖6 測(cè)試數(shù)據(jù)集預(yù)測(cè)結(jié)果圖

2.3 LSTM 循環(huán)神經(jīng)網(wǎng)絡(luò)建模及結(jié)果

設(shè)置模型常量：采用函數(shù)式構(gòu)造流程，設(shè)置 2 層 LSTM，1 層全連接，1 層 dropout，最后連接 1 層全連接。預(yù)測(cè)輸入神經(jīng)元個(gè)數(shù)為 5 個(gè)，LSTM 單元中的神經(jīng)元個(gè)數(shù)為 10，LSTM 單元個(gè)數(shù)為 7，輸出神經(jīng)元個(gè)數(shù)為 1，學(xué)習(xí)率為 0.0007。

神經(jīng)網(wǎng)絡(luò)變量：隨機(jī)產(chǎn)生輸入和輸出層的權(quán)重，以及 dropout 參數(shù)。

LSTM 的輸入樣本為（samples, timesteps, features），根據(jù)訓(xùn)練集生成時(shí)間序列樣本數(shù)據(jù)集為（249，7，1）共 249 個(gè)樣本，測(cè)試集生成時(shí)間序列樣本數(shù)據(jù)集為（125，7，1）共 125 個(gè)樣本，lookback 設(shè)置為 7，用前 7 天的數(shù)據(jù)來(lái)預(yù)測(cè)下一天的數(shù)據(jù)。

32 個(gè)樣本計(jì)算一次梯度下降，經(jīng)過(guò) 100 次訓(xùn)練后，損失函數(shù)值為 3.0750×10－8，效果較理想。如圖 7 所示，為訓(xùn)練集預(yù)測(cè)數(shù)據(jù)，藍(lán)色為訓(xùn)練數(shù)據(jù)集的實(shí)際曲線，黃色為預(yù)測(cè)數(shù)據(jù)曲線，曲線擬合度較高。如圖 8 所示，為測(cè)試集預(yù)測(cè)情況，效果也較為理想。

圖7 訓(xùn)練數(shù)據(jù)集預(yù)測(cè)結(jié)果圖

圖8 測(cè)試數(shù)據(jù)集預(yù)測(cè)結(jié)果圖

2.4 RNN 建模與 LSTM 建模比較與優(yōu)化

對(duì)建筑機(jī)械制造工廠的 2019—2022年的某客戶的銷售數(shù)據(jù)運(yùn)用 RNN 和 LSTM 分別進(jìn)行建模分析，通過(guò)損失函數(shù)對(duì)兩個(gè)模型進(jìn)行評(píng)價(jià)，結(jié)果如下表 1。

表1 RNN 與 LSTM 模型效果比較表

從兩者預(yù)測(cè)結(jié)果圖中可以看到兩種模型都有預(yù)測(cè)滯后問(wèn)題，把測(cè)試集的真實(shí)值及預(yù)測(cè)值畫出來(lái)對(duì)比一下，就會(huì)發(fā)現(xiàn) t 時(shí)刻的預(yù)測(cè)值往往是 t-1 時(shí)刻的真實(shí)值，也就是模型傾向于把上一時(shí)刻的真實(shí)值作為下一時(shí)刻的預(yù)測(cè)值，導(dǎo)致兩條曲線存在滯后性，也就是真實(shí)值曲線滯后于預(yù)測(cè)值曲線，就像圖 6 和圖 8 所顯示的那樣。之所以會(huì)這樣，是因?yàn)樾蛄写嬖谧韵嚓P(guān)性，如一階自相關(guān)指的是當(dāng)前時(shí)刻的值與其自身前一時(shí)刻值之間的相關(guān)性[2]。因此，如果一個(gè)序列存在一階自相關(guān)，模型學(xué)到的就是一階相關(guān)性。而消除自相關(guān)性的辦法就是進(jìn)行差分運(yùn)算，也就是我們可以將當(dāng)前時(shí)刻與前一時(shí)刻的差值作為我們的回歸目標(biāo)。

3 結(jié)語(yǔ)

基于 LSTM 雙向循環(huán)神經(jīng)網(wǎng)絡(luò)算法的排產(chǎn)預(yù)測(cè)模型能夠有效精準(zhǔn)的預(yù)測(cè)客戶的需求，提前量有利于生產(chǎn)計(jì)劃安排，也助于產(chǎn)能的合理規(guī)劃，錯(cuò)峰用電節(jié)約成本，提高抵抗疫情、氣候、市場(chǎng)、原料等不確定因素的影響，使得企業(yè)具有更高的生產(chǎn)管理韌性。