余 玨 丁 一 林國龍

(上海海事大學(xué)物流研究中心 上海 201306)

0 引 言

國內(nèi)港口的費率表主要是對不同箱型下各種尺寸的集裝箱的裝卸作業(yè)費用、中轉(zhuǎn)費用等的描述。就港口裝卸作業(yè)方面來看，港口企業(yè)在實際運作過程中會根據(jù)服務(wù)對象(集裝箱)類型提出相應(yīng)的收費標(biāo)準(zhǔn)(費率)，而這個收費標(biāo)準(zhǔn)相對來說是固定不變的。因此，國內(nèi)港口均存在內(nèi)外貿(mào)費率偏低且港口費率長期不變的問題，而國際港口的費率每年隨市場變化進(jìn)行調(diào)整。我國港口費率(即價格)長期不動導(dǎo)致雙方差距逐漸增大，不利于港口經(jīng)濟(jì)發(fā)展。所以，我國港口也需要隨市場變化調(diào)整費率，以縮減我國港口與國際港口間的差距，促進(jìn)港口經(jīng)濟(jì)的發(fā)展。因市場變化由多種因素造成，包括有港口企業(yè)間的競爭關(guān)系，船公司的需求等。本文僅以船公司所提出的需求作為市場變化的衡量指標(biāo)，從單船裝卸作業(yè)時間的層面探討研究在需求變化的前提下港口的定價決策問題。裝卸利潤是指港口企業(yè)的基本業(yè)務(wù)利潤，約占港口企業(yè)總利潤的80%以上，其變動的主要原因有裝卸操作量、平均單位收入、單位成本等。定價策略的優(yōu)劣會直接影響港口企業(yè)(為不同的船公司提供服務(wù)后)的裝卸利潤。在此前提下，本文將單船裝卸作業(yè)時間作為需求，以單船裝卸利潤最大化為主要目標(biāo)，研究港口在需求不斷變動的環(huán)境下的定價策略，從而促進(jìn)企業(yè)經(jīng)濟(jì)的發(fā)展，有效提高港口企業(yè)的競爭力。

根據(jù)研究意義可以看出，港口進(jìn)行動態(tài)定價決策具有一定的實際意義。本文將研究有關(guān)港口企業(yè)的動態(tài)定價問題，分別對國內(nèi)港口定價問題的相關(guān)研究和國內(nèi)外動態(tài)定價的相關(guān)研究進(jìn)行綜述說明，從而得知動態(tài)定價問題的現(xiàn)有研究內(nèi)容、方法和應(yīng)用領(lǐng)域等。根據(jù)綜述內(nèi)容，本文將選擇合適的方法并應(yīng)用在國內(nèi)港口企業(yè)中。

關(guān)于港口定價問題的研究：文獻(xiàn)[1]使用運輸成本優(yōu)化模型估計潛在需求。文獻(xiàn)[2]結(jié)合了兩種工具來研究印度加爾各答危機(jī)港口系統(tǒng)，構(gòu)建船舶行為微觀經(jīng)濟(jì)模型;使用適當(dāng)非線性方程的雙重價格計算全均衡需求彈性(彈性)，將其與預(yù)期的利潤最大化行為的基準(zhǔn)值進(jìn)行比較。文獻(xiàn)[3]重點介紹了集裝箱港口優(yōu)化空間分配和最優(yōu)定價的優(yōu)先制度確定；考慮貨物的內(nèi)在、物流貨物價值和集裝箱各種要求的能力約束建立模型。模型在各個方向上擴(kuò)展了經(jīng)典價格差異理論，即反彈性規(guī)則。周鑫等[4]在改進(jìn)的Hotelling模型基礎(chǔ)上,構(gòu)建雙壟斷港口企業(yè)的定價模型,以實例說明港口企業(yè)采用差別定價策略的動機(jī)。劉文忠[5]認(rèn)為我國市場化導(dǎo)向的價格規(guī)制改革仍不完善，進(jìn)一步改革的方向?qū)⒓性谀壳耙?guī)制較為嚴(yán)格的外貿(mào)運輸方面，應(yīng)實行價格上、下限制?？锖２ǖ萚6]深入探討低碳轉(zhuǎn)型下的港口質(zhì)押貸款利率決策理論,借助看跌期權(quán)反映客戶違約風(fēng)險、質(zhì)押貨物的碳排風(fēng)險，采用VaR方法界定港口存貨類質(zhì)押率；建立低碳港口流動性較強(qiáng)存貨類物流質(zhì)押貸款利率決策模型。汪挺松等[7]針對目前船舶在港碳排放高的現(xiàn)象,提出引入價格補(bǔ)償機(jī)制的港航合作模式：通過價格補(bǔ)償機(jī)制對港方和船方在港航合作模式中的收益與損失進(jìn)行分配。

關(guān)于國內(nèi)外動態(tài)定價問題的研究：文獻(xiàn)[8]采用了啟發(fā)式算法研究標(biāo)準(zhǔn)的動態(tài)定價問題。文獻(xiàn)[9]主要解決多目標(biāo)動態(tài)定價問題。文獻(xiàn)[10]使用時間歸一化的收入或利潤函數(shù)；以普通微分方程(ODE)方程的形式得出定價問題的分析解。文獻(xiàn)[11]研究動態(tài)定價的線性、指數(shù)和多項Logitech模型，并且提出了使用神經(jīng)網(wǎng)絡(luò)模型以解決動態(tài)定價問題。文獻(xiàn)[12]建立定價政策的問題來提高在固定期限內(nèi)銷售給定庫存的收入；提出Q-learning和Q(λ)算法并比較使用蒙特卡羅模擬的學(xué)習(xí)算法的性能。文獻(xiàn)[13]將具有隨機(jī)擾動的庫存系統(tǒng)被建模為連續(xù)時間隨機(jī)微分方程；綜合動態(tài)定價和生產(chǎn)控制，開發(fā)最大化總貼現(xiàn)利潤的隨機(jī)動態(tài)優(yōu)化問題。文獻(xiàn)[14]循一階馬爾科夫隨機(jī)過程，參考效應(yīng)導(dǎo)致最優(yōu)價格路徑與預(yù)期穩(wěn)態(tài)價格的單調(diào)收斂，研究近期動態(tài)定價研究趨勢，綜述多產(chǎn)品、競爭以及需求信息有限的問題的文獻(xiàn)。文獻(xiàn)[15]主要研究一個壟斷公司銷售一種具有無限庫存的單一類型產(chǎn)品的情況；在一定時間段內(nèi)，產(chǎn)品的預(yù)期需求是隨機(jī)市場過程和取決于銷售價格的已知函數(shù)的總和。文獻(xiàn)[16]提出價格應(yīng)該隨著時間的推移被打折，以最大化預(yù)期收益；使用動態(tài)遞歸，其中每個決策階段根據(jù)經(jīng)典經(jīng)濟(jì)壟斷定價理論與銷售數(shù)據(jù)估計的需求強(qiáng)度函數(shù)進(jìn)行優(yōu)化。文獻(xiàn)[17]提出需求的不確定性是可以通過觀察銷售情況解決的；為賣家的最優(yōu)動態(tài)決策問題制定了嚴(yán)格的上限，并使用馬爾科夫決策過程(POMDP)框架來研究時尚產(chǎn)品賣家面臨的動態(tài)定價問題。

基于以上綜述分析得知：

(1) 這些港口企業(yè)對不同的船公司制定定價策略的文獻(xiàn)均是從靜態(tài)定價出發(fā)，很少考慮動態(tài)定價問題。文獻(xiàn)一般以操作箱量作為需求進(jìn)行研究，以裝卸作業(yè)中單船裝卸作業(yè)時間作為需求的文獻(xiàn)不多。

(2) 目前有部分文獻(xiàn)已使用相關(guān)理論方法確定庫存或產(chǎn)品需求的動態(tài)變化帶來的影響。本文就是在此基礎(chǔ)上研究單船裝卸作業(yè)時間變動的需求不確定性問題。現(xiàn)有文獻(xiàn)中多數(shù)采用啟發(fā)式算法求解供應(yīng)鏈中的動態(tài)定價問題，采用Q-learning算法的研究并不多。

(3) 動態(tài)定價問題的主要研究對象為供應(yīng)鏈中的定價政策問題，主要有庫存問題、多產(chǎn)品競爭問題等，極少有關(guān)于港口動態(tài)定價問題的研究。解決動態(tài)定價的模型有線性、指數(shù)和多項Logitech模型，神經(jīng)網(wǎng)絡(luò)模型，連續(xù)時間隨機(jī)微分方程，馬爾科夫決策過程框架等。本文研究在市場環(huán)境不穩(wěn)定的前提下港口企業(yè)的動態(tài)定價問題，馬爾科夫決策過程適用于研究港口企業(yè)的動態(tài)定價問題。

因此，本文研究港口企業(yè)在應(yīng)對不同的船公司提出的減少單船裝卸作業(yè)時間的要求時，以單船裝卸作業(yè)利潤最大化為目標(biāo)，采用Q-learning算法求解動態(tài)定價策略的問題。Q-learning算法改善了因單船裝卸作業(yè)時間變動而導(dǎo)致單船裝卸作業(yè)成本變動頻繁的缺陷。

1 問題描述

港口吞吐量是衡量港口生產(chǎn)任務(wù)大小的主要數(shù)量指標(biāo)，其中形成吞吐量的唯一來源是進(jìn)出港口船舶所裝卸的貨物。裝卸貨物的時間即為單船裝卸作業(yè)時間，該時間是制定動態(tài)定價策略的重要影響因素。某船只的裝卸作業(yè)需要不同操作機(jī)械花費相應(yīng)的時間進(jìn)行裝卸服務(wù)。裝卸過程中調(diào)用不同的操作機(jī)械，且操作時間不同會產(chǎn)生相應(yīng)的單船裝卸成本，從而需要合理定價以達(dá)到單船裝卸作業(yè)利潤的最大化。

單船裝卸作業(yè)時間的影響因素可以分為人為和技術(shù)影響因素。人為因素是指船公司所提出的減少單船裝卸作業(yè)時間的要求；技術(shù)因素是指單船操作箱量，不同箱型和操作箱量需要不同的操作機(jī)械花費相應(yīng)時間進(jìn)行裝卸作業(yè)服務(wù)。本文主要從人為因素出發(fā)，研究該因素下港口企業(yè)的動態(tài)定價問題，估計因人為因素導(dǎo)致的成本變動，確定單船裝卸作業(yè)時間對定價的影響。本節(jié)通過船舶裝卸作業(yè)的特點判斷單船裝卸作業(yè)時間的人為因素變動導(dǎo)致的成本變動原因：(1) 在船公司提出縮減單船裝卸作業(yè)時間(即希望能夠提前完成裝卸任務(wù))的要求時，港口企業(yè)需要調(diào)動各項操作資源，直接導(dǎo)致成本的變動。(2) 為提高對某船只的服務(wù)效率，需要變動船舶泊位計劃，這勢必會產(chǎn)生額外的成本費用，若定價不變則會導(dǎo)致利潤減少，因此單船裝卸作業(yè)時間對定價的影響十分重要。

本文不考慮船舶泊位計劃變動產(chǎn)生的額外成本費用，以單船裝卸作業(yè)時間為研究對象，由成本特性及單船裝卸作業(yè)時間的重要性，確定動態(tài)定價過程如下：

(1) 對某到港船舶，確定單船操作箱量、單船裝卸作業(yè)時間與不同箱型的操作箱量。

(2) 根據(jù)歷史數(shù)據(jù)確定單船操作箱量與單箱價格、單船裝卸作業(yè)時間的函數(shù)關(guān)系。

(3) 估計船公司提出的單船裝卸作業(yè)時間變動要求所產(chǎn)生的預(yù)期估計誤差，使用TDABC (time-driven activity-based costing) 方法[18]，從橋吊、內(nèi)集卡、堆場機(jī)械資源時的角度來衡量額外的單船變動成本，得出單船總成本函數(shù)。

(4) 計算單船總成本并得出單船裝卸利潤，使利潤最大化的定價即為最優(yōu)單箱價格。

(5) 港口對同一船公司提供裝卸服務(wù)，其單船裝卸作業(yè)時間是不同的。船公司會在縮減單船裝卸作業(yè)時間方面提出相同或不同的要求，本文將以箱型為分類變量得出更加精確的價格集。

本文中，港口對同一船公司的定價做出如下假設(shè)：在單船裝卸作業(yè)時間給定的前提下，改變船公司對單船裝卸作業(yè)時間的要求，即減少單船裝卸作業(yè)時間，每一個要求會產(chǎn)生唯一的單箱價格集合。單箱價格與單船操作箱量和單船裝卸作業(yè)時間具有一定關(guān)聯(lián)性，為應(yīng)對每個要求，選擇合適的機(jī)械資源時策略，該策略能產(chǎn)生唯一的最小單船變動成本。

2 模型建立

因為港口對某船公司提供的裝卸作業(yè)服務(wù)(即單船裝卸作業(yè)時間)是不同的,相同的減少要求對不同的單船裝卸作業(yè)時間的影響是不同的。所以模型中提出的所有參數(shù)均以固定的單船裝卸作業(yè)時間為基礎(chǔ)。

2.1 集 合

箱量類型集合I,I={1,2,…,n}，機(jī)械類型集合J，J={1,2,…,m}。

2.2 參 數(shù)

T(P,S):單箱價格為P、單船操作箱量為S和單船裝卸作業(yè)時間T的函數(shù)關(guān)系式，由歷史定價數(shù)據(jù)結(jié)合logit模型確定。

C:單船裝卸總成本。

C1:單船裝卸固定成本。

C2:船公司提出的減少單船裝卸作業(yè)時間所產(chǎn)生的單船變動成本。

Tij:箱型i使用機(jī)械j進(jìn)行操作時的單位作業(yè)耗用資源時(產(chǎn)能)，i∈I,j∈J。

cj:機(jī)械j的單位作業(yè)產(chǎn)能成本，即各操作機(jī)械類型：內(nèi)集卡、吊橋、堆場作業(yè)時產(chǎn)生的單位作業(yè)成本，j∈I。

sj:機(jī)械j的操作箱量，即作業(yè)動因量，j∈J。

si:不同箱型i對應(yīng)的箱量，i∈I。

Tcz:船公司提出需要減少的單船裝卸作業(yè)時間。

m:單船變動成本可以增加的最大值。

2.3 決策變量

xij:表示是否選擇改變箱型i所需機(jī)械j的資源時(產(chǎn)能)，i∈I,j∈J。

pi:港口對船公司提出的箱型i的單箱價格，根據(jù)港口對不同船公司的歷史定價數(shù)據(jù)確定價格的上下限，pi∈[pl,ph],i∈I；pl、ph分別價格上、下限；0≤pl≤ph≤∞。

2.4 數(shù)學(xué)模型(DP)

(1)

約束條件：

pl≤pi≤ph?i∈I

(2)

?t∈N

(3)

?t∈N

(4)

目標(biāo)函數(shù)式(1)表示不同箱型的價格為p={p1,…,pi,…,pn}，與對應(yīng)箱量為s={s1,…,si,…,sn}時的期望單船裝卸利潤最大化。單船裝卸總成本C由單船固定成本C1和單船變動成本C2構(gòu)成:

C=C1+C2

(5)

t∈N

(6)

式中：Ti(Pi,Si)是指得知歷史單箱價格為Pi，箱量為Si時得到的單船裝卸作業(yè)時間為Ti；T(P,S)是由歷史數(shù)據(jù)集合：單船裝卸作業(yè)時間集合DT(T1,…,Ti,…,Tn)， 單船的單箱價格集合DP(P1,…,Pi,…,Pn)和單船操作箱量集合DS(S1,…,Si,…,Sn)結(jié)合logit模型得出：

(7)

式中：b1、b2分別為歷史單箱價格和歷史單船箱量對于單船歷史裝卸作業(yè)時間的預(yù)期估計誤差，B為客戶基數(shù)。

因歷史數(shù)據(jù)中未有明確的不同箱型的單箱價格，本文使用pt表示在t時刻所有箱型的平均單箱價格。將pt代入歷史數(shù)據(jù)集合DP中尋找對應(yīng)的P，并從集合DS得出相對應(yīng)的S；將P和S代入式(7)求解得到t時刻對應(yīng)的單船裝卸作業(yè)時間T。

(8)

Ti(Pi,Si)為根據(jù)歷史數(shù)據(jù)Pi、Si得出的單船裝卸作業(yè)時間Ti，T(P,S)為由歷史數(shù)據(jù)集合結(jié)合logit模型擬定的函數(shù)關(guān)系表達(dá)式。

3 基于Q-learning算法的港口動態(tài)定價策略

3.1 港口對于船公司制定的動態(tài)定價策略

Q-learning算法[12]是求解馬爾科夫鏈(MDP)的值迭代方法，選擇合適的動作狀態(tài)對并在t時刻得出每一個狀態(tài)state(s)采取某動作action(a)的反饋reward(r)；定義Q(s,a)表示每個狀態(tài)s所對應(yīng)a的效用值矩陣，更新Q矩陣：

Q(st,at)=Q(st,at)+α×(r+γ×

max(Q(st+1,a))-Q(st,at))

(9)

初始化：N、b1、b2、B、si、Tcz、單船操作箱量所確定的單船裝卸作業(yè)時間T、探索率ε、折扣因子γ、學(xué)習(xí)速率α。

使用ε判定a是探索或?qū)W習(xí)，若a需要學(xué)習(xí)則利用目前Q矩陣中最大值Q所對應(yīng)的a，否則在A中隨機(jī)選擇不同箱型的單箱價格作為a。狀態(tài)值為s時采取動作a后得到下一個狀態(tài)值，即s′。使用MATLAB調(diào)用yalmip工具箱計算0-1整數(shù)規(guī)劃得到xij及其產(chǎn)生的單船變動成本C1，得到立即回報值r。

用式(9)迭代更新Q矩陣，在迭代終止時選擇Q矩陣中的最優(yōu)Q值得到s和a，即單船不同箱型的最優(yōu)單箱價格。

最優(yōu)Q矩陣中選定的a為港口企業(yè)在應(yīng)對不同的船公司提出不同單船裝卸作業(yè)時間的情況下，為達(dá)到裝卸作業(yè)利潤最大化的目標(biāo)所制定的動態(tài)價格。

要注意的是，港口對同一船公司提供裝卸服務(wù)，其單船裝卸作業(yè)時間是不同的。最優(yōu)單箱價格是指在固定單船裝卸作業(yè)時間的前提下得到的不同箱型的價格集合。對某一單船裝卸作業(yè)時間來說，改變Tcz得出的最優(yōu)單箱價格集合是該單船裝卸作業(yè)時間的動態(tài)定價表。港口對同一船公司的動態(tài)定價策略是由不同單船裝卸作業(yè)時間的動態(tài)定價表構(gòu)成的。

3.2 約束條件限制策略

算法1港口動態(tài)定價的Q-learning算法

初始化：

k=1,s=1,Q(s,a)=0，其中，s∈S,a∈A

設(shè)定ε、γ、α，大迭代次數(shù)κ

對于所有k≤K

Step1：狀態(tài)s,使用ε-greedy策略選擇利用或探索a

Step2：狀態(tài)s下采取動作a，式(1)得到立即回報值r，式(8)得到下一狀態(tài)s′

Step3：

Q(st,at)=Q(st,at)+α×(r+γ×max(Q(st+1,a))-Q(st,at))，s←s′

Step4：重復(fù)Step2、Step3；直到s′=max(s)時停止

約束限制策略如下：

1) 式(2)限定a∈A(s)，設(shè)定:

s={0,0.1,0.2,…,30}

2) 式(3)求解結(jié)果精確度在±0.01小時；式(4)最大成本值為5萬元。

3) 已知s、s′、r；若r<0，令s′=s；否則由式(9)更新Q矩陣。

4)Q(s,a)矩陣維度大，規(guī)定s和a為單精度；為使得式(4)求解精確，計算s′時采用雙精度，輸出s′結(jié)果時調(diào)整為單精度。由精度引起的變動會導(dǎo)致一定程度上選取s所在id困難，規(guī)定若無法正確選取s的id，令s′=s。

4 案例分析

4.1 定價策略的細(xì)分及參數(shù)確定

為確保動態(tài)定價策略符合實際需求，以2016年上海港對船公司1的歷史定價數(shù)據(jù)作為主要參考，并輔以其余3大船公司的歷史定價信息，確定單船裝卸作業(yè)時間和單船操作箱量的分界線。歷史定價信息中并未有明確的不同箱型的單箱價格，僅以單船裝卸總利潤除以總箱量得出單船的單箱價格。式(2)的上下限如圖1所示。結(jié)果表明：單船操作箱量分界點為2 000 TEU、單船裝卸作業(yè)時間分界點為20小時；確定單船裝卸作業(yè)時間的上、下限分別為10小時和40小時；上海港對船公司1、2、3、4制定的單箱價格下限分別為700元/TEU、300元/TEU、550元/TEU，510元/TEU，上限設(shè)置為1 000元/TEU。同時引入箱型因素，使得定價策略更為精確?；谏虾８蹖Υ?的歷史數(shù)據(jù)如表1所示。使用1stopt軟件估計式(7)中的參數(shù)：b1=0.000 1，b2=0.728，B=1 653.4。使用2016年12個月的產(chǎn)能成本數(shù)據(jù)計算得出各操作機(jī)械的產(chǎn)能成本率，如表2所示。

圖1 上海港對4大船公司的歷史單箱價格、單船操作箱量、 單船裝卸作業(yè)時間的箱線圖

單船裝卸作業(yè)時間/小時單箱價格/元單船操作箱量/TEU11.5075625311.3366284212.678081 00411.007751 10811.507001 15810.506471 18011.838191 30311.257911 54623.338001 76711.005981 81922.508022 03922.336882 17723.507322 21022.337692 24224.166042 28423.006092 47125.005952 79923.507132 87733.678013 91134.506944 620

表2 各機(jī)械產(chǎn)能成本率產(chǎn)能

4.2 算法參數(shù)與單船裝卸利潤的分析

動態(tài)定價策略是根據(jù)不同的船公司對港口企業(yè)提出的減少單船裝卸作業(yè)時間Tcz的要求制定的，不同的單船裝卸作業(yè)時間在不同的Tcz變動影響下均能夠產(chǎn)生相應(yīng)的價格集。Tcz的變動會導(dǎo)致單船裝卸成本變動，從而影響單船裝卸利潤，本節(jié)將使用單船裝卸利潤作為衡量指標(biāo)。為了能夠明確感受使用Q-learning算法制定的動態(tài)定價策略對于單船裝卸利潤的影響，本節(jié)從是否連續(xù)減少單船裝卸作業(yè)時間進(jìn)行舉例說明。

首先，設(shè)定單船裝卸作業(yè)時間Tcz均減少1小時，取滑動窗口N=21，根據(jù)4.1節(jié)中求解得出的參數(shù)，以上海港對四大船公司的歷史單船裝卸作業(yè)時間為主要依據(jù)，使用Q-leaning算法求解得出不同的最優(yōu)單箱價格集合。因同一船公司在不同月份會有不同的單船裝卸作業(yè)時間，即在1～12月份均由相對應(yīng)的定價表，所得定價表的數(shù)據(jù)量過大，本文將12個月份劃分成了四季。定價表將從單船裝卸作業(yè)時間、單船操作箱量和季節(jié)三個方面綜合得出上海港對四大船公司的定價表，如表3所示。相同月份中只要單船裝卸作業(yè)時間不同，則會產(chǎn)生唯一最優(yōu)價格。同時，不同月份中單船裝卸作業(yè)時間相同或者不同時也有對應(yīng)的唯一價格。因?qū)?2個月份劃分成了四季，在表中顯示的最優(yōu)價格結(jié)合了季節(jié)中三個月的價格形成了最優(yōu)價格區(qū)間。結(jié)果表明：上海港對不同公司在相同箱型下的定價策略受到單船裝卸作業(yè)時間和單船操作箱量的影響。以公司1為例，當(dāng)單船裝卸作業(yè)時間小于20小時并變動至20小時以上的情況下，F(xiàn)R、RF的變動不明顯，約在800～1 000元/TEU；GP、HC、OT和TK 在單船裝卸作業(yè)時間小于或者大于20小時的情況下，隨月份的增加價格趨勢變動劇烈。從整體定價來看，除6月份外，定價隨單船裝卸作業(yè)時間的增長呈上升趨勢，且在8到12月份間差距明顯。單船裝卸作業(yè)時間小于20小時的情況下，公司1-公司3的單船操作箱量均2 000 TEU以下；公司4則幾乎沒有單船裝卸作業(yè)時間低于20小時的情況出現(xiàn)。上海港對不同的船公司定價時需要充分考慮船公司單船操作箱量和單船裝卸作業(yè)時間，充分應(yīng)對船公司提出的減少單船裝卸作業(yè)時間的要求并制定合理以及詳細(xì)的價格表。

表3 上海港對于4大船公司的定價表

其次，以上海港對船公司1的動態(tài)定價策略為例，本節(jié)從兩方面舉例說明動態(tài)定價策略如何應(yīng)用于實際以及使用Q-leaning算法求解后其參數(shù)對于單船裝卸利潤的影響。(1) 船公司1要求減少的單船裝卸作業(yè)時間不變，改變Q-learning算法中的參數(shù)。以折扣因子為例，隨單船裝卸作業(yè)時間的增長，折扣因子對單船裝卸利潤的影響如圖2所示。結(jié)果表明：隨單船裝卸作業(yè)時間增長，單船裝卸利潤呈現(xiàn)單調(diào)上升趨勢。折扣因子從0.1變動至0.7時，單船裝卸利潤增至352.77萬元，0.7至0.9時降至159.89萬元。(2) 船公司1要求減少的單船裝卸作業(yè)時間發(fā)生變動，而Q-learning算法中的參數(shù)不變。以學(xué)習(xí)速率為例，船公司1要求單船裝卸作業(yè)時間減少0.3、0.6、0.9、1.2和1.5小時，即={0.3,0.6,0.9,1.2,1.5}。學(xué)習(xí)速率對單船裝卸利潤的影響如圖3所示。結(jié)果表明：根據(jù)單船裝卸作業(yè)時間的減少情況，單船裝卸利潤隨著學(xué)習(xí)速率的增加呈先增后減的趨勢。例如單船裝卸作業(yè)時間減少0.3小時的情況下，學(xué)習(xí)速率為0.3時單船裝卸利潤達(dá)到106.16萬元；學(xué)習(xí)速率為0.9時單船裝卸利潤降至106.09萬元。相同學(xué)習(xí)率，單船裝卸作業(yè)時間由10.5小時減少至9小時的情況下，單船裝卸利潤波動明顯。例如學(xué)習(xí)速率為0.7時，單船裝卸作業(yè)時間為9.9小時，單船裝卸利潤達(dá)到最小值為105.90萬元；單船裝卸作業(yè)時間為9.6小時單船裝卸利潤達(dá)到最大值為106.14萬元。因此，Tc2的變動和Q-learning算法中參數(shù)的變動對于單船裝卸利潤有顯著的影響。

圖2 以折扣因子為分類的裝卸時間遞增時的 單船利潤趨勢圖

圖3 單船裝卸作業(yè)時間逐漸減少時的學(xué)習(xí)速率從0.1 至0.9以0.2的增量遞增的單船利潤趨勢圖

5 結(jié) 語

本文運用Q-learning算法求解得出港口企業(yè)對不同的船公司所制定的動態(tài)定價策略，得出以下結(jié)論：

(1) 學(xué)習(xí)速率越大，保留之前經(jīng)驗的效果越少；折扣因子γ越大，Q(s，a)作用越大。同時學(xué)習(xí)速率對于單船裝卸利潤的影響大于折扣因子，但是過大的學(xué)習(xí)速率、折扣因子會導(dǎo)致動作a被以往經(jīng)驗所限制，利潤值陷入局部最優(yōu)；過大的探索率會導(dǎo)致a過于自由探索，易忽略以往最優(yōu)經(jīng)驗。在實際應(yīng)用中，可以將今年的實際數(shù)據(jù)作為最終需要求解得到定價策略的依據(jù)，使用前幾年的數(shù)據(jù)代入模型算法中求解得出合適的折扣因子和學(xué)習(xí)速率，并分析選擇相應(yīng)的折扣因子和學(xué)習(xí)速率作為已知條件，最后使用今年的實際數(shù)據(jù)得出相應(yīng)決策。

(2) 上海港實際數(shù)據(jù)分析表明，對同一船公司在相同箱型下的定價策略亦受到單船裝卸作業(yè)時間的影響。上海港對不同的船公司定價時，需要充分考慮該公司通常所需的單船操作箱量及單船裝卸作業(yè)時間，制定合理以及詳細(xì)的定價策略。本文所提出的基于Q-learning算法的動態(tài)定價策略可以有效提高港口企業(yè)的競爭力，能夠及時有效地應(yīng)對船公司提出的不同需求并得出相應(yīng)的動態(tài)定價策略，促進(jìn)港口經(jīng)濟(jì)的發(fā)展。從案例結(jié)果可以看出，單船裝卸作業(yè)時間對單船裝卸利潤具有很大的影響。為提高單船裝卸利潤，港口可以從單船裝卸作業(yè)時間著手，提高單船裝卸效率，減少單船裝卸成本。因單船裝卸作業(yè)時間與港口裝卸設(shè)備等一系列基礎(chǔ)設(shè)施有關(guān)。為實現(xiàn)高效的單船裝卸效率，港口可通過數(shù)字化、自動化技術(shù)，提升碼頭作業(yè)運作能力，改善港口信息不透明狀況，提升對單船裝卸作業(yè)流程的設(shè)備、人員等資源充分使用、檢測、維修的能力。