劉雨平 黨凡陽(yáng) 孫偉民

哈爾濱工程大學(xué)物理與光電工程學(xué)院 黑龍江哈爾濱 150001

1 概述

發(fā)展新興交叉學(xué)科，是經(jīng)濟(jì)社會(huì)發(fā)展的現(xiàn)實(shí)需求、“雙一流”建設(shè)的內(nèi)在要求、學(xué)科進(jìn)化的必然趨勢(shì)[1]。在新興交叉學(xué)科背景下，以及社會(huì)對(duì)復(fù)合型人才需求的驅(qū)動(dòng)下，要求研究生需要掌握多領(lǐng)域的專業(yè)知識(shí)。知識(shí)是研究生開展科研工作的基礎(chǔ)，加強(qiáng)研究生對(duì)知識(shí)的掌握是研究生培養(yǎng)的重要內(nèi)容之一，而掌握知識(shí)的關(guān)鍵之一是運(yùn)用，現(xiàn)今研究生課堂通常會(huì)布置大作業(yè)，以鍛煉研究生的獨(dú)立思考和動(dòng)手能力，但是大作業(yè)的完成方式和質(zhì)量與學(xué)生個(gè)體有關(guān)，為了標(biāo)準(zhǔn)化地使學(xué)生充分運(yùn)用所學(xué)知識(shí)，有必要讓大作業(yè)布置標(biāo)準(zhǔn)化。

此外，碩士研究生的擴(kuò)招規(guī)模不斷加大，2020年3月，教育部印發(fā)教學(xué)〔2020〕2號(hào)的通知，提出要擴(kuò)大2021年研究生招生規(guī)模[2]，但是研究生的招生規(guī)模對(duì)高等教育的承載能力提出了嚴(yán)峻考驗(yàn)，并對(duì)高質(zhì)量研究生的培養(yǎng)提出了新挑戰(zhàn)[3]。同時(shí)相關(guān)因素影響，部分高校無(wú)法完全實(shí)現(xiàn)線下教學(xué)，因此，研究生教育又面臨著新的困難。

在此背景下，改進(jìn)教學(xué)手段，提升研究生教學(xué)質(zhì)量，對(duì)研究生培養(yǎng)至關(guān)重要。因此，對(duì)于培養(yǎng)研究生的知識(shí)運(yùn)用能力而言，運(yùn)用高效、便捷的訓(xùn)練方法十分必要。

人工智能的一個(gè)重要領(lǐng)域是機(jī)器學(xué)習(xí)，機(jī)器學(xué)習(xí)已經(jīng)在許多領(lǐng)域得到應(yīng)用，例如，金融[4]、軍事[5]、工程[6]以及教育[7]等領(lǐng)域，但是目前機(jī)器學(xué)習(xí)主要用于解決技術(shù)問題。機(jī)器學(xué)習(xí)的一個(gè)重要分支領(lǐng)域是深度學(xué)習(xí)，深度學(xué)習(xí)算法實(shí)現(xiàn)基礎(chǔ)是人工神經(jīng)網(wǎng)絡(luò)，是決定深度學(xué)習(xí)模型性能的核心[8]?；谏窠?jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)其實(shí)現(xiàn)借鑒了人類思考的方式，因而通過對(duì)深度學(xué)習(xí)模型的訓(xùn)練，既可以使學(xué)生總結(jié)并歸納解決問題所需的知識(shí)，同時(shí)也可以通過深度學(xué)習(xí)模型性能實(shí)時(shí)觀測(cè)相關(guān)知識(shí)點(diǎn)相關(guān)問題的影響情況?；诖耍摲椒ㄔ阱憻捬芯可R(shí)運(yùn)用方面具備應(yīng)用的潛力，并且可以有效監(jiān)督學(xué)生的完成情況。

正是基于以上原因，本文提出了一種以人工智能—深度學(xué)習(xí)算法為技術(shù)手段的研究生知識(shí)運(yùn)用能力培養(yǎng)方法。通過該方法，可以有效提升研究生課堂大作業(yè)的完成質(zhì)量，同時(shí)可以將大作業(yè)標(biāo)準(zhǔn)化，避免學(xué)生遺漏課堂關(guān)鍵知識(shí)，督促學(xué)生對(duì)重要知識(shí)進(jìn)行有效運(yùn)用。

2 深度學(xué)習(xí)簡(jiǎn)介

深度學(xué)習(xí)分為監(jiān)督式深度學(xué)習(xí)和非監(jiān)督式深度學(xué)習(xí)，但是根據(jù)本文的研究目的，采用監(jiān)督式深度學(xué)習(xí)，因此下面重點(diǎn)對(duì)監(jiān)督式深度學(xué)習(xí)進(jìn)行簡(jiǎn)介。[9]

監(jiān)督式深度學(xué)習(xí)是深度學(xué)習(xí)最常見的一種形式。如果我們想要構(gòu)建一個(gè)圖像分類系統(tǒng)，那么首先需要獲得大量相關(guān)的數(shù)據(jù)集，其中數(shù)據(jù)集帶有其類別的標(biāo)簽，例如，分類房子、汽車和寵物。帶有“標(biāo)簽”的數(shù)據(jù)集是監(jiān)督式深度學(xué)習(xí)的特征之一。在訓(xùn)練過程中，深度學(xué)習(xí)模型會(huì)顯示一幅圖像，并以得分向量的形式產(chǎn)生一個(gè)輸出，每個(gè)類別一個(gè)。我們希望目標(biāo)類別獲得最高的得分，但是深度學(xué)習(xí)模型在訓(xùn)練之前是無(wú)法實(shí)現(xiàn)的。通過利用目標(biāo)函數(shù)計(jì)算深度學(xué)習(xí)模型輸出與目標(biāo)圖像的偏差，然后深度學(xué)習(xí)模型會(huì)修改內(nèi)部可調(diào)整的參數(shù)以減小偏差量。這些可調(diào)參數(shù)(通常稱為權(quán)重)是實(shí)數(shù)，可以被視為定義機(jī)器輸入輸出功能的“旋鈕”。在典型的深度學(xué)習(xí)系統(tǒng)中，可能具有大量的可調(diào)權(quán)重參數(shù)，同時(shí)利用大量的帶標(biāo)簽的示例對(duì)深度模型進(jìn)行訓(xùn)練。

為了正確地調(diào)整權(quán)重向量，學(xué)習(xí)算法計(jì)算一個(gè)梯度向量，對(duì)于每個(gè)權(quán)重，該梯度向量指示如果權(quán)重增加很小的量，誤差將增加或減少多少。然后在與梯度向量相反的方向上調(diào)整權(quán)重向量。目標(biāo)函數(shù)需要在所有訓(xùn)練示例中進(jìn)行平均，并且目標(biāo)函數(shù)可以被視為權(quán)重值高維空間中的一種丘陵景觀。負(fù)梯度矢量表示該景觀中最陡下降的方向，使其接近最小值，在此處輸出平均誤差較低。

在實(shí)踐中，通常使用稱為隨機(jī)梯度下降(SGD)的程序。這包括顯示幾個(gè)示例的輸入向量，計(jì)算輸出和誤差，計(jì)算這些示例的平均梯度，并相應(yīng)地調(diào)整權(quán)重。對(duì)訓(xùn)練集中的許多小樣本集重復(fù)該過程，直到目標(biāo)函數(shù)的平均值停止下降。它被稱為隨機(jī)的，因?yàn)槊恳恍〗M示例都給出了所有示例的平均梯度的噪聲估計(jì)。與更復(fù)雜的優(yōu)化技術(shù)相比，這個(gè)簡(jiǎn)單的過程通常能很快找到一組好的權(quán)重。訓(xùn)練后，系統(tǒng)的性能將在一組稱為測(cè)試集的不同示例上進(jìn)行測(cè)量。這有助于測(cè)試機(jī)器的泛化能力，即在訓(xùn)練過程中從未見過的新輸入上產(chǎn)生合理答案的能力。

深度學(xué)習(xí)架構(gòu)是一個(gè)簡(jiǎn)單模塊的多層堆棧，所有(或大部分)模塊都要接受學(xué)習(xí)，其中許多模塊計(jì)算非線性輸入輸出映射。堆棧中的每個(gè)模塊都變換其輸入，以提高表示的選擇性和不變性。通過多個(gè)非線性層(通過神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)，例如，全連接網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)等)，比如深度為5到20的系統(tǒng)可以實(shí)現(xiàn)其輸入的極其復(fù)雜的功能，這些功能同時(shí)對(duì)微小細(xì)節(jié)敏感(區(qū)分薩摩耶犬和白狼之間的差異)，并且對(duì)背景、姿勢(shì)、照明和周圍物體等大的無(wú)關(guān)變化不敏感。

3 設(shè)計(jì)思路

本文所提出方法的基本思想如圖1所示。通常在研究生學(xué)習(xí)過程中，研究生在老師的指導(dǎo)下完成一定專業(yè)知識(shí)的學(xué)習(xí)，并完成涉及一定知識(shí)范圍的大作業(yè)，最終教師通過成績(jī)?cè)u(píng)定，觀察學(xué)生知識(shí)學(xué)習(xí)和大作業(yè)完成的質(zhì)量，這一學(xué)習(xí)過程實(shí)際是一種監(jiān)督式學(xué)習(xí)，這種學(xué)習(xí)方式對(duì)于學(xué)生學(xué)習(xí)初期十分重要。借鑒翻轉(zhuǎn)課堂的概念[10]，綜合教師和研究生在學(xué)習(xí)過程的相互關(guān)系，提出了一種研究生自主學(xué)習(xí)的方法。在該方法中，研究生充當(dāng)教師的身份，而深度學(xué)習(xí)模型作為學(xué)生身份，然后通過觀察深度學(xué)習(xí)模型的最終性能，判定研究生訓(xùn)練深度學(xué)習(xí)模型的優(yōu)劣，進(jìn)而衡量研究生對(duì)知識(shí)運(yùn)用的效果。在訓(xùn)練深度學(xué)習(xí)模型過程中，研究生需要準(zhǔn)備各種相關(guān)知識(shí)，并能夠掌握各個(gè)知識(shí)點(diǎn)對(duì)模型學(xué)習(xí)效果的作用，例如，學(xué)習(xí)效率和學(xué)習(xí)內(nèi)容等。因此，通過深度學(xué)習(xí)模型的訓(xùn)練，就可以鍛煉研究生的知識(shí)綜合運(yùn)用能力。

圖1 以深度學(xué)習(xí)為手段培養(yǎng)研究生知識(shí)運(yùn)用能力的基本思想

為實(shí)現(xiàn)圖1中的基本思想，需自開發(fā)相關(guān)軟件，該軟件實(shí)現(xiàn)方式如圖2所示，包含三個(gè)基本過程。首先，為了實(shí)現(xiàn)規(guī)劃的基本功能，需要根據(jù)具體課程進(jìn)行相關(guān)算法設(shè)計(jì)，因而需要根據(jù)具體課程進(jìn)行專業(yè)問題收集；其次，對(duì)以上專業(yè)問題進(jìn)行人工解答，以便將專業(yè)問題分解為相關(guān)知識(shí)點(diǎn)，然后將知識(shí)點(diǎn)(也即深度學(xué)習(xí)模型學(xué)習(xí)的特征)以數(shù)據(jù)形式表達(dá)，從而轉(zhuǎn)化為數(shù)據(jù)集，其中可以通過數(shù)據(jù)增強(qiáng)擴(kuò)充數(shù)據(jù)集數(shù)量；最后，通過人工調(diào)整(也即訓(xùn)練研究生運(yùn)用不同知識(shí)的過程)，利用攜帶有一定特征(知識(shí)點(diǎn))的數(shù)據(jù)集對(duì)深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，并計(jì)算評(píng)價(jià)訓(xùn)練效果的相關(guān)指標(biāo)。為了實(shí)施方便，擬選取作者研究領(lǐng)域相關(guān)知識(shí)作為示例進(jìn)行程序開發(fā)，并進(jìn)行相關(guān)具體說明。程序?qū)崿F(xiàn)基于Python語(yǔ)言和PyTorch架構(gòu)。

圖2 以深度學(xué)習(xí)為手段培養(yǎng)研究生知識(shí)運(yùn)用能力的實(shí)現(xiàn)方式

以拉曼光譜的信息獲取與識(shí)別為例說明知識(shí)運(yùn)用訓(xùn)練軟件的實(shí)現(xiàn)，如圖3所示?；诶庾V的物質(zhì)識(shí)別就是要解決的專業(yè)問題。拉曼光譜的特征信息蘊(yùn)含于拉曼光譜譜帶中，因而基于拉曼光譜較好地完成物質(zhì)識(shí)別這一任務(wù)，拉曼光譜需要選擇適當(dāng)數(shù)量的拉曼譜帶。拉曼譜帶中包含線寬、峰位等特征信息，不同物質(zhì)這些特征不同，通過改變這些特征可以進(jìn)行數(shù)據(jù)增強(qiáng)，產(chǎn)生數(shù)量足夠的數(shù)據(jù)集，而且通過不同的數(shù)據(jù)集可以影響深度學(xué)習(xí)模型的學(xué)習(xí)效果(物質(zhì)識(shí)別準(zhǔn)確度)。此外，實(shí)際的拉曼光譜還包含熒光(基線)、噪聲等干擾信息。因而識(shí)別物質(zhì)實(shí)際就是在基線和噪聲存在下，識(shí)別拉曼譜帶中線寬、峰位等特征信息的過程，而這些特征信息也是研究生需要學(xué)習(xí)并運(yùn)用的知識(shí)點(diǎn)。那么根據(jù)一定理論規(guī)律，選擇并表達(dá)這些特征就是研究生在知識(shí)運(yùn)用過程的主要工作，例如，選擇其中一個(gè)或多個(gè)組合特征作為深度學(xué)習(xí)模型學(xué)習(xí)的知識(shí)，不同的選擇會(huì)產(chǎn)生不同的學(xué)習(xí)效果，如果特征選擇不當(dāng)，學(xué)習(xí)效率會(huì)明顯變差，進(jìn)而無(wú)法獲得目標(biāo)性能。因而，這就需要研究生掌握各個(gè)知識(shí)點(diǎn)(特征)在物質(zhì)識(shí)別過程中的作用，最終才能獲得最有效的數(shù)據(jù)集(知識(shí)組合)，因而訓(xùn)練深度學(xué)習(xí)模型的過程就是運(yùn)用知識(shí)的過程，最終識(shí)別準(zhǔn)確度可以用于評(píng)價(jià)模型訓(xùn)練的優(yōu)劣。

圖3 訓(xùn)練拉曼光譜知識(shí)運(yùn)用的示例

結(jié)語(yǔ)

本文提出了一種基于深度學(xué)習(xí)的研究生知識(shí)運(yùn)用訓(xùn)練方法，在該方法中，將研究生作為教授知識(shí)的個(gè)體，將深度學(xué)習(xí)模型作為學(xué)習(xí)知識(shí)的個(gè)體，而研究生需要運(yùn)用相關(guān)知識(shí)，以便可以產(chǎn)生一定知識(shí)關(guān)系的數(shù)據(jù)集，使得深度學(xué)習(xí)模型可以準(zhǔn)確學(xué)習(xí)相關(guān)知識(shí)關(guān)系，并根據(jù)訓(xùn)練效果觀察各個(gè)知識(shí)點(diǎn)之間的相互影響。該方法的提出為研究生的培養(yǎng)提供了一種有效、方便的方法。