鄭隆威 馮園園 顧小清

[摘 ? 要] 學(xué)習(xí)成果（Learning Outcome）描述了期望學(xué)習(xí)者在完成課程后所習(xí)得的知識、技能和能力。眾多研究呼吁課程管理者需要依照布魯姆分類學(xué)制定學(xué)習(xí)成果，從而使學(xué)習(xí)成果在認(rèn)知維度上是“可測量的”，但很少有研究關(guān)注學(xué)習(xí)成果的描述與所測量的結(jié)果之間是否匹配。本文試圖借助學(xué)習(xí)分析方法對這一問題進(jìn)行探究。本文利用自然語言處理方法測試動詞、情境信息等能否有效地標(biāo)示學(xué)習(xí)成果的認(rèn)知類型。研究發(fā)現(xiàn)，動詞依然是布魯姆分類學(xué)中最關(guān)鍵的特征，當(dāng)該特征與學(xué)習(xí)內(nèi)容、情境信息結(jié)合時，能夠更準(zhǔn)確地標(biāo)示學(xué)習(xí)成果的認(rèn)知類型。此外，本文討論了學(xué)習(xí)成果在布魯姆分類學(xué)中存在的不明確性，發(fā)現(xiàn)這種不明確性能夠帶來更多的上下文信息，從而更全面地輔助學(xué)習(xí)成果的制定。

[關(guān)鍵詞] 學(xué)習(xí)分析; 學(xué)習(xí)成果; 布魯姆分類學(xué); 自然語言處理; 詞向量

[中圖分類號] G434 ? ? ? ? ? ?[文獻(xiàn)標(biāo)志碼] A

[作者簡介] 鄭隆威（1989—），男，回族，江蘇揚(yáng)州人。博士研究生，主要從事學(xué)習(xí)分析與教育數(shù)據(jù)挖掘研究。E-mail：lwzheng@dec.ecnu.edu.cn。

一、引 ? 言

學(xué)習(xí)分析（Learning Analytics）在理解學(xué)習(xí)需求和預(yù)測學(xué)習(xí)表現(xiàn)中的作用已被廣泛認(rèn)同。學(xué)習(xí)分析同樣能夠支持課程的開發(fā)和教學(xué)的設(shè)計[1]，比如具體到為教學(xué)目標(biāo)的設(shè)計提供支持。在教學(xué)實踐中，教學(xué)的目標(biāo)常常體現(xiàn)為規(guī)定出一系列要完成的學(xué)習(xí)成果（learning outcome）。對學(xué)習(xí)成果的規(guī)定（以下簡稱學(xué)習(xí)成果）指的是學(xué)生在完成一個特定的學(xué)習(xí)經(jīng)歷之后，通過課程學(xué)習(xí)所掌握的特定知識、技能和能力。學(xué)習(xí)成果常常以陳述的方式規(guī)定學(xué)習(xí)者完成課程時所表現(xiàn)出的能力[2]，以便讓學(xué)習(xí)者能夠更精確、更全面地預(yù)測到參與學(xué)習(xí)所帶來的成就，并根據(jù)學(xué)習(xí)成果的規(guī)定制定相應(yīng)的學(xué)習(xí)策略[3]。學(xué)習(xí)成果另外一個關(guān)鍵作用是作為教師設(shè)計課程活動和評價方式的依據(jù)[4]。學(xué)習(xí)成果大多以陳述性的文本形式出現(xiàn)，但是由于其承載著對學(xué)習(xí)目標(biāo)的規(guī)定，需要具有對目標(biāo)達(dá)成度的測量能力[4]。布魯姆分類學(xué)（Bloom's Taxonomy）為“測量”學(xué)習(xí)成果提供了認(rèn)知層面的“量尺”。經(jīng)過修訂的布魯姆分類學(xué)以6種動詞描述學(xué)習(xí)成果[5]：記憶（Remembering）、理解（Understanding）、應(yīng)用（Applying）、分析（Analyzing）、評價（Evaluating）和創(chuàng)造（Creating）。伴隨著布魯姆分類學(xué)的是描述6種認(rèn)知類型的動詞詞匯表，它們是各認(rèn)知類型在語言表達(dá)中的投射，學(xué)習(xí)成果撰寫者可以根據(jù)相應(yīng)的認(rèn)知期望從詞匯表中選擇更準(zhǔn)確的表達(dá)方式。在改進(jìn)版的布魯姆分類學(xué)中，也包含一個用于描述學(xué)習(xí)內(nèi)容的知識維度。與認(rèn)知維度類似，知識維度描述了不同層級的知識類型[5-6]：事實性知識（Factual）、概念性知識（Conceptual）、程序性知識（Procedural）、原則性知識（Principles）和元認(rèn)知知識（Metacognitive）。眾多學(xué)習(xí)成果分類法的存在，都體現(xiàn)出學(xué)習(xí)成果不僅僅需要關(guān)注動作，還需要考慮動作之外的情境信息[4]。

但是，操作型動作、學(xué)習(xí)內(nèi)容以及其他情境信息對制定學(xué)習(xí)成果的影響究竟有怎樣的差異，目前還沒有研究給出明確的結(jié)論。此外，如前文所述，作為認(rèn)知

維度的“標(biāo)尺”，布魯姆分類學(xué)能否促使學(xué)習(xí)成果的區(qū)分度增強(qiáng)，使學(xué)習(xí)成果文本更易于“測量”，還有待進(jìn)一步研究。我們發(fā)現(xiàn)，該領(lǐng)域的研究普遍試圖通過提出措辭規(guī)則、詞匯字典、分類方法等形式的指南來幫助人們制定學(xué)習(xí)成果，卻很少對其提出的倡議進(jìn)行驗證。本文試圖從學(xué)習(xí)分析的角度對這一問題進(jìn)行探究。我們收集了真實課程中的學(xué)習(xí)成果數(shù)據(jù)以及由專家標(biāo)記的認(rèn)知類型，提出以下研究問題：

（1）動詞是否是區(qū)分學(xué)習(xí)成果的認(rèn)知領(lǐng)域的有效特征？

（2）學(xué)習(xí)成果的情境信息（如學(xué)習(xí)內(nèi)容、制定背景）是否是區(qū)分學(xué)習(xí)成果的認(rèn)知領(lǐng)域的有效特征？

（3）基于以上兩個問題的研究結(jié)果，探究如何利用布魯姆分類法輔助教育工作者制定更有效的學(xué)習(xí)成果。

為了探究以上研究問題，本文將利用自然語言處理（Natural Language Processing，NLP）技術(shù)和機(jī)器學(xué)習(xí)技術(shù)進(jìn)行數(shù)據(jù)分析。本研究將利用當(dāng)前NLP領(lǐng)域中應(yīng)用較為廣泛的詞向量（Word Embeddings）技術(shù)生成學(xué)習(xí)成果的文本特征，并通過構(gòu)建機(jī)器學(xué)習(xí)分類器對不同的特征進(jìn)行測試，同時，利用詞移距離技術(shù)對文本的區(qū)分度進(jìn)行測量。

二、研究方法

（一）數(shù)據(jù)

本研究從澳大利亞某大學(xué)的課程數(shù)據(jù)庫中收集了13189個學(xué)習(xí)成果，這些學(xué)習(xí)成果的文本數(shù)據(jù)將作為本研究的語料來源。其中，8115個學(xué)習(xí)成果來自本科生課程，5074個學(xué)習(xí)成果來自研究生課程。這些學(xué)習(xí)成果由該校各個學(xué)科中的專家針對具體課程進(jìn)行制定，專家們對該校開設(shè)的每一門課程都會制定1～10個學(xué)習(xí)成果（平均為4.12個）。在課程管理部門的引導(dǎo)下，學(xué)科專家還根據(jù)布魯姆分類法對每一個學(xué)習(xí)成果的認(rèn)知類型進(jìn)行了標(biāo)記，標(biāo)記方法采納了2001年修訂版的布魯姆分類學(xué)，從低階認(rèn)知到高階認(rèn)知類型分別為：“記憶”“理解”“應(yīng)用”“分析”“評價”和“創(chuàng)造”。但需要指出的是，專家在制定學(xué)習(xí)成果時，并未被要求嚴(yán)格遵循布魯姆分類學(xué)的用詞。圖1展示了所有學(xué)習(xí)成果在6種布魯姆認(rèn)知類型上的分布，從中可以看出，處于相對低階的“記憶”（144個，占總體1.1%）和“理解”（1207個，占總體9.2%）的學(xué)習(xí)成果相對較少，大部分學(xué)習(xí)成果被標(biāo)記為相對高階的認(rèn)知類型。其中，本科生課程的學(xué)習(xí)成果被標(biāo)記為“應(yīng)用”的頻率最高（1996個，占本科目標(biāo)的24.6%），研究生課程的學(xué)習(xí)成果被標(biāo)記為“創(chuàng)造”（1598個，占研究生總體31.3%）和“評價”（1533個，占研究生目標(biāo)的30.2%）的頻率最高。從認(rèn)知類型的分布可以看出，學(xué)科專家對不同學(xué)習(xí)階段的成果期望存在明顯差異，相對而言，本科生課程更加面向應(yīng)用層面，而研究生課程則更關(guān)注學(xué)生的高階認(rèn)知能力。

布魯姆分類中的分布

（二）利用詞性標(biāo)注獲得詞匯語料

由于本研究將文本語料作為研究資料，因此，本研究需要將非結(jié)構(gòu)化的學(xué)習(xí)成果文本數(shù)據(jù)轉(zhuǎn)化為計算機(jī)可識別的結(jié)構(gòu)化的數(shù)據(jù)。這一結(jié)構(gòu)化的流程使用了自然語言處理中常見的技術(shù)：分詞（Token）、n元組模型（n-Grams）、詞干提取（Word Stemming）、停頓詞清洗等。為了探究本文的研究問題之一——布魯姆詞匯表有效性，本研究還利用詞性標(biāo)注（Parts of Speech Tagging）技術(shù)對所有學(xué)習(xí)成果的文本進(jìn)行了詞性標(biāo)注，從而得到所有單詞的詞性（例如動詞、名詞和形容詞）。例如，學(xué)習(xí)成果 “Analyze the Business Data.（分析商業(yè)數(shù)據(jù)）”會被標(biāo)注為“Analyze（分析，及物動詞）| the（停頓詞）|Business（商業(yè)，名詞）|Data（數(shù)據(jù)，名詞）|（標(biāo)點）”，我們將“Analyze（分析）”歸入動詞類別，將“Business（商業(yè)）”和“Data（數(shù)據(jù)）”歸入名詞類別，停頓詞和標(biāo)點被清洗。本研究采用Stanford Log-linear Part-Of-Speech Tagger工具[7]來對所有文本中的單詞進(jìn)行詞性標(biāo)注。

（三）利用詞向量技術(shù)獲取學(xué)習(xí)成果特征

本文使用詞向量技術(shù)（Word Embedding）將文本轉(zhuǎn)化為表征語義的特征向量。在詞向量法出現(xiàn)之前，較為常見的NLP方法是詞袋模型（Bag-of-words Model）、包括擴(kuò)展自該模型的n元組模型（n-Gram Model）和詞頻—逆文檔頻率（Term Frequency-inverse Document Frequency，TF-IDF）技術(shù)，這些方法將文本以基于詞頻的編碼來表示，但由于每個文檔出現(xiàn)的單詞通常只是整個詞袋中單詞總量很小的一個子集，這就使得特征向量較為稀疏（Sparse）。這種稀疏使得單

個詞語的特征向量所攜帶的信息有限，從而難以有效地表征單詞語義。

詞向量技術(shù)可以有效地解決文本的語義表征問題。近年來，詞向量已經(jīng)成為NLP中廣泛采用的特征處理技術(shù)，這一技術(shù)突破始于Mikolov與其同事提出的一種利用非監(jiān)督學(xué)習(xí)實現(xiàn)的詞向量方法——Word2vec[8]。Mikolov和他的同事提出，可以通過訓(xùn)練一個三層的神經(jīng)網(wǎng)絡(luò)模型來實現(xiàn)高維空間嵌入單個詞語，它將每個單個詞語從稀疏的編碼映射到一個高維的向量空間，從而利用每個詞語的上下文信息作為詞語的特征向量。這樣的處理方式也使得詞向量能夠表征單個詞語的語義信息，由于相似的單詞的上下文信息是相近的，因此，相近的詞語在高維空間中的位置也是相近的。

由于詞向量繼承了向量的特性，這允許我們能夠像向量運(yùn)算一樣操作文本信息。例如，在詞向量空間中，（中國）-（北京）≈（澳大利亞）-（堪培拉），在這個案例中，由于“北京”和“堪培拉”分別作為“中國”和“澳大利亞”的首都，它們在詞向量空間上具有相似的距離，因此，可以通過向量運(yùn)算的方法實現(xiàn)。本研究將試圖利用詞向量來表征學(xué)習(xí)成果中的文本信息，我們將學(xué)習(xí)成果中的每一個單詞轉(zhuǎn)化為單個詞向量，通過特定的運(yùn)算后將結(jié)果向量視為學(xué)習(xí)成果文本在高維空間中的映射結(jié)果。這一思路如圖2所示：首先，將學(xué)習(xí)成果文本中特定的詞語轉(zhuǎn)化為對應(yīng)的詞向量;隨后，對詞向量進(jìn)行運(yùn)算（圖2中直接進(jìn)行了累加）;最后，將詞向量的運(yùn)算結(jié)果進(jìn)行標(biāo)準(zhǔn)化（圖2中采用了均值法），以作為學(xué)習(xí)成果的向量。

詞向量可以通過訓(xùn)練語料庫獲得，或者直接使用已訓(xùn)練好的詞向量字典。筆者通過比對這兩種方法后發(fā)現(xiàn)，由于語料量有限，基于本文數(shù)據(jù)的詞向量質(zhì)量略低于開源的詞向量字典，因此，本文采用了谷歌公司發(fā)布的詞向量字典word2vec-GoogleNews。該字典訓(xùn)練自英文新聞文本數(shù)據(jù)，具有300個維度，包含300萬個英文詞匯。由于本研究的學(xué)習(xí)成果部分文本中存在大量未收錄在字典中的低頻詞，無法準(zhǔn)確地表達(dá)語義，因此，這些學(xué)習(xí)成果未被納入最終的分析數(shù)據(jù)。最終，本研究保留了13003個學(xué)習(xí)成果作為分析數(shù)據(jù)。

（四）利用WMD算法測量詞移距離

詞向量的另一個優(yōu)勢是能夠測量不同文本之間的距離。由于基于詞袋模型的文本向量通常存在正交性（Orthogonality），難以測量兩個句子之間的差異，例如圖3所示，“Discuss the financial questions（討論財經(jīng)問題）”和“Communicate the economic issues（交流經(jīng)濟(jì)學(xué)問題）”是兩個非常相似的句子，但由于兩者并不共享關(guān)鍵的單詞，因此，難以測量其間的相似度。Kusner等基于詞向量的特性，提出了一種能夠測量兩個句子之間距離的技術(shù)——詞移距離（Word Movers Distance，簡稱WMD）[9]，從而能夠從一定程度上展現(xiàn)出兩個句子在語義層面上的非相似度（Dissimilarity）。具體來說，WMD派生自“地動距離（Earth Mover's Distance）”方法，從而將文本之間的距離計算轉(zhuǎn)化為一種運(yùn)輸問題的最優(yōu)化求解，最終通過搜尋一個累積移動代價最低的移動方式來計算文檔距離。如圖3所示，雖然兩個句子沒有一個非停頓單詞是相同的，但是通過WMD算法，每個單詞會分別尋找到語義上最短的移動路徑：動詞“Discuss（分析）”尋找到了“Communicate（交流）”，“Financial（財務(wù)的）”尋找到了“Economic（經(jīng)濟(jì)學(xué)的）”，“Questions（問題）”尋找到了“Issues（問題）”。最終，將所有移動路徑的累積作為距離結(jié)果。

習(xí)成果1的動詞“Discuss（討論）”與學(xué)習(xí)成果3的動詞“Collaborate（合作）”“Communicate（溝通）”之間具有類似的含義，因此，詞距僅有1.01;但是它們與學(xué)習(xí)成果2的動詞“Develop（開發(fā)）”“Align（結(jié)合）”的含義相差較遠(yuǎn)，因此，兩者之間詞移距離就分別為1.32和1.27。

（五）基于自然語言處理的分類器

本研究將利用機(jī)器學(xué)習(xí)來探究不同類型的特征對布魯姆類型的區(qū)分能力。首先，在文本預(yù)處理和詞向量基礎(chǔ)上，我們分別基于不同的分類方法或輸入不同的數(shù)據(jù)構(gòu)建了6種不同的分類器;隨后，以正確率作為分類器表現(xiàn)指標(biāo)，比較分類器對布魯姆認(rèn)知類型的分類能力，從而探究不同類型的語料信息對標(biāo)記認(rèn)知類型的作用;最后，根據(jù)分類器的表現(xiàn)結(jié)果，結(jié)合詞移距離方法，深入探究文本之外的情境信息對于認(rèn)知類型的影響。

1. 分類器1：動詞詞匯表查找法

分類器1是作為參照的基線分類器（Baseline），該分類器模擬了人工鑒別布魯姆認(rèn)知類型的“常規(guī)”方法，即在沒有機(jī)器學(xué)習(xí)的幫助下，通過查表、匹配動詞詞匯來確定認(rèn)知類型。首先，該分類器會提取每一個學(xué)習(xí)成果文本中所有被標(biāo)記出的動詞單詞;隨后，分類器分別將每個單詞與Stanny整理的詞匯表[4]中的詞匯進(jìn)行比對，由于Stanny的詞匯表中存在一個詞匯具有多個認(rèn)知類型的情況，因此，該分類器還會利用Stanny詞匯表中詞匯在各類型中的記錄的頻次作為評判依據(jù);最終，通過比較每一個類型中累計的頻次，選擇頻次總數(shù)最高的類型作為分類的結(jié)果。

2. 分類器2：n-元組詞袋模型法

分類器2是另一個作為參照的基線分類器，該分類器代表了傳統(tǒng)的自然語言處理方法，與分類器1不同的是，分類器2會考慮所有文本，而不是僅僅考慮動詞文本。該分類器基于詞袋模型，將學(xué)習(xí)成果文本以數(shù)值特征向量的形式進(jìn)行表示，并利用n-元組模型對文檔進(jìn)行分割（n={1，2，3}）以獲得特征，最后選擇了前3000個頻率最高的特征。此外，學(xué)習(xí)成果中的動詞、名詞、形容詞和副詞的頻率也作為訓(xùn)練數(shù)據(jù)輸入機(jī)器學(xué)習(xí)模型。

3. 分類器3：平均詞向量法

分類器3采用了最“樸素”的平均詞向量法來獲取學(xué)習(xí)成果的特征向量，該分類器將學(xué)習(xí)成果中的所有文本信息融合到一個詞向量當(dāng)中，用單個的詞向量代表該學(xué)習(xí)成果在高維空間中的位置。首先，該分類器將每一個學(xué)習(xí)成果中所有非停頓詞進(jìn)行提取;隨后，從詞向量字典中獲得所有詞的詞向量;最后，對所有詞向量進(jìn)行均值處理，從而將一個由300個維度構(gòu)成的訓(xùn)練數(shù)據(jù)輸入機(jī)器學(xué)習(xí)模型。

4. 分類器4：動詞平均詞向量法

分類器4與分類器3處理相似，唯一不同的是分類器4只提取動詞文本而忽略其他詞性的文本，最終的訓(xùn)練數(shù)據(jù)依然是一個由300個維度構(gòu)成的特征向量，但該向量僅僅包含學(xué)習(xí)成果文檔中的動詞文本信息。

5. 分類器5：名詞平均詞向量法

分類器5與分類器4處理相似，唯一不同的是分類器5將只提取名詞文本而忽略其他詞性的文本。

6. 分類器6：動、名詞平均詞向量法

分類器6綜合了分類器4和5的設(shè)置，該分類器分別提取了動詞文本和名詞文本的平均詞向量，隨后再將兩者進(jìn)行求平均值。分類器6試圖通過兩種文本的詞向量來構(gòu)造信息更完整的學(xué)習(xí)成果，排除了其他詞性文本對于詞向量的干擾。

本研究分別利用邏輯回歸（Logistic Regression）、支持向量機(jī)（Support Vector Machine）和隨機(jī)森林（Random Forest）對以上分類器進(jìn)行了訓(xùn)練，在每次訓(xùn)練過程中，采用了5折交叉驗證（Cross-validation）的方式來測試模型的預(yù)測能力。需要指出的是，本研究并未對任何一個模型進(jìn)行超參數(shù)尋優(yōu)或特征篩選。

三、分析結(jié)果

（一）詞性標(biāo)注結(jié)果

我們從所有文本中共獲得了7902個單詞，這些單詞的詞性信息將用于構(gòu)造部分分類器的特征。表1展示了詞性標(biāo)注結(jié)果中，各認(rèn)知類型中的高頻動詞（前8個）以及在相應(yīng)層級中的覆蓋率。此外，我們還將高頻詞與Stanny[4]整理的詞匯表進(jìn)行了比對，并將比對結(jié)果在表中標(biāo)示出來。

從表1中可以看出，相鄰認(rèn)知類型之間的關(guān)系較為密切，例如，“記憶”與“理解”之間有6個共同的高頻動詞，“評價”和“創(chuàng)作”之間有5個共同的高頻動詞，“理解”與“應(yīng)用”“分析”和“評價”之間有4個共同的高頻動詞。對比Stanny的元分析結(jié)果，本文的數(shù)據(jù)中有很多高頻動詞與Stanny詞匯表差異較大，例如，Stanny詞匯表中屬于“應(yīng)用”的“Explain（解釋）”“Interpret（說明）”和“Demonstrate（展示）”，在本文的數(shù)據(jù)中反而在“分析”中較為頻繁，同樣的現(xiàn)象也包括在“評價”中出現(xiàn)較為頻繁的“Analyze（分析）”和“Develop（開發(fā)）”。

在“創(chuàng)造”中，可以發(fā)現(xiàn)動詞的運(yùn)用較為多樣化，排名最高的“Evaluate（評價）”的覆蓋率僅為15%。我們還可以發(fā)現(xiàn)，一些單詞在多個類型中出現(xiàn)的頻率都很高，例如，“Apply（應(yīng)用）”出現(xiàn)在所有類型高頻單詞中，“Use（使用）”出現(xiàn)在5個類型中，可能的解釋是，這些動詞會以作為引導(dǎo)句子的首個單詞在語料中被使用到。例如：“Apply key theoretical concepts to understandings of place（運(yùn)用關(guān)鍵的理論概念來理解地點）”，但這一學(xué)習(xí)成果的重點并不在于“Apply（運(yùn)用）”，而在“Concepts（概念）”和“Understandings（理解）”，因此，該學(xué)習(xí)成果被專家標(biāo)記為“理解”而非“應(yīng)用”。相似的問題還包括“記憶”中的單詞“Include（包含）”，這些詞所承載的含義較為有限，其頻率可能無法代表它在相應(yīng)認(rèn)知類型中的重要性。

（二）基于自然語言處理布魯姆學(xué)習(xí)成果分類器結(jié)果

表2描述了6個分類器對布魯姆認(rèn)知類型的表現(xiàn)性能。結(jié)果顯示，傳統(tǒng)的查表法正確率較低，僅有38.19%的學(xué)習(xí)成果被正確分類，而14.05%（N=1827）的學(xué)習(xí)成果文本由于無法在Stanny的詞匯表中找到任何一個匹配的動詞，而無法被分類，在去除了這些無法識別的文本后，其正確率也只能提升到44.39%，這說明人工收集的詞匯表對布魯姆分類學(xué)的支持是較為有限的。分類器2體現(xiàn)了傳統(tǒng)的NLP方法在認(rèn)知分類中的表現(xiàn)，它的正確率已經(jīng)能夠達(dá)到50%以上。分類器3采用了整個學(xué)習(xí)成果的均值詞向量作為輸入數(shù)據(jù)，其在采用支持向量機(jī)中的表現(xiàn)最好，正確率達(dá)到52.23%，但相較于分類器2，分類器3的表現(xiàn)提升較為微弱，僅僅提升了約1%。分類器4采用了學(xué)習(xí)成果中動詞的均值詞向量作為輸入數(shù)據(jù)，它的正確率是分類器1-6中最高的，在使用支持向量機(jī)進(jìn)行訓(xùn)練時，其準(zhǔn)確度達(dá)到了58.79%，并且在使用邏輯回歸模型和隨機(jī)森林模型時，其準(zhǔn)確度也在57%以上，相較于同樣使用動詞作為特征的分類器1，分類器4的準(zhǔn)確度提高了14.40%，相較于使用了全部文本的詞向量作為訓(xùn)練數(shù)據(jù)的分類器3，分類器4的準(zhǔn)確率提高了6.56%。分類器5僅采用了學(xué)習(xí)成果中名詞的均值詞向量作為數(shù)據(jù)來源，結(jié)果發(fā)現(xiàn)，該分類器表現(xiàn)不佳，正確率僅有30.23%。分類器6的訓(xùn)練數(shù)據(jù)在動詞詞向量均值的基礎(chǔ)上，還增加了名詞詞向量均值，盡管增加了向量中的信息，但結(jié)果卻明顯弱于僅關(guān)注動詞的分類器4，其最高準(zhǔn)確度為53.18%，比分類器4降低了5.61%。

（tuning）步驟的前提下，將詞向量作為識別認(rèn)知分類的特征要優(yōu)于動詞查表法和基于詞袋模型的NLP技術(shù)。此外，動詞似乎依然是用于鑒別布魯姆認(rèn)知類型的最有效的特征，在增加名詞詞向量之后，反而會降低分類器的預(yù)測能力。為了探索這一問題，我們試圖利用詞移距離技術(shù)對同詞性文本之間的距離，以推測導(dǎo)致模型能力下降的原因。

通過計算詞移距離，我們發(fā)現(xiàn)，即使在相同的課程內(nèi)，學(xué)習(xí)成果中名詞詞向量間的差異（dn=1.48）通常要高于動詞詞向量的差異（dv=1.02），這可能是導(dǎo)致模型“過擬合（Overfitting）”的原因之一。相較于復(fù)用較為頻繁的動詞，代表學(xué)習(xí)內(nèi)容的名詞之間存在更大差異。為了平衡這一差異，我們創(chuàng)建了分類器7，該分類器采用動、名詞加權(quán)平均詞向量法，將對差異較大的名詞詞向量進(jìn)行懲罰：在合成文檔的詞向量之前，我們首先計算了每個學(xué)科中所有名詞之間的詞移距離，將詞移距離均值作為該名詞的“特殊度”，這一“特殊度”將轉(zhuǎn)化為名詞詞向量的權(quán)重。其原理是，當(dāng)某一名詞在該學(xué)科領(lǐng)域中很特殊時，它與其他名詞的距離就會較遠(yuǎn)，該距離將會對其在詞向量運(yùn)算時降低其權(quán)重，從而對其進(jìn)行懲罰。結(jié)果顯示，分類器7在驗證過程中得到了高于分類器4的準(zhǔn)確度，達(dá)到了60.96%（增加了2.17%），這說明，當(dāng)以一種合適的方式提供教學(xué)內(nèi)容信息后，該分類器能夠從代表教學(xué)內(nèi)容的名詞中獲得更多有效的信息用于對認(rèn)知類型的分類。

（三）情境信息對布魯姆學(xué)習(xí)成果分類器的影響

本節(jié)將探索教學(xué)情境的差異性對認(rèn)知領(lǐng)域分類的影響。本研究的數(shù)據(jù)中存在兩種潛在的情境差異：一種是學(xué)習(xí)階段的差異，學(xué)習(xí)成果的受眾包括本科生和研究生兩種類型;另一種是學(xué)科的差異，不同學(xué)科在目標(biāo)行為的期望和學(xué)習(xí)內(nèi)容上可能是存在差異的。為了驗證這兩種差異的存在，我們利用詞移距離技術(shù)對不同類型的學(xué)習(xí)成果之間的動詞進(jìn)行了測距。在學(xué)習(xí)階段差異方面，我們對同一個學(xué)科中的本科生與研究生的學(xué)習(xí)成果進(jìn)行測距，并對同一個學(xué)科中各學(xué)段內(nèi)部的學(xué)習(xí)成果進(jìn)行測距。在學(xué)科差異方面使用了類似的方法，我們對同一個學(xué)段中的不同學(xué)科的學(xué)習(xí)成果進(jìn)行測距，并對同一個學(xué)段中各學(xué)科內(nèi)部的學(xué)習(xí)成果進(jìn)行測距。

表3展示了學(xué)習(xí)成果在不同教學(xué)情境下的詞移距離的均值?？梢钥闯?，在所有認(rèn)知類型中，不同學(xué)段間的動詞詞距均值皆大于相同學(xué)段內(nèi)部的動詞詞距均值，其中，“記憶”層級（0.91和0.70）和“分析”層級（0.96和0.88）最為明顯，這說明針對不同學(xué)段的學(xué)習(xí)者，專家會采用不同的詞匯來描述學(xué)習(xí)成果。同樣的結(jié)果也出現(xiàn)在學(xué)科的差異中，在所有認(rèn)知類型中，以學(xué)科進(jìn)行分組的組間詞距同樣都大于組內(nèi)的詞距，其中，“記憶”（0.95和0.73）、“理解”（0.99和0.90）和“創(chuàng)作”（1.15和1.08）的差異最為明顯，這說明，在同一個認(rèn)知類型中，不同的學(xué)科具有不同的行為目標(biāo)。綜上所述，學(xué)習(xí)情境的差異性會影響學(xué)習(xí)成果的制定，如果不考慮情境因素，認(rèn)知類型標(biāo)記結(jié)果是一種偏離數(shù)據(jù)（bias data），可能會影響分類結(jié)果的正確率。

基于以上分析，我們將學(xué)習(xí)階段特征和學(xué)科特征依次添加到分類器7的輸入數(shù)據(jù)當(dāng)中重新進(jìn)行訓(xùn)練，結(jié)果如表4所示。對比分類器7，在分別增加了學(xué)習(xí)階段和學(xué)科的特征后，模型的正確率都得到了一定的提升，分類器7的正確率從60.96%增加到了62.09%，這說明，在提供了更多情境信息后，分類器能夠“學(xué)習(xí)”到學(xué)習(xí)階段或?qū)W科的差異。

四、討 ? 論

（一）情境信息在布魯姆分類中的作用

本文用自然語言處理方法測試了計算機(jī)能否根據(jù)相關(guān)的文本特征來界定學(xué)習(xí)成果的認(rèn)知分類，研究結(jié)果顯示，相較于代表整體上下文信息的平均詞向量和代表學(xué)習(xí)內(nèi)容信息的名詞詞向量，代表操作型信息的動詞詞向量能更好地幫助機(jī)器界定學(xué)習(xí)成果的認(rèn)知類型。不過，當(dāng)我們針對詞向量技術(shù)的特性對詞向量特征進(jìn)行適當(dāng)調(diào)整后，在操作型信息和學(xué)習(xí)內(nèi)容信

息的協(xié)同作用下，計算機(jī)可以更準(zhǔn)確地界定學(xué)習(xí)成果的認(rèn)知類型。

為了探究學(xué)習(xí)內(nèi)容信息對于提升分類能力的作用，我們研究了在分類器4中分類錯誤，而在分類器7中被更正的學(xué)習(xí)成果。我們發(fā)現(xiàn)，一些高頻的名詞具有指示認(rèn)知類型的能力，當(dāng)使用分類器7后，包含這些名詞的學(xué)習(xí)成果更有可能被正確分類。例如：某一個學(xué)習(xí)成果被描述為“Develop understanding of the concepts of electronic devices and circuits（理解電子設(shè)備和電路概念）”，在課程系統(tǒng)中，它被標(biāo)記為“理解”，但由于詞性解析器識別出該句子的動詞是“Develop（開發(fā)）”，在分類器4中被劃分為“創(chuàng)造”，而分類器7除了考慮動詞，還會考慮“Understanding（理解）”和“Concepts（概念）”等高頻名詞，從而對其進(jìn)行了正確的分類。我們統(tǒng)計了在分類器7中分類被更正的樣本，與上述案例類似的還包括含有“Research（研究）”“Practice（實踐）”和“Report（報告）”等相關(guān)名詞的學(xué)習(xí)成果，這一類單詞往往都是英文中同時具有動詞和名詞的含義，或者是以動名詞的形式存在于句子中（如“Understanding（理解）”和“Applying（應(yīng)用）”），當(dāng)它們作為操作型行為時，就具有一定的辨析能力，而作為學(xué)習(xí)內(nèi)容時，同樣能夠具有指示認(rèn)知類型的能力，從而幫助分類器提升分類準(zhǔn)確度。

除了來自文本本身的學(xué)習(xí)內(nèi)容信息，本研究還在數(shù)據(jù)中加入了學(xué)習(xí)階段和學(xué)科兩個特征，以提供更多的情境信息。結(jié)果顯示，在考慮情境因素之后，一些原本被錯誤分類的學(xué)習(xí)成果得以更正。例如：“Explain causes and consequences of Takeovers（解釋收購的原因和后果）”被專家標(biāo)記為“分析”，但在分類器7中被錯誤地劃分為“理解”。在加入學(xué)習(xí)階段和學(xué)科信息之后，該學(xué)習(xí)成果增加了“研究生”和“商學(xué)”兩個特征，根據(jù)邏輯回歸模型的訓(xùn)練結(jié)果可以發(fā)現(xiàn)，這兩個特征的系數(shù)在“理解”類型上呈現(xiàn)負(fù)值，而在“分析”類型上呈現(xiàn)正值，這說明分類器“學(xué)習(xí)”到“研究生”和“商學(xué)”兩種特征更傾向于高階認(rèn)知類型，因此，在“理解”和“分析”兩個層次上存在著“位移（Shift）”，此消彼長之后，分類器計算出該學(xué)習(xí)成果在“分析”上的概率最大，最終使其得到了正確的分類。相似的情況，也存在于其他情境特征中。例如，“本科”特征在“記憶”和“理解”以及“應(yīng)用”上的系數(shù)高于“研究生”特征的系數(shù)，此外，“計算機(jī)學(xué)科”特征在“創(chuàng)造”的系數(shù)就遠(yuǎn)高于其他學(xué)科。

但是，作為本研究中表現(xiàn)最優(yōu)的分類器，依然僅有約六成的準(zhǔn)確率，我們探究了分類錯誤的學(xué)習(xí)成果，從中發(fā)現(xiàn)，在多個認(rèn)知類型重復(fù)出現(xiàn)的動詞詞匯可能導(dǎo)致分類的錯誤。例如：“Identify（識別）”在6個類型中的分布較為均衡5%（N=37）、25%（N=180）、16%（N=116）、20%（N=144）、17%（N=120）和16%（N=115），分類器7將大部分僅有“Identify”一個動詞的學(xué)習(xí)成果識別為“理解”。例如：“Identify key issues in gender theory（確定性別理論中的關(guān)鍵問題）”和“Identify the key features of classical test theory and modern measurement theory（識別經(jīng)典測試?yán)碚摵同F(xiàn)代測量理論的關(guān)鍵特征）”分別被專家標(biāo)記為“記憶”和“分析”，雖然這兩個學(xué)習(xí)成果在動詞和名詞上都很相似，但前者指的是事實知識的掌握，后者是對不同對象的比較分析。然而，計算機(jī)無法解析這一深層語義，這兩者都被錯誤地識別為“理解”層次。類似的深層語義問題也出現(xiàn)在包含“Explain（解釋）”“Examine（調(diào)查）”和“Apply（應(yīng)用）”等詞匯的學(xué)習(xí)成果中。

Stanny在研究中提出，動詞查表法的最大挑戰(zhàn)是語言存在靈活性，最顯著的問題是上下文情境的改變會改變詞語的意思[4]，在一個特定的上下文情境中，單一的動詞的確可以具有一個明確的意義，但是脫離這個情景之后，這一動詞就可能喪失了其原有的特性，其不確定性被暴露出來。其他研究者包括Paul[10]和Adelman[11]也提出了相似的問題，這些研究者都強(qiáng)調(diào)，上下文信息需要在布魯姆分類學(xué)中更多地被考慮到。本研究使用自然語言處理法來增強(qiáng)這些上下文信息，在提供更多的學(xué)習(xí)內(nèi)容信息之后，確實能使一些表達(dá)不夠明確的學(xué)習(xí)成果的分類結(jié)果得到修正。但是，學(xué)習(xí)成果文本中的深層語義以及英文語言的不明確性（Ambiguity）的問題依然未被有效地解決，潛在的解決方向是訓(xùn)練更復(fù)雜的詞向量模型，從而使詞向量能夠表征更復(fù)雜的語義，并且在數(shù)據(jù)中提供更多情境特征，但這一類問題屬于NLP的技術(shù)性領(lǐng)域，已經(jīng)超出了本文的研究范疇。

（二）布魯姆分類法在學(xué)習(xí)成果中的區(qū)分度

在本研究中，導(dǎo)致認(rèn)知類型分類器表現(xiàn)不佳的另一個原因是數(shù)據(jù)本身存在一定的偏差。除了學(xué)習(xí)階段和學(xué)科造成的偏差以外，領(lǐng)域?qū)＜以谧珜憣W(xué)習(xí)成果時，并沒有嚴(yán)格地按照布魯姆分類學(xué)進(jìn)行措辭，從而使不同認(rèn)知類型之間的區(qū)分度較低。一個最典型的現(xiàn)象就是單個學(xué)習(xí)成果中融合了多個子學(xué)習(xí)成果，同時，這些子學(xué)習(xí)成果又可能屬于多個不同的認(rèn)知領(lǐng)域，而專家只能從中選擇一個他認(rèn)為最貼切的認(rèn)知類型標(biāo)記整個學(xué)習(xí)成果。根據(jù)對詞性標(biāo)記結(jié)果的統(tǒng)計，13003個學(xué)習(xí)成果中，平均每個學(xué)習(xí)成果包含2.24個

動詞短語，只有約30%的學(xué)習(xí)成果僅有一個明確的動詞。此外，我們發(fā)現(xiàn)，隨著認(rèn)知階段的提高，動詞短語的個數(shù)會逐層增加，6個認(rèn)知類型的平均動詞短語個數(shù)分別為1.78、1.94、2.12、2.20、2.30和2.44個，這說明越高階的學(xué)習(xí)成果往往越復(fù)雜，專家需要整合更多的操作型信息來滿足描述復(fù)雜性的需要。

針對這一問題，我們利用詞移距離技術(shù)對各課程中所有學(xué)習(xí)成果之間的動詞詞距進(jìn)行測量，再根據(jù)比較的認(rèn)知類型進(jìn)行分組。圖5為各認(rèn)知類型之間的動詞詞距矩陣，矩陣中每一格代表兩個類型之間的動詞平均詞距，位于對角軸上的每一格代表相同類型的學(xué)習(xí)成果之間的動詞平均詞距，背景顏色越深的格子代表詞距越遠(yuǎn)。當(dāng)僅考慮不同類型之間的詞距時，詞距均值為1.05。

可以從圖5中看出，同一認(rèn)知類型內(nèi)的動詞平均詞距是很接近的，都小于0.90。其中，由于“記憶”和“理解”的樣本較少、用詞更加相似，其動詞平均詞距較小，分別為0.23和0.56。“評價”和“創(chuàng)造”的樣本較多、用詞更加多樣化，其動詞平均詞距較大，分別為0.84和0.83。很顯然，不同認(rèn)知類型之間的詞距要明顯大于內(nèi)部的詞距，詞距越大代表描述學(xué)習(xí)成果的措辭區(qū)分度越高，我們可以看出，“記憶”和“理解”之間的詞距為0.97，小于平均詞距，這說明學(xué)習(xí)成果制定者對這兩者的認(rèn)識較為接近，與表1的高頻詞統(tǒng)計結(jié)果相同。相較于其他5個認(rèn)知類型，“分析”的區(qū)分度最低，它與“記憶”“理解”“應(yīng)用”和“評價”之間的詞距分別為0.95、0.98、1.00和1.03，皆小于認(rèn)知類型間的平均詞距。一方面，這說明學(xué)習(xí)成果制定者對“分析”類學(xué)習(xí)成果的描述存在較多更低階的子學(xué)習(xí)成果，相對于展示課程的基礎(chǔ)性知識，教育者可能更傾向于向?qū)W習(xí)者展現(xiàn)課程的高階學(xué)習(xí)內(nèi)容;另一方面，“分析”認(rèn)知類型學(xué)習(xí)成果可能需要依賴于對低階認(rèn)知類型的描述。例如，某一被專家標(biāo)記為“分析”的學(xué)習(xí)成果被描述為“identify， interpret and analyze standard and common clauses in business contracts and apply them to business scenarios（識別、說明和分析業(yè)務(wù)合同中的標(biāo)準(zhǔn)和通用條款，并將其應(yīng)用于業(yè)務(wù)場景）”，其中，“Identify（識別）”“Interpret（說明）”和“Apply（應(yīng)用）”都是低于“分析”認(rèn)知類型的詞匯，它們的存在都是為了提供“Analyze（分析）”的前置和后繼操作型信息，從而為學(xué)生提供一個更完整的上下文，如果刪去這些額外的信息，盡管使其更加明確地指向“分析”認(rèn)知，但也會喪失有意義的操作型信息。

學(xué)習(xí)成果制定者被要求需要提供明確且具體的行為[4]，用清晰且沒有術(shù)語的語言為學(xué)習(xí)者描述可觀測的行為和學(xué)習(xí)成果[11]。但基于真實數(shù)據(jù)的實際觀察，單個學(xué)習(xí)成果的“跨域”現(xiàn)象雖然增加了學(xué)習(xí)成果在一個認(rèn)知領(lǐng)域的不明確性，但是它能夠?qū)⑴c其聯(lián)系最密切的學(xué)習(xí)內(nèi)容整合在一起，從而為學(xué)習(xí)者提供更多具有邏輯性的上下文信息。同時，教學(xué)是否需要在事實性知識和高階知識之間做出清晰的劃分依然具有爭論，Agarwal在其研究中發(fā)現(xiàn)，單純的基礎(chǔ)知識學(xué)習(xí)無法提升高階認(rèn)知能力，但混合了低階和高階的學(xué)習(xí)內(nèi)容反而能夠更好地提升學(xué)生的高階認(rèn)知能力[12]。

（三） “學(xué)習(xí)分析”時代如何更有效地利用布魯姆分類學(xué)

基于上述論述，我們認(rèn)為學(xué)習(xí)成果的制定需要在理論和實際需求之間找到一個平衡點。學(xué)習(xí)成果的質(zhì)量有必要從實際情境出發(fā)，而不是僅僅通過認(rèn)知類型的明確程度來判斷。由于布魯姆分類學(xué)產(chǎn)生的初衷就是簡化認(rèn)知領(lǐng)域，但如果再進(jìn)一步強(qiáng)制每個學(xué)習(xí)成果匹配單一的認(rèn)知類型，就可能使其喪失一些有效的信息，例如上述的多重學(xué)習(xí)成果的案例，但如果為其標(biāo)記多個認(rèn)知領(lǐng)域的標(biāo)簽，可能更利于學(xué)習(xí)者理解學(xué)習(xí)成果的上下文。利用人工完成這項任務(wù)可能過于煩瑣，但在當(dāng)今的“大數(shù)據(jù)”時代，NLP技術(shù)已日新月異，它可以作為啟發(fā)式工具來輔助課程制定者提升學(xué)習(xí)成果的質(zhì)量，例如本文利用的詞向量技術(shù)。

學(xué)習(xí)分析領(lǐng)域的研究者Andrew Gibson和其同事已經(jīng)利用NLP技術(shù)幫助人們通過反思性寫作（Reflective Writing）開發(fā)學(xué)習(xí)者的元認(rèn)知[13]。在他們開發(fā)的平臺中，系統(tǒng)利用NLP技術(shù)從學(xué)習(xí)者的文字中自動識別出潛意識的隱含元認(rèn)知（Non-Conscious Implicit Metacognition），并通過高亮、標(biāo)注和統(tǒng)計的方式將元認(rèn)知信息直觀地展現(xiàn)給學(xué)習(xí)者，使其產(chǎn)生反思性學(xué)習(xí)。我們認(rèn)為可以采用類似的方式輔助專家撰寫

輔助專家完成符合其期望的學(xué)習(xí)成果

利用本文所訓(xùn)練的最優(yōu)分類器（邏輯回歸版本），我們可以為輸入的學(xué)習(xí)成果以及情境信息（學(xué)習(xí)階段和學(xué)科）進(jìn)行認(rèn)知領(lǐng)域的概率預(yù)測，同時，通過詞向量技術(shù)，將所有與各認(rèn)知類型最相近的關(guān)鍵詞標(biāo)示出來。該界面原型如圖6所示，當(dāng)專家輸入學(xué)習(xí)成果文本后，該學(xué)習(xí)成果被分類器劃分到“應(yīng)用”類型，同時，也提供了所有認(rèn)知類型的概率分布，從而將分類結(jié)果的不確定性直觀地體現(xiàn)出來，一些關(guān)鍵字被標(biāo)記出所指向的可能性最大的認(rèn)知領(lǐng)域。專家可以根據(jù)反饋的圖示來修改文本，這為專家制定學(xué)習(xí)成果提供了一個可選擇的空間：既可以選擇撰寫認(rèn)知類型明確的學(xué)習(xí)成果，也可以根據(jù)需要通過調(diào)整措辭來得到高低階混合的學(xué)習(xí)成果。最終，學(xué)習(xí)成果符合專家對認(rèn)知領(lǐng)域分布的要求。而對于學(xué)習(xí)者來說，從學(xué)習(xí)成果中得到的信息不再是單一的認(rèn)知類型標(biāo)簽，而是認(rèn)知領(lǐng)域的概率分布，從而提供更完整的信息。此外，從技術(shù)角度來說，這樣處理的另一個優(yōu)勢是降低了維護(hù)詞匯表的成本，將維護(hù)詞向量作為替代，管理者可以不斷地收集語料來促使詞向量表征更準(zhǔn)確、更復(fù)雜的語義，同時，根據(jù)反思性寫作工具的使用記錄不斷提升分類器的準(zhǔn)確度。

五、結(jié)論與展望

隨著學(xué)習(xí)分析研究的深入，對學(xué)習(xí)成果的研究得益于最新的學(xué)習(xí)分析方法。本文利用學(xué)習(xí)分析技術(shù)中的NLP技術(shù)對一萬多個學(xué)習(xí)成果進(jìn)行了分析，研究發(fā)現(xiàn)：在利用機(jī)器學(xué)習(xí)進(jìn)行識別學(xué)習(xí)成果認(rèn)知類型的任務(wù)中，動詞依然是關(guān)鍵的特征;除了代表操作型行為的動詞之外，學(xué)習(xí)成果中的學(xué)習(xí)內(nèi)容也蘊(yùn)含著認(rèn)知層面的信息，當(dāng)作為名詞加入之后，計算機(jī)能夠更準(zhǔn)確地識別出學(xué)習(xí)成果的認(rèn)知類型;學(xué)習(xí)成果制定者在為不同背景的學(xué)習(xí)者制定學(xué)習(xí)成果時存在差異，這種差異不僅僅存在于認(rèn)知類型的分布上，還表現(xiàn)為在同一類型的認(rèn)知領(lǐng)域中，不同學(xué)段或不同學(xué)科的學(xué)習(xí)者被寄予不一樣的期望。這說明單一的布魯姆動詞詞匯表難以覆蓋多樣的教學(xué)情境，如果選擇繼續(xù)以提供詞匯表的方式輔助專家制定學(xué)習(xí)成果，我們需要考慮詞匯表的階段性和領(lǐng)域性。學(xué)習(xí)成果制定的要求之一是提供明確的信息，但本研究發(fā)現(xiàn)，大量單個學(xué)習(xí)成果會同時混合多個認(rèn)知領(lǐng)域信息，這種現(xiàn)象在“分析”認(rèn)知類型中最顯著，屬于高階認(rèn)知的“分析”類型會融入低階認(rèn)知的信息。這些額外的信息雖然增加了辨析認(rèn)知類型的不確定性，但也提供了更多的上下文信息。本文提出，利用基于NLP的反思性寫作可以輔助專家制定符合其認(rèn)知期望的學(xué)習(xí)成果，這為專家在認(rèn)知類型的明確性和信息充分性之間提供了一個可選擇的空間，因為“學(xué)習(xí)成果的制定并不存在絕對正確的方法[2，4]”。此外，本文在數(shù)據(jù)分析中使用了詞向量技術(shù)，這種技術(shù)簡潔且高效，尤其提供了詞匯的語義信息，從而幫助我們在學(xué)習(xí)分析研究中迅速建立具有語義特征的文本數(shù)據(jù)。

本文存在一定的局限性：首先，本文的數(shù)據(jù)存在偏差，由于專家們對布魯姆分類學(xué)的認(rèn)識程度和觀點不一，部分學(xué)習(xí)成果的認(rèn)知類型存在被錯誤標(biāo)記的情況，在未來的研究中有待進(jìn)一步更正;其次，本文只分析了名詞在認(rèn)知分類中的作用，缺乏對其他詞性的考慮（如形容詞和副詞），這些語料可能也蘊(yùn)藏著認(rèn)知層面的信息;最后，本文的分類器的表現(xiàn)還較弱，在實際應(yīng)用中，我們需要進(jìn)一步對其進(jìn)行特征篩選和模型調(diào)諧，或使用其他機(jī)器學(xué)習(xí)模型以提高其分類能力。在未來的研究中，我們將實現(xiàn)學(xué)習(xí)成果的反思性寫作工具，并對其實際效果進(jìn)行測試，此外，我們還將收集中文學(xué)習(xí)成果進(jìn)行相關(guān)的研究。

[3] VAN ROSSUM E J，SCHENK S M. The relationship between learning conception，study strategy and learning outcome[J]. British journal of educational psychology，1984，54（1）：73-83.

[4] STANNY C J. Reevaluating bloom's taxonomy：what measurable verbs can and cannot say about student learning[J]. Education sciences，2016，6（4）：1-12.

[5] KRATHWOHL D R. A revision of bloom's taxonomy：an overview[J]. Theory into practice，2002，41（4）：212-218.

[6] CLARK，D.R. Bloom's taxonomy of learning domains[EB/OL].（2015-01-12）[2018-09-28]. http：//www.nwlink.com/～donclark/hrd/bloom.html.

[7] TOUTANOVA K，KLEIN D，MANNING C D，et al. Feature-rich part-of-speech tagging with a cyclic dependency network [EB/OL]. （2003-06-01）[2018-09-28]. https：//aclanthology.info/pdf/N/N03/N03-1033.pdf

[8] MIKOLOV T，CORRADO G，CHEN K，et al. Efficient estimation of word representations in vector space [EB/OL].（2013-09-07） [2018-09-28]. https：//arxiv.org/pdf/1301.3781.pdf.

[9] KUSNER M J，SUN Y，KOLKIN N I，et al. From word embeddings to document distances [EB/OL].[2018-01-28]. http：//proceedings.mlr.press/v37/kusnerb15.pdf.

[10] PAUL R. Critical thinking：how to prepare students for a rapidly changing world[M]. Santa Rosa：foundation for critical thinking， 1995：519-526.

[11] ADELMAN C. To Imagine a Verb：the language and syntax of learning outcomes statements[EB/OL].（2015-02-10）[2018-9-28]. http：//learningoutcomesassessment.org/documents/OccasionalPaper24.pdf.

[12] AGARWAL P K. Retrieval practice & Bloom's taxonomy：do students need fact knowledge before higher order learning？[EB/OL]. （2018-03-07）[2018-09-28]. http：//pdf.poojaagarwal.com/Agarwal_2018_JEdPsych.pdf

[13] GIBSON A，KITTO K，BRUZA P. Towards the discovery of learner metacognition from reflective writing[J]. Journal of learning analytics，2016，3（2）：22-36.

[14] GOSLING D，MOON J. How to use learning outcomes and assessment criteria[M]. London：SEEC，2002.