李成豐 黃致新

(華中師范大學(xué)物理科學(xué)與技術(shù)學(xué)院 湖北 武漢 430079)

?

數(shù)據(jù)挖掘技術(shù)及其在物理教育研究中的應(yīng)用

李成豐 黃致新

(華中師范大學(xué)物理科學(xué)與技術(shù)學(xué)院 湖北 武漢 430079)

數(shù)據(jù)挖掘是20世紀末逐漸形成的一個多學(xué)科交叉、滲透、結(jié)合的研究領(lǐng)域．本文通過對美國《物理評論快報》特刊PRST-PER的研究，介紹了數(shù)據(jù)挖掘的概念、特點、功能及其在物理教育研究中的常見應(yīng)用，提出了一些思考與建議，并展望了數(shù)據(jù)挖掘技術(shù)在物理教育研究上的未來．

數(shù)據(jù)挖掘 物理教育 教育研究

在知識社會創(chuàng)新2.0的推動下，“互聯(lián)網(wǎng)+”將互聯(lián)網(wǎng)與工業(yè)、商業(yè)、金融業(yè)等傳統(tǒng)行業(yè)進行了深度融合，創(chuàng)造了新的發(fā)展生態(tài)．無所不在的網(wǎng)絡(luò)與無所不在的計算、無所不在的數(shù)據(jù)、無所不在的知識共同驅(qū)動了無所不在的創(chuàng)新．面對浩瀚的數(shù)據(jù)信息，人們開始去粗取精，去偽存真，對自身所處領(lǐng)域的問題開始關(guān)注，并獨立地追求科學(xué)知識，這種能力和興趣正是現(xiàn)代社會成員所必需的基本能力和科學(xué)素養(yǎng)．在這種背景下，既是一門理論學(xué)科，又是一門應(yīng)用學(xué)科的數(shù)據(jù)挖掘(Data Mining——DM)技術(shù)便顯得尤為重要．其在物理教育研究中的應(yīng)用，對于物理教育的發(fā)展，也具有極大的促進和推動作用．

本文以2005～2015年P(guān)RST-PER中的物理教育研究論文為研究對象，采用文獻統(tǒng)計法和內(nèi)容分析法，對數(shù)據(jù)挖掘技術(shù)在物理教育研究中的應(yīng)用以及美國物理教育研究的特點進行了分析，力圖為改善我國物理教育研究現(xiàn)狀，促進我國物理教育研究發(fā)展提供一些參考．

1 數(shù)據(jù)挖掘和知識發(fā)現(xiàn)

數(shù)據(jù)挖掘是一門數(shù)據(jù)庫研究和人工智能、統(tǒng)計學(xué)、機器學(xué)習(xí)等領(lǐng)域相交叉的新興邊緣學(xué)科，近年來受到了社會各階層廣泛的關(guān)注．從廣義上講，數(shù)據(jù)挖掘就是對數(shù)據(jù)庫中大量的原始數(shù)據(jù)進行抽樣、清理、轉(zhuǎn)換，以及計算從而分析出有用知識的過程．簡言之，數(shù)據(jù)挖掘即是從數(shù)據(jù)庫中發(fā)現(xiàn)有用的模式，或者一種知識，也可以說是數(shù)據(jù)間的關(guān)系(這里的模式是指濃縮數(shù)據(jù)的邏輯結(jié)構(gòu)和特征描述形式，如表格、決策樹、產(chǎn)生式規(guī)則等)[1,2]．

數(shù)據(jù)挖掘也常稱為知識發(fā)現(xiàn)(Knowledge Discovery in Database——KDD)，知識發(fā)現(xiàn)是從源數(shù)據(jù)中確定出有效的、新穎的，以及最終可理解的模式的高級處理過程(這里的模式可以看成知識的雛形，只需稍加驗證和完善便形成知識)．嚴格來講，KDD表示底層數(shù)據(jù)轉(zhuǎn)換成高層數(shù)據(jù)的整個過程，是DM的一種更廣義的說法，DM可看作為是KDD整個過程中的一個特定步驟，并處于核心位置．基于數(shù)據(jù)庫的知識發(fā)現(xiàn)(KDD)和數(shù)據(jù)挖掘(DM)還存在著混用，通常這兩個術(shù)語可替換使用[3,4]．

2 數(shù)據(jù)挖掘的特點

(1)數(shù)據(jù)量巨大

數(shù)據(jù)挖掘的源數(shù)據(jù)量是巨大的．我們需要從大數(shù)據(jù)庫中隨機或者有目的地選出與研究問題相關(guān)的樣板數(shù)據(jù)子集，而不是盲目地、模糊地去提取數(shù)據(jù)[5]．這樣的篩選不僅能減少數(shù)據(jù)處理量，而且還能使規(guī)律更易凸現(xiàn)出來．

(2)數(shù)據(jù)類型繁多

現(xiàn)實世界里，我們需要處理的數(shù)據(jù)具有多種多樣的形式，這種多樣性將數(shù)據(jù)分為了結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)．便于存儲的、以文本為主的結(jié)構(gòu)化數(shù)據(jù)，已經(jīng)進行了多次的數(shù)據(jù)挖掘研究，技術(shù)相對成熟．近年來，越來越多的非結(jié)構(gòu)化數(shù)據(jù)成為了數(shù)據(jù)挖掘中日益重要的研究內(nèi)容，如空間數(shù)據(jù)、多媒體數(shù)據(jù)、web數(shù)據(jù)等等．

(3)源數(shù)據(jù)常常缺少變量

我們在整理某些源數(shù)據(jù)時，通常發(fā)現(xiàn)這些數(shù)據(jù)原本是為了別的目的收集而成的，對于我們所要研究的問題來講，可能缺乏一個或者幾個重要的變量，從而使得數(shù)據(jù)挖掘工作停滯不前．例如，某大型超市每日有大量的交易數(shù)據(jù)，這是為了核對賬目而存儲的．如果我們想研究該超市里各個年齡層的消費水平，這些數(shù)據(jù)便缺乏了年齡這一重要的變量．

3 數(shù)據(jù)挖掘的功能

數(shù)據(jù)挖掘的功能一般可以分為兩大類：描述和預(yù)測[6]．描述性數(shù)據(jù)挖掘任務(wù)刻畫了數(shù)據(jù)庫中數(shù)據(jù)的一般特性；預(yù)測性數(shù)據(jù)挖掘任務(wù)是在當(dāng)前數(shù)據(jù)的基礎(chǔ)上進行分析和推斷．一般而言，數(shù)據(jù)挖掘按功能劃分主要有以下幾大類：

(1)概念描述

概念描述(Concept Description)就是對某類含有大量數(shù)據(jù)的數(shù)據(jù)集合進行匯總、分析和比較所獲得的簡明、準確的描述．一般而言，概念描述分為特征性描述和區(qū)別性描述，前者描述某類對象的共同特征，后者描述不同類別對象之間的差異．例如，我們可以對某高校物理學(xué)院講師和副教授的情況進行如下的概念描述：

滿足(papers<3)and(teaching courses<2)的講師所占比例為70%；滿足(papers>=3)and(teaching courses>=2)的副教授所占比例為62%．

(2)關(guān)聯(lián)分析

若兩個或多個變量的取值之間存在某種規(guī)律性，就稱為關(guān)聯(lián)．關(guān)聯(lián)分析(Association Analysis)就是通過分析發(fā)現(xiàn)數(shù)據(jù)庫中隱藏的某種關(guān)聯(lián)，但是大多數(shù)時候我們并不知道數(shù)據(jù)庫中數(shù)據(jù)間的關(guān)聯(lián)函數(shù)，于是通過關(guān)聯(lián)分析生成的規(guī)則顯得更有說服力．美國高中的物理課屬于選修課，一般實行學(xué)分制，學(xué)生在最低學(xué)分的要求之上，可以根據(jù)自己的情況和需要選擇不同的物理課程．例如，在PRST-PER關(guān)于“學(xué)生的興趣與高中的學(xué)習(xí)準備以及大學(xué)物理課程學(xué)習(xí)表現(xiàn)間的聯(lián)系”一文中[7]．研究者對學(xué)習(xí)大學(xué)物理課程的在校學(xué)生進行調(diào)查，并分析大量的數(shù)據(jù)，得出高中學(xué)生對物理學(xué)的興趣和選修物理課這兩種變量間存在著一種關(guān)聯(lián)，可以說學(xué)生對物理學(xué)的興趣是選修物理課的充分不必要條件．換言之，對物理學(xué)有興趣的學(xué)生通常都會選修物理課程，學(xué)習(xí)大學(xué)物理課程也更加得心應(yīng)手；但選修物理課程的學(xué)生并非都出于對物理學(xué)的興趣，因為除興趣之外還存在著學(xué)校規(guī)定，家長要求等外在因素．由此可見，學(xué)生對物理學(xué)的興趣有助于學(xué)生學(xué)好物理知識．

(3)分類

分類(Classification)是找出一組能夠描述數(shù)據(jù)集合典型特征的模型或者函數(shù)，以便能對未知數(shù)據(jù)進行歸屬和分類．首先，需要建立一個模型，模型的表示方法主要有分類規(guī)則、數(shù)學(xué)公式、決策樹和神經(jīng)網(wǎng)絡(luò)；然后，開始使用模型進行分類．例如，研究課堂教學(xué)對學(xué)生在定性問題上表現(xiàn)的影響，以及研究興趣和高中物理課程對學(xué)生學(xué)習(xí)大學(xué)物理課程的影響等這些問題，涉及到一個重要的分類規(guī)則，即對采集的數(shù)據(jù)按照前測和后測進行劃分和分析．又如，美國著名教育社會學(xué)家Martin Trow教授通過分析大量數(shù)據(jù)在“從大眾向普及高等教育的轉(zhuǎn)變”和“高等教育的擴展與轉(zhuǎn)化”中于1973年提出了這樣一個世界公認的高等教育劃分理論：設(shè)X為18～24歲人中的大學(xué)生比例，則大學(xué)分為三類大學(xué)：(a)精英大學(xué)X<15%，(b)大眾大學(xué)15%≤X<50%，(c)全民大學(xué)X≥50%．

(4)聚類

聚類(Clustering)就是將數(shù)據(jù)集合分組成多個類或簇，根據(jù)對象之間的相似度進行數(shù)據(jù)聚集的方法，即為“最小化類間的相似性，最大化類內(nèi)的相似性”原則[8]．聚類中要使用的數(shù)據(jù)是未知類別屬性的，它屬于一種不依賴于預(yù)先定義好分類標記的訓(xùn)練數(shù)據(jù)集的非監(jiān)督學(xué)習(xí)．在物理教育研究中，通過聚類分析能夠幫助教師識別不同經(jīng)濟地區(qū)的學(xué)生群體以及他們之間的學(xué)習(xí)特征，有助于教師進行教學(xué)研究．例如，城鄉(xiāng)學(xué)生差異研究等，這對于教師制定更好的教學(xué)方法大有裨益．

(5)偏差檢測

通常數(shù)據(jù)庫中的數(shù)據(jù)有許多差異和極端的異常記錄，大多時候人們都將其視為噪聲而丟棄，殊不知從數(shù)據(jù)庫中檢測這些偏差(Deviation)很有意義．偏差檢測的基本方法就是去尋找觀測結(jié)果與參照值之間有意義的差別．通過偏差檢測可以發(fā)現(xiàn)異常，可使研究者對特殊情況加倍注意．例如，在幾次物理考試成績的統(tǒng)計數(shù)據(jù)中，始終有幾位同學(xué)的物理成績(即實際值)遠低于其正常水平(即期望值)，或者在近幾次物理考試中，一些同學(xué)的物理成績顯著降低等情況．這時，教師應(yīng)當(dāng)關(guān)注這些特殊個體，給予他們適當(dāng)?shù)年P(guān)心，并尋找問題根源，對癥下藥，使學(xué)生們重拾學(xué)習(xí)的信心．

(6)時序演變分析

數(shù)據(jù)的時序演變分析(Temporal Evolution Analysis)就是尋找數(shù)據(jù)對象隨著時間變化的規(guī)律或趨勢，從而進行建模描述．它包括時序數(shù)據(jù)分析、序列或周期模式匹配，以及基于相似性的數(shù)據(jù)分析．例如，對某校的中學(xué)生每天上新課與老師交流互動情況的數(shù)據(jù)進行時序演變分析，可能得到這樣的規(guī)則：上課期間，通常老師提問過的學(xué)生及其周圍學(xué)生更多的與老師進行交流互動，學(xué)習(xí)效率也很好，而遠離講臺且缺乏與老師互動的學(xué)生，上課的精神狀態(tài)稍差，效率低下．

4 數(shù)據(jù)挖掘技術(shù)在物理教育研究中的應(yīng)用

社會科學(xué)領(lǐng)域的研究主要采取定性研究方法和定量研究方法，事實上，定性研究方法與定量研究方法并非截然不同，它們有很多方面是相互重合和互補的．定性與定量研究的比較可參見表1．

表1 定性和定量研究的比較

近年來，在科學(xué)教育領(lǐng)域，較多的應(yīng)用個案研究、觀察訪談等定性研究的方式與定量研究相結(jié)合，也出現(xiàn)了一些定性描述的文章．定性方法和定量方法的結(jié)合，使定量的數(shù)據(jù)鮮活起來，對學(xué)生認知結(jié)構(gòu)的了解會更深入，對于學(xué)生科學(xué)推理的分析也更加立體和全面，這就是混合研究．筆者在前人研究的基礎(chǔ)上，并結(jié)合國內(nèi)外物理教育研究論文的研究方法，列出了如表2所示的物理教育研究方法分類框架[9]：

通過對2005～2015年P(guān)RST-PER上總計346篇文獻的研讀，我們從圖1可以看出國外文獻中采用定量研究方法的文獻數(shù)最多．從發(fā)展趨勢來看，定量研究方法在國外物理教育研究中逐漸趨于平穩(wěn)，數(shù)據(jù)分析時采用的統(tǒng)計方法也更加科學(xué)規(guī)范．同時，定性研究開始受到重視，混合研究的文獻也趨于一定的增長．總體上，國外物理教育研究方法呈現(xiàn)多元化、整體化、綜合化的趨勢．

圖1 PRST-PER應(yīng)用的研究方法隨年份的變化

由此可見，美國的物理教育研究通常是實證型的量化研究，首先通過文獻調(diào)研、調(diào)查分析、觀察實驗等方法收集資料并確定選題，然后選取研究對象和研究方法開展實驗，再對實驗數(shù)據(jù)進行挖掘、分析、解釋，從而得出結(jié)論(有時包括相應(yīng)的教學(xué)意義)．筆者通過研讀PRST-PER上的文章，總結(jié)出了美國物理教育研究的一般模式，如圖2所示．

圖2 美國物理教育研究的一般模式

圖2表明，數(shù)據(jù)挖掘技術(shù)在物理教育研究中的應(yīng)用性是非常大的．?dāng)?shù)據(jù)挖掘的基本過程主要有3個部分組成：目標數(shù)據(jù)的收集、挖掘分析、評估表示[10]．以下，筆者會從數(shù)據(jù)挖掘的過程中列舉實例來說明其在物理教育研究中的應(yīng)用．圖3描述了數(shù)據(jù)挖掘的基本過程和主要步驟．

圖3 數(shù)據(jù)挖掘的基本過程

4.1 目標數(shù)據(jù)的收集

目標數(shù)據(jù)的收集主要有兩個模塊：數(shù)據(jù)收集和數(shù)據(jù)預(yù)處理．當(dāng)進行數(shù)據(jù)預(yù)處理時，首先要開始數(shù)據(jù)的收集，即需要從大量數(shù)據(jù)中精選出一個與要探索問題相關(guān)的樣板數(shù)據(jù)子集．美國教育研究者在收集數(shù)據(jù)時，主要采用了問卷、實驗、量表等方法．例如，在PRST-PER關(guān)于“課堂教學(xué)對學(xué)生在定性問題上表現(xiàn)的影響”一文中[11]，研究的數(shù)據(jù)包括：“前測問題的選擇”和“班級的選擇”．?dāng)?shù)據(jù)預(yù)處理包括數(shù)據(jù)清理、數(shù)據(jù)集成和變換、數(shù)據(jù)歸約．研究者通過設(shè)定分類規(guī)則篩選出了研究材料和研究對象，然后對研究對象進行在線前測，并加以整理，便得到了目標數(shù)據(jù)．

4.2 挖掘分析

這一步是數(shù)據(jù)挖掘工作的核心環(huán)節(jié)．美國教育研究者多采用定量研究方法，在對數(shù)據(jù)定量分析時，主要采用數(shù)理統(tǒng)計的方法得出結(jié)論．?dāng)?shù)理統(tǒng)計作為數(shù)據(jù)挖據(jù)的主要支柱之一，有許多尋找變量之間規(guī)律性的方法，其中包括：回歸分析、方差分析、多變量統(tǒng)計分析、正交試驗設(shè)計等等．例如，在PRST-PER關(guān)于“加減矢量：箭頭表示存在的問題”一文中[12]，研究者分別對學(xué)生在一維下矢量的加減法、二維下矢量的加減法以及物理內(nèi)容下矢量加減法的表現(xiàn)情況用到了方差分析(ANOVA)，得出了箭頭表示和ijk表示下學(xué)生表現(xiàn)效果之間的層級關(guān)系，進而總結(jié)出了學(xué)生對箭頭表示和ijk表示下的物理意義建構(gòu)．而回歸分析(Regression Analysis)是其中最有效的方法之一，數(shù)據(jù)挖掘用到的回歸分析方法主要有線性回歸方程、線性相關(guān)的顯著性檢驗、非線性回歸分析、多元線性回歸分析、一般情況下的回歸分析以及逐步回歸分析等．例如，在PRST-PER關(guān)于“課堂教學(xué)對學(xué)生在定性問題上表現(xiàn)的影響”一文中，研究者對其他變量影響的數(shù)據(jù)建立了完整的回歸方程，顯著性檢驗嘗試將數(shù)據(jù)擬合為線性回歸模型，回歸分析的結(jié)果表明了課堂教學(xué)的影響．在數(shù)據(jù)挖掘中使用哪一種方法，這主要取決于目標數(shù)據(jù)的特征和所要探究的問題，實際上，這種選擇也不一定是唯一的．

4.3 評估表示

通過挖掘分析，我們將會得出一系列的分析結(jié)果、模式或模型，甚至可能是一個結(jié)論，但更多的時候，我們只得到了對所探究問題的多側(cè)面描述，這就需要我們進一步去解釋并評估結(jié)果．如，在PRST-PER關(guān)于“連續(xù)性圖表更能夠形象地反映出學(xué)生在前測和后測所發(fā)生的變化”一文中[13]，研究者選取了一些物理問題．在3年時間內(nèi)，每年的期中和期末考試對學(xué)生進行考查，記錄自己想要研究的數(shù)據(jù)(如學(xué)生每年做這個題選擇了什么方法、學(xué)生犯錯的類型等)，然后根據(jù)數(shù)據(jù)進行分析，說明自己研究取得的相應(yīng)成效及可能的缺陷．

5 思考與建議

研讀PRST物理教育研究論文，我們不難發(fā)現(xiàn)，美國物理教育研究有兩個最主要的特點：規(guī)范和嚴謹[14]．規(guī)范是指嚴格遵循物理教育研究的過程，即注重在閱讀大量文獻綜述的基礎(chǔ)上或者在某些實驗結(jié)果的反思里確定研究問題，注重在教育研究中樹立“解決問題”的意識，即選取好研究對象和研究方法，注重數(shù)據(jù)挖掘過程中將理論研究和實證研究加以結(jié)合，注重對結(jié)果的解釋與評價．例如，“掌握組中生動形象的錄像解決方案”一文[15]和“在線活動中掌握學(xué)習(xí)模式與及時反饋學(xué)習(xí)模式的對比研究”一文[16]，都是一系列研究中的一部分．研究對象是伊利諾伊大學(xué)香檳分校里一些學(xué)習(xí)電學(xué)和磁學(xué)的大學(xué)生們，研究的目的是通過整合形象的動畫解決方案與訓(xùn)練掌握來提高在線物理作業(yè)活動的有效性，這個系列的研究過程都十分規(guī)范．嚴謹是指研究者在數(shù)據(jù)挖掘分析時采用數(shù)理統(tǒng)計的方法，排除無關(guān)變量的影響，前后對比測量考察，對多個對象的大量數(shù)據(jù)進行長時間的研究．例如，“使用互動的講課示范：一個10年的研究”一文[17]，長時間的研究提高了實驗結(jié)果的效度和信度．又如，“課堂教學(xué)對學(xué)生在定性問題上表現(xiàn)的影響”一文中，研究者對華盛頓大學(xué)里大學(xué)物理的一些班級進行了長達15年的回顧性分析．

在國內(nèi)的物理教育研究上，我們的研究者主要進行理論探討和定性描述，很少涉及大量數(shù)據(jù)的深度分析，大多都是思考、淺談、初探等．如此一來，研究者根據(jù)自身的經(jīng)歷和研究得出的經(jīng)驗和結(jié)論不具有普適應(yīng)，效度通常受到懷疑，于是在一定程度上欠缺實用價值，難以付諸實踐，進而導(dǎo)致理論和實踐的脫節(jié)．因此，筆者建議我們的物理教育研究可適當(dāng)借鑒自然科學(xué)研究的方法，多一些應(yīng)用型的量化研究．當(dāng)然，即使物理教育研究做到了量化，這并不意味著我們的教育研究步入了科學(xué)的軌道．物理教育研究的“科學(xué)化”，任重而道遠．我們應(yīng)克服非此即彼的做法，要把定量研究與定性研究結(jié)合起來，使物理教育研究方法從對立走向統(tǒng)一，從單一走向多元，這應(yīng)該成為我們進行教育研究必須遵循的基本原則，這也是物理教育研究方法發(fā)展的方向．

總而言之，在物理教育研究過程中，數(shù)據(jù)挖掘技術(shù)對于量化研究有重要的作用，特別是在教育統(tǒng)計、測量理論和評價工具方面．隨著互聯(lián)網(wǎng)、云計算、移動終端的發(fā)展，信息技術(shù)環(huán)境下的教學(xué)模式(如翻轉(zhuǎn)課堂、對分課堂等)以及教學(xué)方式(如慕課、微課程等)正引起越來越多的關(guān)注，基于E-Learning網(wǎng)絡(luò)教育的用戶大數(shù)據(jù)研究(包括教師的教學(xué)行為和學(xué)生的學(xué)習(xí)行為研究等)也逐漸引起學(xué)者重視．這是因為采用數(shù)據(jù)挖掘技術(shù)，并通過不同的展現(xiàn)形式顯示分析后的結(jié)果，可以輔助高等教育機構(gòu)管理者做決策(包括改善教學(xué)模式、優(yōu)化資源分配、及時發(fā)現(xiàn)學(xué)習(xí)困難的學(xué)生并提供幫助等)．目前數(shù)據(jù)挖掘技術(shù)在國內(nèi)物理教育研究領(lǐng)域的實際應(yīng)用還很不成熟，筆者認為國內(nèi)可以借鑒美國等先進國家的經(jīng)驗，取長補短，但不要生搬硬套和全盤西化，要洋為中用，引入成功的系統(tǒng)進行本土化研究，開發(fā)適合中國學(xué)生的測試量表和教學(xué)策略．筆者相信，在國內(nèi)，數(shù)據(jù)挖掘技術(shù)在物理教育研究領(lǐng)域的應(yīng)用前景會越來越好，研究成果也會越來越多．

1 李愛國，厙向陽. 數(shù)據(jù)挖掘原理、算法及應(yīng)用.西安：西安電子科技大學(xué)出版社，2012

2 胡可云，田鳳占，黃厚寬. 數(shù)據(jù)挖掘理論與應(yīng)用.北京：清華大學(xué)出版社；北京交通大學(xué)出版社，2008

3 唐曉萍. 數(shù)據(jù)挖掘與知識發(fā)現(xiàn)綜述.電腦開發(fā)與應(yīng)用，2002,4(15):31～32

4 孫吉紅，焦玉英. 知識發(fā)現(xiàn)及其發(fā)展趨勢研究.情報理論與實踐，2006,5(29):528～530

5 梁循. 數(shù)據(jù)挖掘：建模、算法、應(yīng)用和系統(tǒng).計算機技術(shù)與發(fā)展，2006,1(16):1～3

6 王光宏，蔣平. 數(shù)據(jù)挖掘綜述.同濟大學(xué)學(xué)報，2004,2(32):247～248

7 Jason J.B.Harlow, David M.Harrison,Andrew Meyertholen.Correlating student interest and high school preparation with learning and performance in an introductory university physics course.PRST-PER，10(1),010112(2014)

8 李菁菁，邵培基，黃亦瀟.數(shù)據(jù)挖掘在中國的現(xiàn)狀和發(fā)展研究.管理工程學(xué)報，2004,3(18):10～14

9 張靜，郭玉英.國外大學(xué)物理教育研究的現(xiàn)狀和發(fā)展動向.大學(xué)物理，2013,4(32):42～45

10 郝先臣，張德干，高光來，趙海. 數(shù)據(jù)挖掘工具和應(yīng)用中的問題. 東北大學(xué)學(xué)報(自然科學(xué)版)， 2001, 4(22): 183～185

11 Paula R.L.Heron.Effect of lecture instruction on qualitative questions.PRST-PER，11(1),010102(2015)

12 Andrew F.Heckler,Thomas M.Scaife.Adding and subtracting vectors:The problem with the arrow representation.PRST-PER，11(1),010101(2015)

13 Michael C.Wittmann,Katrina E.Black.Visualizing changes in pretest and post-test student responses with consistency plots. PRST-PER，10(1),010114(2014)

14 袁瀚，黃致新，孔鵬柯，朱遠稼. 美國物理教育研究的特點及其啟示.物理通報，2015(3):111～112

15 Noah Schroeder, Gary Gladding, Brianne Gutmann, and Timothy Stelzer. Narrated animated solution videos in a mastery setting.PRST-PER，11(1),010103(2015)

16 Gary Gladding,Brianne Gutmann,Noah Schroeder,and Timothy Stelzer.Clinical study of student learning using mastery style versus immediate feedback online activities.PRST-PER，11(1),010114(2015)

17 Manjula D.Sharma,Ian D.Johnston,Helen Johnston. Kevin Varvell,Gordon Robertson,Andrew Hopkins,Chris Stewart,Ian Cooper,and Ronald Thornton.Use of interactive lecture demonstrations: A ten year study.PRST-PER，6(2),020119(2010)

2015-12-10)