DOI： 10.16750/j.adge.2023.12.010

摘要：基于陜西省高校科研經(jīng)歷調(diào)查數(shù)據(jù)，借助因子分析與多層模型分析方法，分析了所開發(fā)的研究生科研經(jīng)歷調(diào)查工具在學生個體層次上和學校層次上的工具性能。分析結(jié)果顯示，學生個體層次上，研究生科研經(jīng)歷調(diào)查工具的因子結(jié)構(gòu)穩(wěn)定，具有良好信度和效度，是學生個體層次上的有效測量工具；學校層次水平上，研究生科研經(jīng)歷調(diào)查工具的信度不足；研究生個體對科研經(jīng)歷的感知評價存在較大差異。研究結(jié)果揭示了基于科研經(jīng)歷評估教育質(zhì)量所面臨的一些問題，研究生視角的科研經(jīng)歷調(diào)查結(jié)果可用于學生個體層次水平上的研究生教育質(zhì)量分析，但不支持學校層次上的研究生教育質(zhì)量校際比較，科研經(jīng)歷存在一定程度個體差異。因此，在基于研究生調(diào)查的教育實踐過程中，應(yīng)注意分析單元問題、外推分析結(jié)果的合理性、開發(fā)適合校際比較的學生調(diào)查工具、關(guān)注學生個體差異和研究生培養(yǎng)過程同質(zhì)化問題等。

關(guān)鍵詞：科研經(jīng)歷調(diào)查；研究生質(zhì)量；高等教育評估；多層模型；研究生教育

作者簡介：劉秀英，西安交通大學公共政策與管理學院博士研究生，陜西 西安 710049。

基金項目：國家自然科學基金資助項目“大學生就業(yè)能力與創(chuàng)業(yè)意向：結(jié)構(gòu)、影響因素及發(fā)展策略研究”（編號：71573203）

一、問題提出

隨著研究生教育規(guī)模不斷擴大，面臨的教育質(zhì)量社會問責的壓力增加。“十四五”以來，我國高等教育持續(xù)保持穩(wěn)中有升、研究生教育規(guī)?？焖僭鲩L的特征。2021年我國在學研究生規(guī)模達333.24萬人，2022年增長了9.64%，達365.36萬人。在資源配置與市場需求能較好滿足的情況下，高校會對研究生教育擴張政策“積極響應(yīng)”，并形成潛移默化的作用。社會上對研究生教育規(guī)模擴張卻并非一直持支持態(tài)度，對研究生教育的評價除了以規(guī)模作為評價指標外，還表達了由于規(guī)模擴大導致教育質(zhì)量下降的擔憂[1]。如何在規(guī)模擴張的同時保證教育質(zhì)量成為研究生教育的核心任務(wù)。

雖然政府主導的教育質(zhì)量評估與保障政策落實過程中，更青睞借助教育“輸入”或“輸出”端的客觀量化性指標評估教育質(zhì)量，對教育過程和作為教育主體的學生關(guān)注不足。囿于經(jīng)驗拒絕改變“教師為中心”模式下形成的教育實踐與評估慣習是國際范圍內(nèi)高等教育改革普遍面臨的問題[2]。近些年來，建構(gòu)主義和社會認知心理等理論不斷發(fā)展對人類認知的客觀性挑戰(zhàn)，以及社會問責高等教育質(zhì)量壓力的推動下，國際范圍內(nèi)研究生教育的評價與保障體系越發(fā)重視“學生的聲音”[3]。自20世紀90年代以來，基于學生反饋的科研經(jīng)歷調(diào)查在澳大利亞、英國、加拿大等多個國家已成為研究生教育評估和問題診斷的重要途徑[4]。同一時期，國內(nèi)高等教育質(zhì)量保障體系中，也越發(fā)重視來自學生的聲音，基于學生反饋的各種研究生科研經(jīng)歷的調(diào)查項目紛紛開展，日益成為獲取研究生教育質(zhì)量信息的重要途徑和質(zhì)量保障的重要環(huán)節(jié)。

然而，基于學生調(diào)查評估研究生教育質(zhì)量的一些問題亟需關(guān)注?；趯W生反饋的科研經(jīng)歷調(diào)查結(jié)果具有教育數(shù)據(jù)的嵌套性特征，因此科研經(jīng)歷調(diào)查應(yīng)用于教育評估過程時，分析單元的選擇是一個需要重點關(guān)注的問題。分析單元不同，分析結(jié)果的適用范圍也會不同。同樣，由于分析單元不同，需要考慮不同層次水平上的科研經(jīng)歷差異顯著性問題，例如對科研經(jīng)歷在學校層次上或院系層次上比較分析是否有對應(yīng)的學校層次上或院系層次上的差異顯著性驗證分析等。這些問題在英語語言背景下開展的科研經(jīng)歷調(diào)查應(yīng)用過程中得到一定程度的討論，在國內(nèi)開展的各種研究生科研經(jīng)歷調(diào)查應(yīng)用過程中則缺乏對相應(yīng)問題的深入探究。本研究擬借助一項中文語言背景下開展的科研經(jīng)歷調(diào)查，探究學生調(diào)查應(yīng)用評估高等教育質(zhì)量過程中分析單元選擇的重要性問題，分析此類調(diào)查在不同層次上（如個體層次和學校層次）的性能特征，驗證科研經(jīng)歷在更高層次單位上進行比較分析實踐的可靠性。

二、相關(guān)研究回顧

（一）分析學生調(diào)查涉及的分析單元問題

面對學生群體開展的學生調(diào)查所搜集的信息具有嵌套性質(zhì)，學生隸屬于不同班級、受教于不同教師、就讀于不同學校等，學生調(diào)查分析涉及的一個重要問題是分析單元的選擇。在早期基于學生調(diào)查評估教學質(zhì)量的研究中，已有研究者關(guān)注到分析單元選擇的重要性?；趯W生調(diào)查收集的反饋信息評估教學效果在高等教育調(diào)查實踐中由來已久，同時，學生評教反饋用于不同實踐活動的適當性和可信度作為一個重要研究課題和爭論焦點也伴隨而生[5-6]。學生評價教學效果的研究中，如何選擇合適的分析單位是個重要方法論問題。基于學生調(diào)查反饋評估教學效果的研究中通常選擇的分析單元是班級或者單個教師。相應(yīng)地，在此基礎(chǔ)上計算得到的評價指標的可信度及適用范圍是班級層次或教師個體。班級層次水平上的可信度受班級規(guī)模和班級內(nèi)個體評價一致程度影響：50人規(guī)模班級的信度最低標準是0.95，25人規(guī)模班級的信度最低標準是0.90，10人規(guī)模班級的信度最低標準是0.74，5人規(guī)模班級的信度最低標準是0.60。如果單個班級規(guī)模足夠（或者如果班級規(guī)模小于20，以教師為單位，對其所代課的所有班級進行平均），班級層次的信度就會很好。同樣地，結(jié)構(gòu)效度的分析也應(yīng)在班級層次水平上進行[7]。

馬什（Marsh）發(fā)現(xiàn)學生對教授同樣課程的不同教師教學效果的評價相關(guān)度為？0.05，對同一位教師教授的不同課程教學效果的評價相關(guān)度為0.61，對同一位教師負責的兩門課程的教學效果評價相關(guān)度為0.72。學生對教學的評價能區(qū)分不同教師個體的教學風格（例如，課程組織良好，教學熱情高等），但是不能區(qū)分不同課程的特征[8]。也有研究發(fā)現(xiàn)學生對教學效果的評價能區(qū)分不同學科，（例如，人文社科類學生評教稍微偏高，科學類學生評教稍微偏低），不過，學生評教中的學科差異對學生評教變異的解釋有限，而且如何解釋學生評教的學科差異仍有很多爭論[9]。學生評價能有效區(qū)分教師個體，但在區(qū)分不同課程和不同學科上缺乏可信度。由此可見，對基于學生視角的教育教學評價反饋的相關(guān)研究中，分析單元選擇是個非常關(guān)鍵的問題，多層線性模型因其具有允許不同分析單元共存的優(yōu)勢而受推崇。馬什等人的研究為后續(xù)提供非常有益的研究思路和方法指導。

（二）研究生科研經(jīng)歷調(diào)查及其在高等教育質(zhì)量評估中的應(yīng)用

1.國外科研經(jīng)歷調(diào)查及其在高等教育質(zhì)量評估中的應(yīng)用

在澳大利亞、英國和加拿大等英語語言國家中，對高校、政府和教育質(zhì)量監(jiān)管機構(gòu)而言，科研經(jīng)歷調(diào)查是研究生教育質(zhì)量的重要信息來源，是高等教育質(zhì)量保障的重要環(huán)節(jié)。

科研經(jīng)歷調(diào)查于20世紀90年代興起于澳大利亞，是澳大利亞全國范圍實施的一種研究生教育質(zhì)量評估項目。20世紀90年代初，澳大利亞已經(jīng)開始借助針對本科生的課程學習經(jīng)歷調(diào)查問卷（Course Experience Questionnaire，CEQ）收集畢業(yè)研究生的就讀經(jīng)歷反饋意見，對此高校持批評態(tài)度，認為研究生教育與本科生教育存在較大差異，應(yīng)該采用針對研究生教育過程的調(diào)查工具。為此，澳大利亞畢業(yè)生職業(yè)委員會（the Graduate Careers Council of Australia）在1999年根據(jù)文獻研究和對教師和研究生的訪談，設(shè)計開發(fā)了研究生科研經(jīng)歷調(diào)查問卷（Postgraduate Research Experience Questionnaire，PREQ），對當年業(yè)已畢業(yè)的研究生進行調(diào)查[10]。研究生科研經(jīng)歷調(diào)查（PREQ）是1999—2015年澳大利亞高等教育績效評估的重要數(shù)據(jù)來源之一。通過對不同研究生培養(yǎng)機構(gòu)、不同院系部門、各年度的研究生科研經(jīng)歷進行反饋評價。

面向在讀研究生的科研經(jīng)歷調(diào)查更多用于診斷和改善研究生培養(yǎng)過程，較少用作績效評估指標，但不同機構(gòu)與單位間的對比與排行仍比較常見，例如高校外部機構(gòu)的科研經(jīng)歷比較與排行、高校內(nèi)部不同院系的科研經(jīng)歷對比分析，或者與特定常?；鶞蔬M行對比分析。英國的科研經(jīng)歷調(diào)查（Postgraduate Research Experience Survey，PRES）和加拿大研究生及專業(yè)學生調(diào)查（Canadian Graduate And Professional Student Survey，CGPSS）就屬此類調(diào)查。英國的科研經(jīng)歷調(diào)查由英國高等教育學會（the Higher Education Academy）及參與項目的高等教育機構(gòu)共同管理，是在澳大利亞科研經(jīng)歷調(diào)查基礎(chǔ)上發(fā)展而來的。英國科研經(jīng)歷調(diào)查試行于2006年，于2007年在全國范圍內(nèi)推廣，至2023年該項調(diào)查的范圍已經(jīng)擴展至澳大利亞和新西蘭的高等教育研究機構(gòu)。加拿大課程及專業(yè)研究生調(diào)查由加拿大研究生研究協(xié)會（Canadian Association for Graduate Studies）主持，已持續(xù)開展了五輪調(diào)查（2007年、2010年、2013年、2016年、2019年），影響范圍逐年增加，在2019年有50所加拿大高校參與該項調(diào)查。

科研經(jīng)歷調(diào)查能夠在多大程度上用于識別校際差異是調(diào)查應(yīng)用涉及的一個重要議題。科研經(jīng)歷調(diào)查的目的在于為改進研究生教育提供支持，一個能夠有效識別校際差異的科研經(jīng)歷調(diào)查有多種用途：可以為高校提供有效參照基準，幫助高校明確自身優(yōu)勢和改進方向；可以為準備就讀研究生的人群提供擇校參考依據(jù)；還可以基于調(diào)查結(jié)果生成高校的績效指標幫助高校應(yīng)對社會問責。不同國家科研經(jīng)歷用于評估教育質(zhì)量過程中，對于分析單元、校際差異的區(qū)分程度關(guān)注不同。相對而言，澳大利亞科研經(jīng)歷調(diào)查應(yīng)用過程中對于分析單元問題和不同分析單元對應(yīng)的工具性能較為關(guān)注。在調(diào)查項目啟動之初，在分析調(diào)查工具的構(gòu)成維度，驗證其結(jié)構(gòu)效度與信度時，還對科研經(jīng)歷調(diào)查結(jié)果作為績效指標區(qū)分高校機構(gòu)的可靠性進行討論。結(jié)果發(fā)現(xiàn)，不同高校在科研經(jīng)歷不同維度上評價得分的誤差區(qū)間存在較高程度重疊。也就是說科研經(jīng)歷的校際差異并不明顯[11]，吉恩（Ginns）等人后來還發(fā)現(xiàn)科研經(jīng)歷無法有效區(qū)分用于區(qū)分院/系之間的差異[8]。為了方便比較分析，澳大利亞的研究生科研經(jīng)歷調(diào)查年度報告中，設(shè)定了特定的差異顯著判定標準（不同組別之間的科研經(jīng)歷評價得分差異超過五分之一的標準差以上，則視為是有實際意義的差異）。英國和加拿大開展的研究生科研經(jīng)歷調(diào)查用于評估研究生教育質(zhì)量時面臨同樣的問題，不過，對于分析單元的問題、科研經(jīng)歷的校際差異的顯著性等討論的較少，報告內(nèi)容主要描述以學生個體作為分析單元的分析結(jié)果，科研經(jīng)歷各維度的評價直接簡化為“同意”“不同意”二分類，簡化后直接以各維度上的同意百分比均值進行總體分析、年度變化趨勢分析、不同高校和不同學科間的比較分析等。簡化后呈現(xiàn)的科研經(jīng)歷調(diào)查結(jié)果更簡單和直觀，但同時也因數(shù)據(jù)簡化處理喪失了部分關(guān)鍵信息，例如各維度上的學生評價的個體離散情況等[12-13]。

2.國內(nèi)研究生調(diào)查及其在高等教育質(zhì)量評估中的應(yīng)用

在面向中國高校研究生群體開展的各項調(diào)查中，與澳大利亞、英國等國家開展的科研經(jīng)歷調(diào)查項目性質(zhì)相似的有全國博士畢業(yè)生調(diào)查[14]、研究生滿意度調(diào)查[15-16]以及各省開展的研究生質(zhì)量調(diào)查項目[17-18]和研究者獨立開展的個別調(diào)查項目等[19-20]。其中全國博士畢業(yè)生調(diào)查自2007年實施，調(diào)查內(nèi)容包括培養(yǎng)過程與畢業(yè)結(jié)果。研究生滿意度調(diào)查由學位與研究生教育雜志社和北京理工大學研究生教育研究中心主持，自2011年開始實施，主要從課程教學、科研訓練、導師指導、管理與服務(wù)4個維度開展調(diào)查。不同省份開展的調(diào)查結(jié)果以各種年度報告的形式呈現(xiàn)。各種基于學生反饋的研究生調(diào)查項目開展實施意味著“學生的聲音”在中國研究生教育質(zhì)量評估與保障體系中的重要性越來越受到關(guān)注。不過，這些調(diào)查項目應(yīng)用過程中更偏好基于反饋信息對研究生培養(yǎng)過程中的問題進行診斷和挖掘，或者熱衷于探究科研經(jīng)歷狀態(tài)的前因或結(jié)果。和英國及加拿大科研經(jīng)歷調(diào)查項目應(yīng)用過程中存在的問題一樣，國內(nèi)開展的各種研究生經(jīng)歷調(diào)查在應(yīng)用過程中同樣存在忽視分析單元選擇的問題，對科研經(jīng)歷進行比較和排行分析時，缺乏對應(yīng)層次水平上（學校層次或院系層次等）的可靠性論證。而且，編制年度報告時將數(shù)據(jù)簡化為百分比的形式在簡化分析結(jié)果，提升報告可讀性的同時，也損失了不同調(diào)查維度上個體離散程度的重要信息。

三、研究設(shè)計

（一）研究樣本

本文的樣本來自陜西省高校畢業(yè)生調(diào)查數(shù)據(jù)中的研究生調(diào)查數(shù)據(jù)。陜西省畢業(yè)生調(diào)查是受陜西省教育廳學生處委托，由西安交通大學評估中心主持的項目。調(diào)查工具是自主研制的“陜西省畢業(yè)生就業(yè)創(chuàng)業(yè)跟蹤調(diào)查問卷”，其中包括本科生課程學習經(jīng)歷、研究生科研經(jīng)歷、畢業(yè)生就業(yè)與創(chuàng)業(yè)等子量表。調(diào)查對象是陜西省高校畢業(yè)生，包括專科、本科、碩士、博士畢業(yè)生，調(diào)查時間是畢業(yè)生離校半年之后，調(diào)查時間持續(xù)三個月左右，調(diào)查形式為網(wǎng)絡(luò)問卷調(diào)查，被調(diào)查者自愿回答。本文聚焦于高校研究生的科研經(jīng)歷，因此樣本選擇限于當年獲得碩士、博士學位的畢業(yè)生。陜西省高校畢業(yè)生調(diào)查中回收研究生反饋6533份，其中有效反饋2502份，問卷反饋有效率為38%。調(diào)查樣本的基本情況見表1。

（二）調(diào)查內(nèi)容

科研經(jīng)歷子量表借鑒了澳大利亞研究生科研經(jīng)歷調(diào)查問卷和英國研究生科研經(jīng)歷調(diào)查問卷的內(nèi)容，主要調(diào)查在校期間學生感知的導師在科研過程中多方面的指導情況、學生在學術(shù)及科研相關(guān)技能方面的獲得的發(fā)展情況、學校的科研氛圍情況、學校在研究設(shè)施方面提供的支持、學位論文評審過程的公正性與程序合理性以及研究生對科研經(jīng)歷的整體滿意度等。共有32個測量題目，回答從“非常不同意”到“非常同意”共6個等級，分別賦值1～6分。

（三）分析過程

1.初步分析（學生個體層次）

首先將該年研究生樣本有效反饋數(shù)據(jù)拆分為兩個隨機數(shù)據(jù)樣本（n1=1267，n2=1235），在樣本1中借助SPSS進行探索性因子分析，探索問卷的因子構(gòu)成，然后在樣本2中利用AMOS中實施驗證性因子分析，進一步檢驗問卷的因子結(jié)構(gòu)效度。驗證性因子分析結(jié)果以增值適配指標TLI、比較適配指標CFI、漸進殘差均方和平方根RMSEA、卡方值（Chi-square）作為判定指標。其中，TLI和CFI取值在0～1之間，其值大于0.9意味著模型適配良好。RMSEA取值越小則表明模型適配度越高，其值在0.8～0.1之間，表示模型適配尚可，其值小于0.05，表明模型適配良好。基于計算的組合信度（Composite Reliability，CR）、平均變異量抽取量（Average Variance Extracted，AVE）平方根與維度間相關(guān)系數(shù)，驗證各維度的收斂效度與區(qū)分效度。組合信度大于0.6，表明驗證模型收斂效度佳。平均變量抽取量平方根大于各維度相關(guān)系數(shù)絕對值的最大值，表明各維度間區(qū)分效度良好。

2.多層模型分析（學生個體層次與學校層次）

高等教育研究中，具有嵌套結(jié)構(gòu)特征的數(shù)據(jù)非常常見，例如學生個體隸屬于某個班級，班級之上是院系、學科、學校等。多層模型可以在同一分析中分析不同層次的數(shù)據(jù)。研究借助MLwiN3.01首先構(gòu)建以學校作為分類變量的二層次水平零模型，學生個體是最低層次水平，學校是最高層次水平，設(shè)定學生個體層次與學校層次的效應(yīng)隨機，以判定學校差異對因變量的解釋程度和重要性。然后在零模型基礎(chǔ)上增添預測變量（學生的個人特征），分析預測變量對校際差異的影響及預測變量的固定效應(yīng)。

正如因子分析中因子信度系數(shù)取決于因子內(nèi)的題目之間的一致程度（例如，題目之間的相關(guān)程度）和題項數(shù)量（基于傳統(tǒng)的Spearman-Brown方程）一樣，多層模型分析中每一層次水平上的群組均值的信度取決于群體內(nèi)的個體一致程度和人數(shù)。即如果學校內(nèi)的學生個體之間的一致性較差或者學生人數(shù)過少，則學校層次的群組均值的信度可能會比較低。多層模型分析中群組信度可以通過組內(nèi)相關(guān)系數(shù)ICC判定，組內(nèi)相關(guān)系數(shù)ICC是基于組內(nèi)和組間方差計算所得，計算公式為：組內(nèi)相關(guān)系數(shù)ICC=組間方差τ2/（組間方差τ2+組內(nèi)方差σ2），組內(nèi)相關(guān)系數(shù)ICC代表的是組間差異對總體差異的解釋比例。

也可以將組內(nèi)相關(guān)系數(shù)ICC視為基于單一學生反饋的信度指標（也可稱為單頻信度Single-Rater Reliability），從而將組內(nèi)相關(guān)系數(shù)ICC和組內(nèi)人數(shù)N代入Spearman-Brown公式可以計算出高層次水平的群組平均信度。計算公式為：群組平均信度=組規(guī)模N×組內(nèi)相關(guān)系數(shù)ICC/[1+（組規(guī)模N？1）×組內(nèi)相關(guān)系數(shù)ICC]?？梢?，高層次水平的平均信度取決于組間差異比例ICC和組規(guī)模N。研究中首先計算出不同高校的組間相關(guān)系數(shù)ICC，然后基于調(diào)查樣本中各所高校的人數(shù)中位數(shù)計算學校層次的群組平均信度。

四、研究結(jié)果

（一）初步分析結(jié)果（學生個體層次）

1.因子分析及信度分析結(jié)果

探索性因子分析采用主成分分析方法，最大方差旋轉(zhuǎn)后，選擇特征值大于1的因子。探索生成五個因子，經(jīng)過對各因子對應(yīng)測量題目內(nèi)容的甄別，剔除6個歸屬不當?shù)念}目，五個因子對應(yīng)的題目共26個（將科研經(jīng)歷總體滿意度作為獨立題目，不納入探索因子分析），累計解釋方差82.96%。表2中列出探索性因子分析的結(jié)果，各因子對應(yīng)的測量題目的因子載荷均高于0.6。度量分析結(jié)果顯示各因子具有較高內(nèi)部一致性，信度系數(shù)（Cronbach a）均高于0.8。

探索性因子分析結(jié)果基礎(chǔ)上添加科研經(jīng)歷總體滿意度這一題項后，在隨機樣本2中驗證六個因子的結(jié)構(gòu)效度。由于科研經(jīng)歷總體滿意度僅有一個測量題目，因此設(shè)定其誤差方差為0，因子載荷為1。驗證性因子分析結(jié)果表明，各參數(shù)估計值顯著（0.05顯著性水平及以上）。模型適配指標中，卡方值（Chi-square=2808.624）顯著，由于該指標易受樣本容量影響，因此對驗證因子模型的判別主要依據(jù)增值適配指標TLI、比較適配指標CFI和漸進殘差均方和平方根指標RMSEA。驗證模型分析結(jié)果顯示，增值適配指標（TLI=0.930）、比較適配指標（CFI=0.942）和漸進殘差均方和平方根（RMSEA= 0.076）均達到良好水平。

驗證因子模型分析結(jié)果顯示，各因子對應(yīng)因子載荷在0.78～0.95之間。各因子對應(yīng)的組合信度CR高于0.6，其中導師指導的組合信度0.978，研究氛圍的組合信度0.937，技能發(fā)展的組合信度0.958，研究設(shè)施的組合信度0.884，論文評審的組合信度0.946，科研經(jīng)歷總體滿意度只有一個題項，信度為1。表明科研經(jīng)歷各維度有較好收斂效度。

表3中的平均方差抽取量（AVE）平方根與各維度間的相關(guān)系數(shù)數(shù)值表明，各維度對應(yīng)的AVE平方根均大于因子間相關(guān)系數(shù)絕對值的最大值，表明科研經(jīng)歷各維度之間有較好區(qū)分效度?？梢姡趯W生個體層次水平上，研究生科研經(jīng)歷調(diào)查問卷作為科研經(jīng)歷的測量工具，具有較好的收斂效度和區(qū)分效度。

2.科研經(jīng)歷基本情況及方差分析結(jié)果

研究生科研經(jīng)歷各維度的基本特征（見表4）顯示，整體而言，研究生對其科研經(jīng)歷的評價較高，其中導師指導、研究氛圍、技能發(fā)展、研究設(shè)施的平均得分都介于4.5～5.0之間，論文評審的平均得分還超過了5.0，研究生對其科研經(jīng)歷總體滿意度也接近于5.0分。這一結(jié)果說明，研究生對其科研經(jīng)歷的各項陳述整體上持“比較同意”的態(tài)度。

為了確認科研經(jīng)歷的校際差異情況，對研究生科研經(jīng)歷各維度進行單因素方差分析。分析結(jié)果（見表5）顯示，19所高校的研究生對導師指導的評價得分差異不顯著，對科研氛圍的評價得分差異達到0.001的顯著水平，對技能發(fā)展的評價得分差異達到0.05顯著水平，對基礎(chǔ)設(shè)施的評價得分差異達到0.001顯著水平，對論文評審的評價得分差異達到0.05顯著水平，對科研經(jīng)歷總體滿意度的評價得分差異達0.05顯著水平。

不同高校的學生對科研氛圍、技能發(fā)展、基礎(chǔ)設(shè)施、論文評審的評價存在顯著差異，是否意味著可以依據(jù)這些維度上的學生評價作為評判各校研究生教育過程質(zhì)量高低的依據(jù)還有待進一步確認，還需要進一步驗證學校層次上的科研經(jīng)歷各維度的效度與信度，以確定對不同高校的研究生科研經(jīng)歷進行校際比較的可行性與適切性。

（二）多層模型分析結(jié)果

多層模型分析結(jié)果顯示，19所高?？蒲薪?jīng)歷評價得分的差異性不足以支撐科研經(jīng)歷的校際比較實踐。以學校作為分層變量構(gòu)建的零模型（模型1）主要是為了分析校際差異對變量方差的解釋程度。分析結(jié)果（見表6模型1）顯示，科研氛圍和基礎(chǔ)設(shè)施兩個維度上的校際差異達到0.05顯著水平的顯著性，校際差異分別解釋科研氛圍方差的1.8%，基礎(chǔ)設(shè)施方差的1.8%。同時科研氛圍、基礎(chǔ)設(shè)施的信度估計結(jié)果（0.621和0.629）略顯不足。導師指導、技能發(fā)展、論文評審、科研經(jīng)歷總體滿意度四個維度的校際差異均不顯著，被校際差異解釋的方差比例不足1%。導師指導、技能發(fā)展、論文評審、科研經(jīng)歷總體滿意度四個維度各自對應(yīng)的信度估計值也比較低（低于0.4）。鑒于零模型（模型1）對應(yīng)的組內(nèi)相關(guān)系數(shù)ICC均低于0.059，根據(jù)庫恩（Cohen）建議的判定原則（0.01～0.059代表低度關(guān)聯(lián)強度，0.059～0.138代表中度關(guān)聯(lián)強度，0.138～1代表高度關(guān)聯(lián)強度），19所高校的校際差異對科研經(jīng)歷各維度而言并不重要。

隨后，在零模型的基礎(chǔ)上嘗試添加學生性別和學歷兩個背景變量（模型2），即在模型中對學生性別和學歷兩類背景因素進行控制?？刂茖W生性別和學歷兩類背景變量后的分析結(jié)果（見表6模型2）顯示，控制學生背景特征情況下，導師指導、科研氛圍、技能發(fā)展、基礎(chǔ)設(shè)施、論文評審、科研經(jīng)歷總體滿意度的校際差異在0.05顯著性水平上均不顯著。相對而言，科研經(jīng)歷各個維度上存在顯著個體差異。

學生性別與學歷背景變量的固定效應(yīng)分析結(jié)果（見表6）顯示，性別對論文評審和科研經(jīng)歷總體滿意度兩個維度的評價得分存在顯著影響；學歷層次對科研經(jīng)歷的六個維度的得分評價均有顯著影響。其中，女生對科研經(jīng)歷總體滿意度和論文評審的評價得分顯著高于男生，女生對導師指導、科研氛圍、技能發(fā)展、基礎(chǔ)設(shè)施的評價得分與男生無顯著差異。而博士生對科研經(jīng)歷六個維度的評價得分均顯著高于碩士生。

五、結(jié)果與啟示

（一）研究結(jié)果

基于上述分析，主要研究結(jié)果總結(jié)如下：首先，在學生個體層次水平上，科研經(jīng)歷調(diào)查量表工具性能良好。在學生個體層次水平上，研究生科研經(jīng)歷調(diào)查量表具有良好的結(jié)構(gòu)效度與信度。表明該問卷是個體層面上測量科研經(jīng)歷的有效工具。該結(jié)論與國際上其他研究者的研究發(fā)現(xiàn)相一致。從而也驗證了中文語言背景下研究生科研經(jīng)歷調(diào)查量表的適用性。這一研究結(jié)果提升了科研經(jīng)歷調(diào)查研究結(jié)果的泛化能力，為中文語言背景下與英文語言背景下的研究生科研經(jīng)歷跨文化比較研究提供基礎(chǔ)。其次，學校層次水平上，研究生的科研經(jīng)歷的評價信度不足。在學校層次水平上，研究生科研經(jīng)歷量表缺乏應(yīng)有的信度支持。雖然固定效應(yīng)的方差分析結(jié)果中顯示19所高校在科研氛圍、基礎(chǔ)設(shè)施、技能發(fā)展、論文評審和科研經(jīng)歷總體滿意度維度上至少存在0.05水平上的顯著差異，但是零模型中科研氛圍和基礎(chǔ)設(shè)施兩個維度上也顯示存在少量顯著校際差異（0.05顯著水平），同時，科研氛圍和基礎(chǔ)設(shè)施對應(yīng)的信度估計值不足。最重要的是，控制學生背景因素情況下，所有維度均無顯著校際差異。這意味就科研經(jīng)歷的評價得分而言，參與調(diào)查的高校之間區(qū)分度不高。也就是說，科研經(jīng)歷調(diào)查結(jié)果可能更適合個體層面上的問題診斷與改善指導，應(yīng)謹慎用于高校排行與校際比較。再次，科研經(jīng)歷的個體差異較大。個體層次分析結(jié)果顯示，學生對科研經(jīng)歷的評價得分的校內(nèi)個體差異較大。多層模型分析結(jié)果表明，科研經(jīng)歷的院校差異相對較小，學生個體間差異較大。

（二）討論與啟示

一是從調(diào)查工具性能視角看，研究結(jié)果對于改進調(diào)查工具具有啟示意義?？蒲薪?jīng)歷調(diào)查工具雖然在個體層面上得以驗證其有效性與可靠性，但學校層面上沒有得以驗證，因此，從工具改進視角看，有必要進一步探究如何提升科研經(jīng)歷調(diào)查量表在學校層次上的工具性能，使其具備校際比較的可靠性，為評估不同院校研究生培養(yǎng)過程提供基準工具，推進研究生教育評估的發(fā)展。

二是從調(diào)查分析過程看，科研經(jīng)歷調(diào)查的信效度檢驗應(yīng)與所選擇分析單元相一致。當前，學生群體已經(jīng)成為高等教育質(zhì)量的重要評價主體。學生評價在學生個體層面和教師個體層次上的信效度已得到驗證。然而，這并不意味著基于個體層次水平評價結(jié)果可以整合匯總用于其他的分析目的和用途（例如，高校排行或者院系對比）。應(yīng)當根據(jù)分析目的和選擇的分析單元，對相應(yīng)分析單元上的可信度和適當性進行驗證。正如本文研究結(jié)果所示，研究生科研經(jīng)歷在個體層次上具有良好信度和效度，然而，在學校層次上的科研經(jīng)歷各維度信度不足，表明科研經(jīng)歷的校際差異相對較小，不足以支持基于科研經(jīng)歷各維度對不同高校進行等級排序和校際比較。鑒于不同層次水平上的調(diào)查工具性能分析已經(jīng)不再受技術(shù)限制，因此，學生評估高等教育實踐中應(yīng)與時俱進，從不同層次了解高等教育的特征和規(guī)律。

三是從調(diào)查結(jié)果的應(yīng)用看，科研經(jīng)歷分析結(jié)果作為研究生教育過程的診斷手段，應(yīng)注意其分析結(jié)果外推的適切性。高等教育研究領(lǐng)域中，分層數(shù)據(jù)結(jié)構(gòu)是研究數(shù)據(jù)的常態(tài)。但常用的研究方法通常會忽略數(shù)據(jù)的嵌套屬性，混淆分析單元與推論單元，從而產(chǎn)生推論謬誤。例如，如果進行的數(shù)據(jù)分析是以個體作為分析單元，而分析結(jié)果卻推論至群體，這種以個體層次水平的分析結(jié)果推論群體層次的做法，觸犯了“原子謬誤”（atomistic fallacy），反之，如果分析單元是群組層次，卻以樣本群體層次分析結(jié)果推論至個體層次水平，則會觸犯“生態(tài)謬誤”（ecological fallacy）。鑒于科研經(jīng)歷調(diào)查數(shù)據(jù)的嵌套性質(zhì)，這就要求在科研經(jīng)歷調(diào)查結(jié)果的應(yīng)用過程中，需要謹慎對待分析結(jié)果的推論范圍，防止因為推論范圍不適當而產(chǎn)生推論謬誤問題。推論謬誤不僅關(guān)系研究生培養(yǎng)過程診斷結(jié)果的準確性，還關(guān)系到基于診斷結(jié)果做出的改進建議的有效性。

四是從研究生教育管理優(yōu)化視角看，科研經(jīng)歷的校際差異較小，意味著不同院校的研究生培養(yǎng)過程具有同質(zhì)性。其背后原因可能與課程設(shè)置與教學方法標準化、市場需求與學院競爭導致不同院校培養(yǎng)方案趨同、教師傳統(tǒng)和學科慣例限制多樣化、學術(shù)評價標準和就業(yè)機會要求促使研究生與導師追求目標趨同等因素相關(guān)。因此需要高等教育管理機構(gòu)從多方面入手，提供更廣泛的研究選擇和探索多樣化的研究生培養(yǎng)模式，優(yōu)化研究生教育管理。

五是從學生學習與發(fā)展視角看，科研經(jīng)歷的校內(nèi)個體差異較大，意味著高校研究生群體構(gòu)成具有多樣性。隨著高等教育規(guī)模不斷擴大，包括研究生在內(nèi)的高校學生群體愈發(fā)多元化和個性化。學生群體多樣化意味著學生在學習需求、學習能力、學習興趣、學習風格等方面會存在較大差異，需要學校提供靈活多樣的培養(yǎng)模式，為學生提供個性化發(fā)展的空間與機會。

參考文獻

[1] 張煒， 汪勁松. 研究生教育規(guī)模預測與中美比較[J]. 學位與研究生教育， 2022（2）： 1-7.

[2] 趙炬明. 論新三中心： 概念與歷史——美國SC本科教學改革研究之一[J]. 高等工程教育研究， 2016（3）： 35-56.

[3] 趙琳， 王傳毅. 以“學”為中心： 研究生教育質(zhì)量評價與保障的新趨勢[J]. 學位與研究生教育， 2015（3）： 11-14.

[4] European Union News. “University of Westminster Ranked within Top 20 UK Universities in Latest Postgraduate Research Experience Survey （PRES）”[EB/OL]. [2023-07-28]. https：//search.ebscohost.com/login.aspx？direct=true&AuthTyp e=cookie，ip，shib&db=edsbig&AN=edsbig.A759663065?=zh-cn&site=eds-live.

[5] MARSH H W， ROCHE L A. Making students evaluations of teaching effectiveness effective[J]. American psychologist， 1997， 52（11）： 1187-1197.

[6] GREENWALD A G， GILLMORE G M. No pain， no gain？ the importance of measuring course workload in student ratings of instruction[J]. Journal of Educational psychology， 1997， 89（4）： 743-751.

[7] GINNS P， MARSH H W， BEHNIA M， et al. Using postgraduates evaluations of research experience to benchmark departments and faculties： issues and challenges[J]. British journal of educational psychology， 2009， 79（3）： 577-598.

[8] MARSH H W. Students evaluations of university teaching： research findings， methodological issues， and directions for future research[R/OL]. [1987-05-04]. https：//files.eric.ed.gov/ fulltext/ED338629.pdf.

[9] CENTRA J A. Reflective faculty evaluation[M]. San Francisco， CA： Jossey-Bass， 1993.

[10] Australian Council for Educational Research. Evaluation and validation of the trial postgraduate research experience questionnaires[R]. Canberra： Department of Education Training and Youth Affairs， 2000.

[11] AINLEY J. The 1999 postgraduate research experience questionnaire[R]. Australian Council for Educational Research， 2001.

[12] PITKIN M. 2021 Postgraduate research experience survey[R]. Advance HE， 2021.

[13] Canadian Association for Graduate Studies. Canadian graduate and professional student survey[EB/OL]. [2023-05-06]. http：//www.cags.ca/cgpss_home.php.

[14] 中國博士質(zhì)量分析課題組. 中國博士質(zhì)量報告[M]. 北京：北京大學出版社， 2010.

[15] 王戰(zhàn)軍. 中國研究生教育質(zhì)量年度報告（2012）[M]. 北京：中國科學技術(shù)出版社， 2013.

[16] 周文輝， 黃歡， 劉俊起， 等. 2023年全國研究生滿意度調(diào)查[J]. 學位與研究生教育， 2023（9）： 48-54.

[17] 陸根書. 2020年陜西省高校畢業(yè)就業(yè)創(chuàng)業(yè)報告[M]. 北京：北京理工大學出版社， 2021.

[18] 洪流， 汪霞. 江蘇省研究生教育發(fā)展年度報告2020[M]. 南京： 南京大學出版社， 2020.

[19] 許丹東， 付道麟， 呂林海. 博士生學術(shù)具體滿意度與整體滿意度的關(guān)系研究[J]. 江蘇高教， 2020（7）： 49-55.

[20] 羅英姿， 張佳樂， 顧劍秀， 等. 博士生教育價值的再審視——基于涉農(nóng)學科博士職業(yè)發(fā)展的考察[J]. 高等教育研究， 2022， 43（7）： 89-98.

（責任編輯 黃歡）