王 輝，黃曉林，蔣欣宏

(湖南省科學(xué)技術(shù)信息研究所，湖南 長沙 410001)

1 引言

科技報告是科學(xué)技術(shù)報告的簡稱。我國國家標準《科技報告編寫規(guī)則》將科技報告定義為：科技人員為了描述其從事的科研、設(shè)計、工程、試驗和鑒定等活動的過程、進展和結(jié)果，按照規(guī)定的標準格式編寫而成的特種文獻。[1]452-458。在我國，科技報告一般由政府財政資金支持的科技項目產(chǎn)出，是科技項目研究內(nèi)容學(xué)術(shù)性的完整表述，具有科研管理和學(xué)術(shù)參考的雙重價值，是國家重要的基礎(chǔ)性、戰(zhàn)略性科技信息資源。[2]788-792

我國的科技報告起源于1984年國防科技報告體系建設(shè)工作的開展。2014年國家全面推進部門、地方科技報告工作，除國防科技項目，科技部、國家自科基金委、交通運輸部以及各省(市)主管的科技項目均開始陸續(xù)提交科技報告，我國科技報告數(shù)量迅速增長。截至2019年1月，國家科技報告服務(wù)系統(tǒng)已收藏各類科技報告17萬余份。由于我國科技報告的管理和運行機制尚處于探索階段，隨著科技報告數(shù)量的激增，科技報告質(zhì)量參差不齊的問題日益顯現(xiàn)。從國家到各省，雖然已有一些關(guān)于科技報告質(zhì)量控制與評價方面的研究，但多集中在宏觀層面或質(zhì)量評價全體系指標構(gòu)建層面，且提出的部分指標概念抽象、在實際操作中定量評價困難，需加強包括文獻質(zhì)量控制與評價在內(nèi)的微觀層面研究，以進一步對二級指標進行細化，明晰三級指標并確定有關(guān)權(quán)重，才能更好地應(yīng)用于實際工作中科技報告質(zhì)量的初步評判，準確評價科技報告文獻質(zhì)量，有效引導(dǎo)科技報告質(zhì)量提升。為此，本文結(jié)合科技報告管理工作實際，借鑒國內(nèi)外科技報告質(zhì)量評價已有研究，運用頭腦風(fēng)暴法、層次分析法等方法和工具，構(gòu)建了一套包括3個二級指標、14個三級指標的科技報告的文獻質(zhì)量評價體系，以期為專家進行科技報告專業(yè)質(zhì)量和效益質(zhì)量評價提供參考，為科技報告的綜合評價實踐提供決策參考，為本省推進科技報告資源體系建設(shè)提供一定支撐。

2 國內(nèi)外科技報告質(zhì)量評價體系研究現(xiàn)狀

科技報告制度起源于美國，科技報告質(zhì)量的控制與評價研究最早也開始于美國。在美國，政府資助的科技報告被認為是一種典型的政府信息。因而，美國信息質(zhì)量評價體系從總體上代表了美國科技報告質(zhì)量評價體系的要素要求。1996年，美國學(xué)者Wang即提出了信息質(zhì)量IQ四維評價體系[3]5-33，隨后美國政府對其加以利用頒布了《信息質(zhì)量法案》，提出了包括客觀性、實用性和完整性的三級信息質(zhì)量控制體系，對包括科技報告在內(nèi)的政府信息質(zhì)量作出了原則性的要求。[4]12-18

在我國，劉冠偉等最早描述了層次分析法在國防科技報告評價指標體系研究中的應(yīng)用，其中的國防科技報告評價指標體系包括報告撰寫水平、技術(shù)內(nèi)容和應(yīng)用價值3個二級指標，含報告正文撰寫綜合文字水平等9個三級指標，并分別確定了其權(quán)重。[5]381-385南京大學(xué)裴雷等最早開始民口科技報告質(zhì)量控制與評價研究，提出了科技報告質(zhì)量評價指標體系設(shè)計的原則、方法、描述框架和參考體系，將科技報告質(zhì)量分為文獻質(zhì)量、專業(yè)質(zhì)量和效益質(zhì)量3個層次，其中文獻質(zhì)量評價參考指標包括語法質(zhì)量、形式質(zhì)量2個二級指標，下含4個三級指標。[6]813-823朱麗波、陸海燕等分別建立了一套包括報告編撰水平、技術(shù)屬性、實用價值3個二級指標的科技報告質(zhì)量評價指標體系，其中前者包括9個三級指標[7]80-84[8]57；后者構(gòu)建的農(nóng)業(yè)領(lǐng)域?qū)I(yè)研究所科技報告質(zhì)量控制評價體系共計包括18個指標，報告編撰水平包括報告記錄內(nèi)容完整性等9個指標。[9]353-356任惠超等參考借鑒國防科技報告評價經(jīng)驗，將科技報告質(zhì)量分為科學(xué)價值、編制質(zhì)量和使用價值3個方面，將科技報告質(zhì)量評價分為驗收階段和收錄1～2年后兩個階段，并分別賦予不同的評價指標及其權(quán)重。[10]42-49。喬振等從科技報告質(zhì)量控制與評價標準、評價指標體系、控制與評價方法3個方面，對當(dāng)前國內(nèi)科技報告質(zhì)量控制研究現(xiàn)狀進行了闡述與總結(jié)，并對山東省在科技報告質(zhì)量控制與評價中的做法進行了梳理。[11]124-127杜薇薇從科技報告撰寫各要素(引言、研究過程、結(jié)論等)的完整性與準確性角度設(shè)計了最終科技報告文本質(zhì)量評價指標和質(zhì)量評價參考標準。[12]96-100陳潔基于全面質(zhì)量管理理論，結(jié)合科技報告形成過程，構(gòu)建了包括報告文本格式和技術(shù)內(nèi)容2個一級指標，其中文本格式評價包括元數(shù)據(jù)規(guī)范性等5個指標的科技報告質(zhì)量評價體系。[13]55-60

從上可知，由于我國民口的科技報告制度建設(shè)啟動較晚，國內(nèi)有關(guān)科技報告質(zhì)量評價體系研究方面的文獻相對較少，且多集中在科技報告質(zhì)量宏觀層面分析或全體系指標構(gòu)建方面。大部分學(xué)者認為，科技報告的質(zhì)量可分為文獻質(zhì)量(撰寫水平、編制質(zhì)量)、專業(yè)質(zhì)量(技術(shù)內(nèi)容、科學(xué)價值)和效益質(zhì)量(應(yīng)用價值、使用價值)3個層次，文獻質(zhì)量是指科技報告的各個要素的完備性、格式的規(guī)范性和語言組織水平等，也即科技報告的編輯水平及規(guī)范性。在科技報告3個質(zhì)量層次中，文獻質(zhì)量為最基本的層次，是整個科技報告質(zhì)量的基礎(chǔ)，專業(yè)質(zhì)量和效益質(zhì)量均需以文獻質(zhì)量為前提。關(guān)于科技報告文獻質(zhì)量的評價，國內(nèi)學(xué)者從不同的角度提出了多個指標體系，包含的二級指標2～9個不等。研究組在上述研究基礎(chǔ)上，從分層次進行質(zhì)量控制的角度出發(fā)，結(jié)合工作實際，將科技報告質(zhì)量評價體系分為文獻質(zhì)量、專業(yè)質(zhì)量和效益質(zhì)量3個一級指標和與之相關(guān)的8個二級指標，具體如表1所示。

表1 科技報告質(zhì)量評價體系

3 科技報告文獻質(zhì)量評價體系構(gòu)建

科技報告文獻質(zhì)量的影響因素作用于科技報告形成的全過程，進而影響科技報告文獻質(zhì)量，同樣，這些影響因素也影響著科技報告文獻質(zhì)量的所有構(gòu)成要素。對科技報告文獻質(zhì)量的構(gòu)成要素進行整理并建立評價體系，可以有效地對科技報告文獻質(zhì)量進行定量的評判。適宜的科技報告文獻質(zhì)量評價體系也是國家和省級科技報告管理服務(wù)機構(gòu)對科技報告文獻質(zhì)量加強控制的重要工具。

(1)評價體系構(gòu)建原則

在科技報告質(zhì)量評價指標體系的構(gòu)建原則上，裴雷[6]813-823認為應(yīng)包括：最低質(zhì)量標準與自由裁量原則，一致性原則，成本效益原則，多元評價原則，評價激勵原則。文獻質(zhì)量是科技報告質(zhì)量的一部分，本研究認為，科技報告文獻質(zhì)量評價指標體系構(gòu)建在不違背上述總體原則的基礎(chǔ)上，重點應(yīng)遵循如下3個原則：(1)一致性。評價標準必須與現(xiàn)有的科技報告標準規(guī)范和相關(guān)的制度規(guī)范保持一致，如GB/T15416-2014、GB/T7713.3-2014、GB/T3034-2014、GB/T3035-2014、《國家科技報告管理辦法》等規(guī)范對科技報告編寫的具體要求。(2)完備性。一份規(guī)范完整的科技報告由基本信息頁、目次、引言、主體、結(jié)論、參考文獻和附錄等部分組成，評價指標體系應(yīng)盡可能覆蓋所有構(gòu)成元素。(3)可操作性。過于模糊籠統(tǒng)或復(fù)雜的指標設(shè)計，都會使評價不準確或因成本高昂而變得不可行，適量地選擇與科技報告實體對應(yīng)關(guān)系明了、易于判斷操作的指標，是指標體系具有實用價值的前提。

(2)各級評價指標的篩選

遵循上述指標體系構(gòu)建原則，首先收集原始指標。本文基于前人的研究、作者工作經(jīng)驗，收集得到所有與科技報告文獻質(zhì)量評價相關(guān)的原始指標63個，其中包括《科技報告編寫規(guī)則》(GB/T7713.3-2014)中的科技報告構(gòu)成元素19個，裴雷、朱麗波等前人的科技報告文獻質(zhì)量設(shè)計指標27個[6]-[13]，科技報告編寫常見問題17個[14]142-147。然后采用研究小組頭腦風(fēng)暴法進行多輪討論，并征詢行業(yè)專家意見，對指標篩選和歸并。最終形成了對應(yīng)科技報告輯要頁表格的基本信息質(zhì)量，對科技報告篇章行文語法的結(jié)構(gòu)布局質(zhì)量，對科技報告文檔格式的正文格式質(zhì)量3個二級指標，下含14個三級指標的科技報告文獻質(zhì)量評價指標體系。同時還制定了評判指標完成情況的評分標準，以便指標體系應(yīng)用于實際工作中。評價指標體系層次結(jié)構(gòu)關(guān)系、指標說明及評分標準如表2。

表2 科技報告文獻質(zhì)量評價指標體系及其說明

(3)構(gòu)造判斷矩陣

按照層次分析法(AHP)計算評價指標體系權(quán)重的基本步驟，首先對評價指標進行標度，構(gòu)造判斷矩陣。本文采用專家調(diào)研法，讓研究組成員及2名專家共5人，對準則層基本信息質(zhì)量(B1)、結(jié)構(gòu)布局質(zhì)量(B2)和正文格式質(zhì)量(B3)，采用1～9標度法[15]39-44分別進行兩兩標度，并構(gòu)造判斷矩陣。然后對標度結(jié)果進行整理，對標度不一致的地方進行研究小組討論，重新標度，直至結(jié)果完全統(tǒng)一。最終的準則層判斷矩陣如下：

采用同樣的方法，對指標層的各指標標度并構(gòu)造判斷矩陣，對應(yīng)的3個判斷矩陣如下：

(4)計算評價指標相對權(quán)重和矩陣一致性檢驗

在層次分析法中，各個指標在評價體系中所占的權(quán)重，被轉(zhuǎn)化為求指標所屬判斷矩陣最大特征根λmax對應(yīng)的歸一化特征向量W。本文采用方根法[11]求得準則層判斷矩陣A1最大特征根λmax為3，對應(yīng)的特征向量經(jīng)歸一化處理之后為WA=(0.1，0.6，0.3)T,也即準則層3個指標的相對權(quán)重分別為WB1=0.1，WB2=0.6，WB3=0.3。

同理，可求得指標層各判斷矩陣B1、B2、B3的最大特征根λmax和各個指標相對權(quán)重對應(yīng)的歸一化特征向量W。計算結(jié)果如下：

λB1=4.00，λB2=4.00，λB3=6.00

WB1=(0.5238，0.2708，0.1354，0.0700)T

WB2=(0.2215，0.6265，0.0760，0.0760)T

WB3=(0.1336，0.0736，0.2428，0.4413，0.0386，0.0701)T

在層次分析法中，判斷矩陣是否構(gòu)造得合理，需要對其一致性進行檢驗。避免判斷矩陣構(gòu)造的不合理而造成指標權(quán)重計算的失真。

一致性檢驗時引入一致性檢驗指標CI

其中λ為最大特征根，n為矩陣階數(shù)。

同時查找矩陣階數(shù)對應(yīng)的隨機一致性指標RI，計算檢驗系數(shù)CR

一般的，當(dāng)CI=0時，判斷矩陣有完全的一致性，CI越大，判斷矩陣一致性越差。當(dāng)CR<0.1時，可認為判斷矩陣具有一致性，計算的權(quán)重值可以接受。否則需要調(diào)整判斷矩陣指標標度，直至符合條件。

本文對以上判斷矩陣A1，B1、B2、B3的一致性進行檢驗計算，得到的CR分別為0、0.0008、0.0006、0.0051，表明各判斷矩陣均有很好的一致性。

(5)計算評價指標綜合權(quán)重

將上述計算得到的各指標相對權(quán)重與對應(yīng)準則層的相對權(quán)重相乘，得到各指標對目標層的加權(quán)權(quán)重，計算結(jié)果如表3所示：

在求得科技報告文獻質(zhì)量評價體系各個指標的綜合權(quán)重后，即可以參照表2給出的評分標準，對某一份科技報告文獻質(zhì)量的各個指標進行評分，再對評分結(jié)果進行歸一化處理之后，乘以各指標的綜合權(quán)重。經(jīng)過歸一化和加權(quán)處理的評分之和，即為該份科技報告文獻質(zhì)量的評價得分結(jié)果。

4 實證分析

為驗證上述評價體系的科學(xué)性和合理性，我們將上述科技報告文獻質(zhì)量評價體系用于真實科技報告評價，并將上述評價體系的評價結(jié)果與專家評價法的結(jié)果進行了對比?？紤]到評價結(jié)果的代表性，本文以國家科技報告服務(wù)系統(tǒng)(http://www.nstrs.cn)中科學(xué)技術(shù)部“國家科技支撐計劃”類目下的科技報告為研究對象，抽取其中最新、公開的45份科技報告作為樣本，進行實證評價。

對選取的科技報告，按照表2評分標準制作的打分表進行逐一打分，將每個單項的打分結(jié)果除以該項滿分，進行歸一化處理，再乘以表3中該項的綜合權(quán)重，最后轉(zhuǎn)換為百分制，即得最終評分結(jié)果。與科技報告文獻質(zhì)量相關(guān)的各評價指標單項得分、綜合得分和得分排序如表4。

表4 科技報告文獻質(zhì)量評分結(jié)果(部分)

由表可知，國家科技報告服務(wù)系統(tǒng)收錄的“國家科技支撐計劃”科技報告文獻質(zhì)量評價得分大部分在50～90分之間，樣本文獻質(zhì)量平均得分72.30分，總體處于良好的狀態(tài)。從表4和表5中可知，3個二級指標中，(1)基本信息質(zhì)量的評分變異系數(shù)最小，得分率最高，各三級指標的評分較也為穩(wěn)定，可能是由于這部分內(nèi)容在科技報告中是以表格形式展現(xiàn)的，作者只需要根據(jù)表格要求正確填寫，不容易出現(xiàn)文獻質(zhì)量問題。(2)結(jié)構(gòu)布局質(zhì)量變異系數(shù)最大，而其中正文內(nèi)容指標的變異系數(shù)較高，得分率組內(nèi)最低。可見科技報告的文獻質(zhì)量在結(jié)構(gòu)布局方面的差異較大，這可能是由于這部分文獻質(zhì)量與科技報告的專業(yè)質(zhì)量聯(lián)系緊密，結(jié)構(gòu)布局質(zhì)量不僅是形式上的正確表達，更涉及研究內(nèi)容本身是否完成，正確的形式表達是以完整的研究內(nèi)容為前提。(3)正文格式質(zhì)量得分率最低，其中參考文獻指標的變異系數(shù)最高，得分率最低。查看具體的科技報告可發(fā)現(xiàn)這是由于許多研究者不太重視參考文獻的規(guī)范編寫，甚至沒有參考文獻而導(dǎo)致的。

表5 評分結(jié)果統(tǒng)計分析

目前，我國的科技項目每年有數(shù)萬份科技報告產(chǎn)生，標準化、程序化的科技報告文獻質(zhì)量評價，其目的之一是輔助高成本、非程序化的專家評價，減少專家評價的工作量。因此該評價體系的評價結(jié)果與專家評價結(jié)果的符合度，是該評價體系科學(xué)性和合理性的重要參考。

本文從湖南省科技報告管理中心及有關(guān)市州科技報告管理機構(gòu)共邀請9名資深科技報告審核人員組成專家評價組，抽取前10份報告進行專家評價。由于專家之間并沒有統(tǒng)一的打分標準，只是對科技報告文獻質(zhì)量的總體評價，因此只要求專家按科技報告文獻質(zhì)量優(yōu)劣進行排序，最后綜合各位專家的排序結(jié)果，進行平均、取整，形成專家評價排名。將專家評價排序結(jié)果與應(yīng)用本文評價指標體系的評價排序結(jié)果進行比較，如表6。

表6 專家評價與本文方法評價結(jié)果比較

由表可知，本文構(gòu)建的指標體系評分排序結(jié)果與專家排序的結(jié)果誤差均未超過1位，其中有6份報告的排序結(jié)果完全一致，另外4份報告的排序結(jié)果存在1位誤差。造成誤差的原因可能有二：一是由于參與排序評價的報告較多，而部分報告文獻質(zhì)量差距不大，造成專家評價排序不準確。二是專家對科技報告文獻質(zhì)量概念認知是定性的、總體的，而本文對科技報告文獻質(zhì)量已經(jīng)過充分討論并量化分解，因此，兩者可能存在細微的差異，造成評價排序結(jié)果誤差。從總體來看，排序結(jié)果并未出現(xiàn)大于2位的誤差，由此可知，本文構(gòu)建的評價指標體系的打分排序結(jié)果和專家排序的結(jié)果重合度較高，評價結(jié)果較理想。

5 結(jié)論與討論

質(zhì)量是科技報告的生命，科技報告內(nèi)容伴隨科技項目管理全過程而產(chǎn)生，由于項目管理的環(huán)節(jié)多、周期長等特點，加之部分科研人員的科研記錄不詳盡、不完整習(xí)慣問題，因此，如何完整、規(guī)范表述整個科技項目的研究內(nèi)容，有效進行質(zhì)量管理控制一直是科技報告研究的重要方面。開展科技報告質(zhì)量評價，是規(guī)范科技報告管理，促進科技報告質(zhì)量提升的有效措施?？萍紙蟾尜|(zhì)量按層次可分為文獻質(zhì)量、專業(yè)質(zhì)量和效益質(zhì)量，其中文獻質(zhì)量是基礎(chǔ)質(zhì)量，開展科技報告文獻質(zhì)量評價是對科技報告質(zhì)量的初步評判?？萍紙蟾嫖墨I質(zhì)量的好壞可以在一定程度上反映科研人員的科研態(tài)度、科技項目執(zhí)行情況和文獻組織能力，是科技報告質(zhì)量的重要組成部分。

本文構(gòu)建了一套基于實際需求、直觀、可操作性強的科技報告文獻質(zhì)量評價體系，在面對海量科技報告時，能較高效地對科技報告文獻質(zhì)量作出評價，有效縮小專家進行專業(yè)質(zhì)量、效益質(zhì)量評價的報告范圍，為科技報告總體質(zhì)量的評估、評選優(yōu)秀科技報告等提供了參考依據(jù)和實用工具。

本文的兩點不足之處：其一，本文僅僅只是就科技報告文獻質(zhì)量構(gòu)建了可與實操層面直接對接的評價指標體系，而對科技報告的專業(yè)質(zhì)量和效益質(zhì)量尚未進行類似的研究，這是今后應(yīng)加強研究的方向之一。其二，開展科技報告質(zhì)量評價只是科技報告質(zhì)量控制的措施之一，要做好科技報告質(zhì)量控制研究和工作，還應(yīng)同時加強宣傳培訓(xùn)，優(yōu)化審核流程，落實考核和激勵機制等工作[11],[12]，共同推進科技報告質(zhì)量的穩(wěn)步提升，這也是今后研究和工作需要注意的方面。