摘要：在梳理智能教材釋義、支持技術(shù)和演進等研究成果基礎(chǔ)上，基于Delphi法和熵值法分別從思想性、教學性以及技術(shù)性3個一級指標，共9個二級指標，31個三級指標初構(gòu)智能教材評價指標，運用熵值法測算智能教材各級評價指標權(quán)重形成智能教材評價指標體系，以期為高校智能教材出版、選用和評估提供量化參考標準。

關(guān)鍵詞：熵值法；智能教材；評價指標體系

中圖分類號：G436文獻標識碼：A文章編號：2095-6916（2024）15-0122-04

Construction and Measurement of Intelligent Teaching Materials Evaluation

Index System Based on Delphi and Entropy Method

Liu Fang

（Xingzhi College of Xi’an University of Finance and Economics， Xi’an 710038）

Abstract： On the basis of sorting out the research results of the interpretation of the intelligent teaching materials， supporting technology and evolution， the Delphi method and entropy method were used to construct the evaluation index of intelligent teaching materials from the 3 first-level indicators of ideology， teaching and technology， a total of 9 second-level indicators and 31 third-level indicators， and the entropy method was used to measure the weight of the evaluation index of the intelligent teaching materials at all levels to form the evaluation index system of intelligent teaching materials， which provided a quantifiable reference standard for the publication， selection and evaluation of intelligent teaching materials in college and university.

Keywords： entropy method; intelligent teaching materials; evaluation index system

黨的二十大報告進一步提出加快數(shù)字中國建設(shè)，與數(shù)字世界的互動方式為我們在學習、生活等方面帶來了空前未有的體驗和便利。隨著虛擬現(xiàn)實和增強現(xiàn)實等交互式技術(shù)的發(fā)展，深度學習等人工智能技術(shù)、物聯(lián)網(wǎng)上無處不在的數(shù)據(jù)傳感器、大數(shù)據(jù)分析以及移動設(shè)備開始普及，知識的生產(chǎn)模式、存儲模式、加工與傳播方式已從紙質(zhì)形態(tài)發(fā)展到數(shù)字形態(tài)［1］，教材領(lǐng)域的無聲革命正在進行。從調(diào)研了解的情況看，當前數(shù)字教材建設(shè)中存在著簡化、異化等問題，譬如“電子文書”“多媒體教學資源庫”和“教師答題”［2］，為避免走進簡單轉(zhuǎn)換為電子文書、隨意堆積多媒體資源、機械使用智能技術(shù)等誤區(qū)，推動數(shù)字教材更好地向智能化發(fā)展，需要建立科學的智能教材評價指標體系，本文現(xiàn)就基于Delphi法①和熵值法②的智能教材評價指標體系構(gòu)建及測度進行探討。

一、智能教材的相關(guān)研究

國外學者研究智能教材起步較早，在智能教材釋義、支持技術(shù)和別具一格的智能教材開發(fā)平臺等方面取得了豐碩的理論和實踐成果。

（一）智能教材釋義

Billingsley W.H［3］認為智能教材是一種基于網(wǎng)絡(luò)的教材，其包括的練習由計算機模型或分析系統(tǒng)支持，學生可使用恰當?shù)膱D形符號或圖表完成這些練習，并獲得由模型所產(chǎn)生的評價與反饋。Mengdi Wang等人［4］認為智能教材通過整合機器可操作的知識擴展傳統(tǒng)紙質(zhì)教材內(nèi)容覆蓋面，且形成集成知識也就是教材中提到的相關(guān)概念列表，結(jié)合概念列表執(zhí)行多種智能操作，如內(nèi)容鏈接、內(nèi)容推薦等。江波等人［5］將智能教材界定為以深度交互、學習畫像和自適應為主要特征，為學生提供個性化學習、評價和規(guī)劃等服務(wù)的智能化數(shù)字教材。

（二）支持技術(shù)

Gerhard Weber等人［6］提供兩種不同技術(shù)（ELM-ART）的創(chuàng)造性組合——智能輔導和自適應超媒體技術(shù)，為基于網(wǎng)絡(luò)的智能教育系統(tǒng)設(shè)計提供了一個模型，制作一系列創(chuàng)作框架和系統(tǒng)開發(fā)智能教科書和課程。Jeffrey Matayoshi等人［7］利用自然語言處理和機器學習技術(shù)來構(gòu)建分類模型，以實現(xiàn)與教科書及其內(nèi)容的匹配。評估模型作為一個完全自動化的系統(tǒng)具有與人類專家結(jié)合使用的潛在性能。N Matsuda等人［8］提出具有宏觀自適應支架的在線課件擴展：基于網(wǎng)絡(luò)瀏覽器的認知導師創(chuàng)作工具和用于自動技能模型發(fā)現(xiàn)和注釋的文本挖掘應用程序這兩種學習工程方法有效創(chuàng)建網(wǎng)絡(luò)書。張治等人［1］提出融入學習模型、教學策略模型、學習者畫像和知識圖譜四個核心組件的智能型數(shù)字教材系統(tǒng)技術(shù)實現(xiàn)路徑及其推進機制。

（三）智能教材的演進

伴隨信息技術(shù)的發(fā)展和傳播形態(tài)的演變，智能教材經(jīng)歷了知識工程（Knowledge Engineering）階段、語義網(wǎng)（Semantic Web）階段、自然語言處理+機器學習（NLP+ML）階段和交互數(shù)據(jù)挖掘（Interaction Data Mining）階段。

1.知識工程階段

美國Stanford University計算機科學家Feigenbaum教授在1977年第五屆國際人工智能會議上提出知識工程這一概念。二十世紀九十年代中期，第一批智能教材在自適應超媒體領(lǐng)域被開發(fā)出來，它極度依賴學科領(lǐng)域?qū)＜业闹R和經(jīng)驗。學科領(lǐng)域?qū)＜掖罱擞捎蚰Ｐ?、?nèi)容模型和學生模型構(gòu)成的簡單模型，確定每一本教材提出的關(guān)鍵概念（域模型），并注釋包含的概念集（內(nèi)容模型），個體學習者的知識（學生模型）被動態(tài)地表示為域模型的加權(quán)疊加［9］。早期的智能教材擁有自適應導航、自適應表示、內(nèi)容推薦和基于概念的導航等“智能”功能。

2.語義網(wǎng)階段

二十一世紀初，許多人工智能研究人員將關(guān)注點轉(zhuǎn)向語義網(wǎng)絡(luò)技術(shù)，構(gòu)建基于語義進行判斷的智能網(wǎng)絡(luò)布局，降低人與電腦溝通時的障礙。這一技術(shù)可將知識模型作為軟件本體，學習素材作為鏈接和注釋賦能早期智能教材，打開了自適應教材架構(gòu)，并支持外部內(nèi)容集成［10］，成功地通過軟件技術(shù)將外部內(nèi)容自動集成到自適應教材中［11］。

3.自然語言處理+機器學習階段

自然語言處理研究是能實現(xiàn)人和計算機間運用自然語言開展有效通信的理論和方法。機器學習主要研究計算機模擬或?qū)崿F(xiàn)人類學習行為的途徑，在獲取新的知識或技能的基礎(chǔ)上，重新組織已有知識結(jié)構(gòu)從而不斷改善自身性能。2011年前后，自然語言處理和機器學習的進一步發(fā)展使得教材的內(nèi)容和結(jié)構(gòu)具備“智能”功能，即基于概念的域模型的自動構(gòu)建成為人們獲取知識的來源，比如從教材中自動提取主題和概念以及挖掘這些概念之間的各種邏輯關(guān)系。

4.交互式數(shù)據(jù)挖掘階段

由數(shù)字教材和現(xiàn)代技術(shù)生成的用戶交互數(shù)據(jù)的不斷增長，推動智能教材進入新的發(fā)展階段。傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)需要在數(shù)據(jù)分析之前進行多次預處理，這會浪費大量的時間和資源，而且很難立即獲得收益。交互式數(shù)據(jù)挖掘技術(shù)的出現(xiàn)，使得用戶通過交互的方式參與到數(shù)據(jù)挖掘過程中，數(shù)據(jù)分析和挖掘的過程可以更加的高效、可控和自適應。例如，頁面導航和高亮度顯示行為生成的數(shù)據(jù)，用于挖掘?qū)W生的閱讀技巧并跟蹤他們的注意力，推斷學生通過閱讀教材獲得知識的狀態(tài)；為智能教材平臺提供更強大的個性化方法，實現(xiàn)基于學生實時行為的自適應建議；專注結(jié)合人工智能和群體智能探索越來越復雜的方法，挖掘過去用戶的行為，以預測并指導新用戶行為。

二、智能教材評價指標體系的構(gòu)建

（一）初構(gòu)智能教材評價指標

遵循科學性、整體性、可操作性和獨立性等原則，通過對紙質(zhì)教材、數(shù)字教材、智能型教材、智能教科書的國內(nèi)外相關(guān)文獻進行研究，列出智能教材評價指標清單，包括科學性、教育性、技術(shù)性、實用性、安全性4個一級指標，符合國家相關(guān)教育法規(guī)和課程政策，體現(xiàn)社會主義核心價值觀等40個二級指標。

（二）指標體系的調(diào)整與確定

采用Delphi法，選擇北京、西安、貴陽3個城市的5位企業(yè)人員作為專家。通過背對背方式，經(jīng)過兩輪征詢，使得專家意見趨于一致。根據(jù)專家反饋意見調(diào)整不合理之處，最終確定指標體系。

該指標體系包括思想性、教學性以及技術(shù)性3個一級指標，政治方向、價值導向、內(nèi)容科學、內(nèi)容豐富、結(jié)構(gòu)合理、形態(tài)立體、智能交互、可視化、學習支持服務(wù)等9個二級指標，堅持馬克思主義指導思想、堅持為黨為國育人、育才立場等31個三級指標。

（三）智能教材各級評價指標權(quán)重測算

設(shè)有n個專家，m個指標，則Xij表示第i個專家的第j個指標評價指標值，熵值法測算指標權(quán)重的步驟如下。

1.數(shù)據(jù)的一致化與無量綱處理問題，由于指標體系中各指標數(shù)據(jù)單位都是“分”，且各三級指標的專家打分值都是個位數(shù)，說明各指標之間的數(shù)據(jù)量級相同，故不用對數(shù)據(jù)進行一致化和無量綱化的處理。

2.計算第i個專家的第j個三級指標的特征比重矩陣：

pij=xij/∑ni=1xij 式（1）

3.計算第j個三級指標的熵值：

ej=-1ln（n）∑ni=1pijlnpij 式（2）

4.計算三級指標Xij的差異系數(shù)比：

gj=1-ej 式（3）

5.計算第j個三級指標的權(quán)重系數(shù)：

wj=gj∑mj=1gj 式（4）

通過以上方法測算出各三級指標的權(quán)重系數(shù)和熵值，然后根據(jù)各三級指標的權(quán)重計算各二級指標和一級指標的權(quán)重，測算數(shù)據(jù)如表1所示。

（0.193）描繪學習者畫像，準確識別和判斷學習者狀態(tài)，推送針對性教學內(nèi)容、學習資源。0.9770.024基于可視化過程數(shù)據(jù)，分析、規(guī)劃學習者學習路徑，匹配教學策略。0.9530.049建立學習風險預測模型，匹配學習補救內(nèi)容。0.9430.060建立個性化學習預警機制，確立干預等級，制定干預措施。0.9640.037知識結(jié)構(gòu)AI化。0.9810.020遵循原有學科邊界和學科結(jié)構(gòu)。0.9660.035捕捉學習者在學習方面的差異，設(shè)定不同的學習管理方式和學習目標。0.9590.043提供持續(xù)、靈活和動態(tài)的工具，支持學習者對不同教材內(nèi)容之間進行靈活布局，建構(gòu)知識。0.9840.016關(guān)注學習者身心發(fā)展。0.9560.046嵌入獎勵機制和激勵策略，實現(xiàn)學習者自我監(jiān)控、自我反饋及自主學習的實時反饋。0.9680.033各指標的熵值可以反映出各指標提供信息量的大小，從表1可以看出，31個三級指標中的熵值都大于0.9，說明所構(gòu)建的指標體系信息量非常豐富，能夠從多個方面綜合反映智能教材的質(zhì)量。

三、結(jié)語

隨著我國深入實施教育數(shù)字戰(zhàn)略行動，教育數(shù)字化轉(zhuǎn)型已成為教育發(fā)展的內(nèi)在必然。教材建設(shè)作為教育數(shù)字化轉(zhuǎn)型的重點領(lǐng)域，對推動教育教學高質(zhì)量發(fā)展具有重要意義。當前數(shù)字技術(shù)已經(jīng)滲透到我們學習、工作、生活的方方面面，紙質(zhì)教材正被數(shù)字技術(shù)顛覆和轉(zhuǎn)變。本文基于Delphi法和熵值法構(gòu)建了智能教材評價指標體系，以期為高校智能教材出版、選用和評估提供了可量化的參考標準。

基金項目：本文系陜西省教育廳服務(wù)地方專項計劃項目“陜西本科高校教材建設(shè)成果與教師待遇掛鉤政策研究”（編號：23JM015）的有關(guān)成果

①Delphi法，也稱專家調(diào)查法，1946年由美國蘭德公司創(chuàng)始實行，其本質(zhì)上是一種反饋匿名函詢法，其大致流程是在對所要預測的問題征得專家的意見之后，進行整理、歸納、統(tǒng)計，再匿名反饋給各專家，再次征求意見，再集中，再反饋，直至得到一致的意見。

②熵值法是一種基于信息熵的數(shù)學方法，用于判斷某個指標的離散程度。在信息論中，熵是對不確定性的一種度量。信息量越大，不確定性就越小，熵也就越小；反之，信息量越小，不確定性就越大，熵也越大。

參考文獻：

［1］張治，劉德建，徐冰冰.智能型數(shù)字教材系統(tǒng)的核心理念和技術(shù)實現(xiàn)［J］.開放教育研究，2021（1）：44-54.

［2］李鋒，盛潔，黃煒.教育數(shù)字化轉(zhuǎn)型的突破點：智能教材的設(shè)計與實現(xiàn)［J］.華東師范大學學報（教育科學版），2023（3）：101-109.

［3］BILLINGSLEY W H.The Intelligent Book： Technologies for Intelligent and Adaptive Textbooks， Focussing on Discrete Mathematics［D］.Cambridge：University of Cambridge，2007.

［4］MENGDI WANG，HUNG CHAU，KHUSHBOO THAKER，et al.Knowledge Annotation for Intelligent Textbooks［J］.Technology， Knowledge and Learning，2023（28）：1-22.

［5］江波，杜影，顧美俊.智能教材研究綜述［J］.開放教育研究，2022（3）：39-50.

［6］GERHARD WEBER，PETER BRUSILOVSKY.ELM-ART-An Interactive and Intelligent Web-Based Electronic Textbook［J］.International Journal of Artificial Intelligence in Education，2016（26）：72-81.

［7］JEFFREY MATAYOSHI，CHRISTOPHER LECHUGA.Automated Matching of ITS Problems with Textbook Content［C/OL］.（2020-07-06）.AIED 2020.

https：//ceur-ws.org/Vol-2674/paper02.pdf.

［8］N MATSUDA，M SHIMMEI.PASTEL： Evidence-Based Learning Engineering Method to Create Intelligent Online Textbook at Scale［C/OL］.（2019-06-25）.AIED 2019.

https：//ceur-ws.org/Vol-2384/paper07.pdf.

［9］PETER BRUSILOVSKY，SERGEY SOSNOVSKY，KHUSHBOO THAKER.The Return of Intelligent Textbooks［J］.AI Magazine，2022（43）：337-340.

［10］MELIS E，GOGUADZE G，HOMIK M，et al.Semantic-aware Components and Services of Activemath［J］.British Journal of Educational Technology，2006（3）：405-423.

［11］SOSNOVSKY S，HSIAO IH，BRUSILOVSKY P.Adaptation “in the wild”： Ontology-based Personalization of Open-corpus Learning Material［C］//21st Century Learning for 21st Century Skills（EC-TEL 2012）.Germany：Springer，2012：425-431.

作者簡介：劉芳（1981—），女，漢族，山東滕州人，西安財經(jīng)大學行知學院副教授，研究方向為組織行為與人力資源管理。

（責任編輯：馮小衛(wèi)）