?？蜓?/h1>
2023-01-04 14:52:21張玉志
數(shù)據(jù)與計(jì)算發(fā)展前沿 2022年2期
張玉志
南開大學(xué)軟件學(xué)院，天津 300350
業(yè)界眾所周知，新一代人工智能技術(shù)以深度學(xué)習(xí)為代表，而深度學(xué)習(xí)的開發(fā)離不開深度學(xué)習(xí)框架的支持。目前的深度學(xué)習(xí)開源框架百花齊放，有數(shù)十種之多，從早期的caffe、theano 到主流的TensorFlow、PyTorch、MXNet 等，越來越多的科技巨頭公司加入到機(jī)器學(xué)習(xí)框架的研發(fā)中，國內(nèi)也有百度的PaddlePaddle、華為的MindSpore 等。但得益于良好的開發(fā)生態(tài)和早期的布局，目前在產(chǎn)業(yè)界和學(xué)術(shù)界占據(jù)主導(dǎo)地位的仍是谷歌的TensorFlow 與Facebook 的PyTorch 這兩大開源框架。
當(dāng)前主流的深度學(xué)習(xí)框架均官方支持英偉達(dá)等國外廠商的私有編程模型，卻難以在國產(chǎn)加速硬件系統(tǒng)上運(yùn)行，很大程度上限制了國產(chǎn)加速器在深度學(xué)習(xí)領(lǐng)域的應(yīng)用，尤其在技術(shù)封鎖和芯片禁運(yùn)等形勢(shì)下，主流的深度學(xué)習(xí)框架無法支持國產(chǎn)加速設(shè)備成為事實(shí)上的一個(gè)卡脖子問題。
南開大學(xué)研制的智能計(jì)算平臺(tái)，實(shí)現(xiàn)了主流深度學(xué)習(xí)框架對(duì)統(tǒng)一異構(gòu)編程標(biāo)準(zhǔn)OpenCL 的支持，使得包括國產(chǎn)加速部件在內(nèi)的跨廠商加速部件能夠運(yùn)轉(zhuǎn)主流框架。主流深度學(xué)習(xí)框架的規(guī)模巨大、層級(jí)復(fù)雜，TensorFlow 等大框架的源碼有數(shù)百萬行，而且很多加速庫私有閉源，框架OpenCL 版本的實(shí)現(xiàn)工作難度高、挑戰(zhàn)性強(qiáng)。經(jīng)過幾年的努力，南開大學(xué)軟件學(xué)院的團(tuán)隊(duì)終于解決了這一問題，對(duì)打破國外技術(shù)壁壘，實(shí)現(xiàn)自主可控的智能計(jì)算平臺(tái)和其開發(fā)生態(tài)意義重大。
本?？瘜⒁灾悄苡?jì)算平臺(tái)實(shí)現(xiàn)中具有創(chuàng)新性和突破性的研究成果為主題，對(duì)相關(guān)關(guān)鍵技術(shù)進(jìn)行總結(jié)、交流和探討。專刊分兩期發(fā)出，側(cè)重于計(jì)算平臺(tái)中對(duì)統(tǒng)一異構(gòu)編程標(biāo)準(zhǔn)的支持，以及基于計(jì)算平臺(tái)的多領(lǐng)域應(yīng)用技術(shù)的探討，期待能夠以此為契機(jī)與讀者一道探尋智能計(jì)算領(lǐng)域的前沿技術(shù)進(jìn)展，推動(dòng)智能計(jì)算技術(shù)的進(jìn)步。
郭強(qiáng)和孫羽菲博士等撰寫的“TensorFlow 框架中OpenCL 算子的實(shí)現(xiàn)及集成”一文中，探索了TensorFlow 的底層實(shí)現(xiàn)，在對(duì)代碼結(jié)構(gòu)深入分析的基礎(chǔ)上實(shí)現(xiàn)了OpenCL 算子的研發(fā)、優(yōu)化和集成。OpenCL 算子是實(shí)現(xiàn)TensorFlow 的OpenCL版本的基礎(chǔ)和關(guān)鍵，極大地?cái)U(kuò)展了主流框架對(duì)包括國產(chǎn)加速設(shè)備在內(nèi)的跨廠商加速設(shè)備的支持，從而進(jìn)一步發(fā)揮國產(chǎn)加速設(shè)備在深度學(xué)習(xí)等領(lǐng)域的巨大潛力。[1]
在“TensorFlow 框架中OpenCL 核函數(shù)的測(cè)試驗(yàn)證方案設(shè)計(jì)與實(shí)現(xiàn)”一文中，作者陳禹喬和孫羽菲等提出了一套完整有效的OpenCL 核函數(shù)測(cè)試方案，包括自定義算子的源碼設(shè)計(jì)規(guī)范、測(cè)試代碼規(guī)范、代碼審核方法和測(cè)試流程。該方案基于TensorFlow動(dòng)態(tài)鏈接庫自定義算子和raw_ops 測(cè)試接口，完成了上百個(gè)OpenCL 核函數(shù)代碼的審核與測(cè)試，為TensorFlow 中OpenCL 核函數(shù)的測(cè)試提供了可靠而有效的解決途徑。[2]
由甘潤東和沈舒尹等人撰寫的“MXNet 框架中基于OpenCL 核函數(shù)的多維線性數(shù)據(jù)處理”一文通過比較CUDA 和OpenCL 計(jì)算模型的運(yùn)行機(jī)制，將MXNet 深度學(xué)習(xí)框架中對(duì)多維線性數(shù)據(jù)處理的邏輯基于OpenCL 計(jì)算模型進(jìn)行適配性重構(gòu)，較好地解決了MXNet 深度學(xué)習(xí)框架的多維線性數(shù)據(jù)處理相關(guān)操作的遷移問題。[3]
蘭格等人在“基于知識(shí)圖譜的圖匹配文本分類”一文中受到知識(shí)圖譜在文本推理領(lǐng)域應(yīng)用的啟發(fā)，探索了將知識(shí)圖譜應(yīng)用于文本分類任務(wù)的方法，基于知識(shí)圖譜的圖匹配文本分類算法具有對(duì)標(biāo)注訓(xùn)練數(shù)據(jù)依賴性低的優(yōu)勢(shì)，同時(shí)利用知識(shí)圖譜的推理能力可以有效提升文本分類的效果。[4]
在“基于ElasticSearch 和語義相似度匹配的教學(xué)資源搜索策略”一文中，陶磊等人利用知識(shí)圖譜技術(shù)整合復(fù)雜的教學(xué)資源，并在此基礎(chǔ)上實(shí)現(xiàn)了一種基于ElasticSearch 和語義相似度匹配的教學(xué)資源搜索策略，解決了僅基于ElasticSearch 進(jìn)行搜索的效果不盡人意的問題，在保證檢索速度的同時(shí)改善了用戶的搜索體驗(yàn)。[5]
由陳雨等撰寫的“基于深度學(xué)習(xí)和指代消解的中文人名識(shí)別”一文通過對(duì)實(shí)體識(shí)別中人名語料的殘缺及人稱指代不明等難點(diǎn)問題的觀察分析，提出一種融合指代消解的序列標(biāo)注方法來改進(jìn)人名識(shí)別。利用數(shù)據(jù)增強(qiáng)、BERT 和雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)等技術(shù)的結(jié)合，有效緩解了人名識(shí)別中語料不完善、人稱代詞指代不明等問題，提高了人名識(shí)別的準(zhǔn)確率。[6]
本期上述系列文章各自從不同的角度闡釋了智能計(jì)算技術(shù)在基礎(chǔ)框架和上層應(yīng)用兩個(gè)層面上的技術(shù)研究工作，希望以此共同推進(jìn)智能計(jì)算技術(shù)的知識(shí)傳播和學(xué)術(shù)交流，進(jìn)一步推動(dòng)我國自主可控的智能計(jì)算生態(tài)的發(fā)展與創(chuàng)新。
猜你喜歡
Let’s Save Food To Fight Hunger初中生學(xué)習(xí)指導(dǎo)·提升版(2023年11期)2023-12-16 12:44:18 奧卡姆和布列丹對(duì)指代劃分的比較科學(xué)咨詢(2022年19期)2022-11-24 04:23:25 擬微分算子在Hp(ω)上的有界性數(shù)學(xué)物理學(xué)報(bào)(2021年2期)2021-06-09 08:54:26 繪一張成長(zhǎng)圖譜少先隊(duì)活動(dòng)(2020年12期)2021-01-14 01:47:40 各向異性次Laplace算子和擬p-次Laplace算子的Picone恒等式及其應(yīng)用應(yīng)用數(shù)學(xué)(2020年2期)2020-06-24 06:02:44 一類Markov模算子半群與相應(yīng)的算子值Dirichlet型刻畫數(shù)學(xué)年刊A輯(中文版)(2018年2期)2019-01-08 01:59:54 補(bǔ)腎強(qiáng)身片UPLC指紋圖譜中成藥(2017年3期)2017-05-17 06:09:01 Roper-Suffridge延拓算子與Loewner鏈數(shù)學(xué)物理學(xué)報(bào)(2016年3期)2016-12-01 05:36:27 主動(dòng)對(duì)接你思維的知識(shí)圖譜領(lǐng)導(dǎo)科學(xué)論壇(2016年9期)2016-06-05 14:59:58 “不一而足”話討論中學(xué)生數(shù)理化·八年級(jí)數(shù)學(xué)人教版(2015年12期)2015-05-30 10:48:04
張玉志
南開大學(xué)軟件學(xué)院，天津 300350
業(yè)界眾所周知，新一代人工智能技術(shù)以深度學(xué)習(xí)為代表，而深度學(xué)習(xí)的開發(fā)離不開深度學(xué)習(xí)框架的支持。目前的深度學(xué)習(xí)開源框架百花齊放，有數(shù)十種之多，從早期的caffe、theano 到主流的TensorFlow、PyTorch、MXNet 等，越來越多的科技巨頭公司加入到機(jī)器學(xué)習(xí)框架的研發(fā)中，國內(nèi)也有百度的PaddlePaddle、華為的MindSpore 等。但得益于良好的開發(fā)生態(tài)和早期的布局，目前在產(chǎn)業(yè)界和學(xué)術(shù)界占據(jù)主導(dǎo)地位的仍是谷歌的TensorFlow 與Facebook 的PyTorch 這兩大開源框架。
當(dāng)前主流的深度學(xué)習(xí)框架均官方支持英偉達(dá)等國外廠商的私有編程模型，卻難以在國產(chǎn)加速硬件系統(tǒng)上運(yùn)行，很大程度上限制了國產(chǎn)加速器在深度學(xué)習(xí)領(lǐng)域的應(yīng)用，尤其在技術(shù)封鎖和芯片禁運(yùn)等形勢(shì)下，主流的深度學(xué)習(xí)框架無法支持國產(chǎn)加速設(shè)備成為事實(shí)上的一個(gè)卡脖子問題。
南開大學(xué)研制的智能計(jì)算平臺(tái)，實(shí)現(xiàn)了主流深度學(xué)習(xí)框架對(duì)統(tǒng)一異構(gòu)編程標(biāo)準(zhǔn)OpenCL 的支持，使得包括國產(chǎn)加速部件在內(nèi)的跨廠商加速部件能夠運(yùn)轉(zhuǎn)主流框架。主流深度學(xué)習(xí)框架的規(guī)模巨大、層級(jí)復(fù)雜，TensorFlow 等大框架的源碼有數(shù)百萬行，而且很多加速庫私有閉源，框架OpenCL 版本的實(shí)現(xiàn)工作難度高、挑戰(zhàn)性強(qiáng)。經(jīng)過幾年的努力，南開大學(xué)軟件學(xué)院的團(tuán)隊(duì)終于解決了這一問題，對(duì)打破國外技術(shù)壁壘，實(shí)現(xiàn)自主可控的智能計(jì)算平臺(tái)和其開發(fā)生態(tài)意義重大。
本?？瘜⒁灾悄苡?jì)算平臺(tái)實(shí)現(xiàn)中具有創(chuàng)新性和突破性的研究成果為主題，對(duì)相關(guān)關(guān)鍵技術(shù)進(jìn)行總結(jié)、交流和探討。專刊分兩期發(fā)出，側(cè)重于計(jì)算平臺(tái)中對(duì)統(tǒng)一異構(gòu)編程標(biāo)準(zhǔn)的支持，以及基于計(jì)算平臺(tái)的多領(lǐng)域應(yīng)用技術(shù)的探討，期待能夠以此為契機(jī)與讀者一道探尋智能計(jì)算領(lǐng)域的前沿技術(shù)進(jìn)展，推動(dòng)智能計(jì)算技術(shù)的進(jìn)步。
郭強(qiáng)和孫羽菲博士等撰寫的“TensorFlow 框架中OpenCL 算子的實(shí)現(xiàn)及集成”一文中，探索了TensorFlow 的底層實(shí)現(xiàn)，在對(duì)代碼結(jié)構(gòu)深入分析的基礎(chǔ)上實(shí)現(xiàn)了OpenCL 算子的研發(fā)、優(yōu)化和集成。OpenCL 算子是實(shí)現(xiàn)TensorFlow 的OpenCL版本的基礎(chǔ)和關(guān)鍵，極大地?cái)U(kuò)展了主流框架對(duì)包括國產(chǎn)加速設(shè)備在內(nèi)的跨廠商加速設(shè)備的支持，從而進(jìn)一步發(fā)揮國產(chǎn)加速設(shè)備在深度學(xué)習(xí)等領(lǐng)域的巨大潛力。[1]
在“TensorFlow 框架中OpenCL 核函數(shù)的測(cè)試驗(yàn)證方案設(shè)計(jì)與實(shí)現(xiàn)”一文中，作者陳禹喬和孫羽菲等提出了一套完整有效的OpenCL 核函數(shù)測(cè)試方案，包括自定義算子的源碼設(shè)計(jì)規(guī)范、測(cè)試代碼規(guī)范、代碼審核方法和測(cè)試流程。該方案基于TensorFlow動(dòng)態(tài)鏈接庫自定義算子和raw_ops 測(cè)試接口，完成了上百個(gè)OpenCL 核函數(shù)代碼的審核與測(cè)試，為TensorFlow 中OpenCL 核函數(shù)的測(cè)試提供了可靠而有效的解決途徑。[2]
由甘潤東和沈舒尹等人撰寫的“MXNet 框架中基于OpenCL 核函數(shù)的多維線性數(shù)據(jù)處理”一文通過比較CUDA 和OpenCL 計(jì)算模型的運(yùn)行機(jī)制，將MXNet 深度學(xué)習(xí)框架中對(duì)多維線性數(shù)據(jù)處理的邏輯基于OpenCL 計(jì)算模型進(jìn)行適配性重構(gòu)，較好地解決了MXNet 深度學(xué)習(xí)框架的多維線性數(shù)據(jù)處理相關(guān)操作的遷移問題。[3]
蘭格等人在“基于知識(shí)圖譜的圖匹配文本分類”一文中受到知識(shí)圖譜在文本推理領(lǐng)域應(yīng)用的啟發(fā)，探索了將知識(shí)圖譜應(yīng)用于文本分類任務(wù)的方法，基于知識(shí)圖譜的圖匹配文本分類算法具有對(duì)標(biāo)注訓(xùn)練數(shù)據(jù)依賴性低的優(yōu)勢(shì)，同時(shí)利用知識(shí)圖譜的推理能力可以有效提升文本分類的效果。[4]
在“基于ElasticSearch 和語義相似度匹配的教學(xué)資源搜索策略”一文中，陶磊等人利用知識(shí)圖譜技術(shù)整合復(fù)雜的教學(xué)資源，并在此基礎(chǔ)上實(shí)現(xiàn)了一種基于ElasticSearch 和語義相似度匹配的教學(xué)資源搜索策略，解決了僅基于ElasticSearch 進(jìn)行搜索的效果不盡人意的問題，在保證檢索速度的同時(shí)改善了用戶的搜索體驗(yàn)。[5]
由陳雨等撰寫的“基于深度學(xué)習(xí)和指代消解的中文人名識(shí)別”一文通過對(duì)實(shí)體識(shí)別中人名語料的殘缺及人稱指代不明等難點(diǎn)問題的觀察分析，提出一種融合指代消解的序列標(biāo)注方法來改進(jìn)人名識(shí)別。利用數(shù)據(jù)增強(qiáng)、BERT 和雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)等技術(shù)的結(jié)合，有效緩解了人名識(shí)別中語料不完善、人稱代詞指代不明等問題，提高了人名識(shí)別的準(zhǔn)確率。[6]
本期上述系列文章各自從不同的角度闡釋了智能計(jì)算技術(shù)在基礎(chǔ)框架和上層應(yīng)用兩個(gè)層面上的技術(shù)研究工作，希望以此共同推進(jìn)智能計(jì)算技術(shù)的知識(shí)傳播和學(xué)術(shù)交流，進(jìn)一步推動(dòng)我國自主可控的智能計(jì)算生態(tài)的發(fā)展與創(chuàng)新。
猜你喜歡
初中生學(xué)習(xí)指導(dǎo)·提升版(2023年11期)2023-12-16 12:44:18
科學(xué)咨詢(2022年19期)2022-11-24 04:23:25
數(shù)學(xué)物理學(xué)報(bào)(2021年2期)2021-06-09 08:54:26
少先隊(duì)活動(dòng)(2020年12期)2021-01-14 01:47:40
應(yīng)用數(shù)學(xué)(2020年2期)2020-06-24 06:02:44
數(shù)學(xué)年刊A輯(中文版)(2018年2期)2019-01-08 01:59:54
中成藥(2017年3期)2017-05-17 06:09:01
數(shù)學(xué)物理學(xué)報(bào)(2016年3期)2016-12-01 05:36:27
領(lǐng)導(dǎo)科學(xué)論壇(2016年9期)2016-06-05 14:59:58
中學(xué)生數(shù)理化·八年級(jí)數(shù)學(xué)人教版(2015年12期)2015-05-30 10:48:04
