林彬

[摘 要] 從1946年世界上第一臺計(jì)算機(jī)ENIAC誕生至今的60多年時(shí)間里，計(jì)算機(jī)的體系結(jié)構(gòu)發(fā)生了巨大的變化。尤其是過去的20年，是超級計(jì)算機(jī)，特別是并行機(jī)飛速發(fā)展，走向成熟的20年。20年中CPU芯片的性能翻了幾番，計(jì)算機(jī)工作者發(fā)明了Wormhole（蟲蝕尋徑）技術(shù)，找到了更符合實(shí)際的LogP并行計(jì)算模型，創(chuàng)造了成百的不同規(guī)模、不同拓?fù)浣Y(jié)構(gòu)的并行平臺。特別是，由于多種軟硬件技術(shù)的進(jìn)步，是既具有可擴(kuò)展性，又具有可編程性的，分布式共享存儲結(jié)構(gòu)的并行機(jī)成為可能。并行計(jì)算機(jī)已理所當(dāng)然地成為當(dāng)今超級計(jì)算機(jī)的主流。本文主要從為什么要進(jìn)行并行計(jì)算入手，探討了并行計(jì)算的基本涵義、處理模式、發(fā)展現(xiàn)狀以及發(fā)展趨勢。

[關(guān)鍵詞] 并行計(jì)算；現(xiàn)狀；發(fā)展

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2014 . 16. 071

[中圖分類號] TP368 [文獻(xiàn)標(biāo)識碼] A [文章編號] 1673 - 0194（2014）16- 0121- 03

0 引 言

工作中，我們總是希望我們自己工作得更有效率，用更少的時(shí)間解決更多的問題。在計(jì)算機(jī)里，這就是并行計(jì)算的基本初衷。全世界第一臺計(jì)算機(jī)ENIAC中就已經(jīng)出現(xiàn)了并行計(jì)算的概念。它有20個(gè)累加器，可以并發(fā)執(zhí)行多個(gè)加減運(yùn)算，可謂開并行計(jì)算的先河。在隨后的20世紀(jì)五六十年代，由于晶體管和集成電器的發(fā)明，出現(xiàn)了更多更快的計(jì)算機(jī)。IBM是這一時(shí)期的主角，同期計(jì)算機(jī)編程語言的出現(xiàn)，由軟件完成處理并行計(jì)算的思想進(jìn)一步深化。但這一時(shí)期的計(jì)算還是大型機(jī)時(shí)代，沒有幾個(gè)平民能用得起這些昂貴的東西。計(jì)算機(jī)和軟件技術(shù)還鎖在研究院和大學(xué)校園里。

20世紀(jì)70年代，隨著微電子技術(shù)的發(fā)展，出現(xiàn)了微型處理器（CPU）。接著，1974年，全世界第一臺個(gè)人電腦——牛郎星順利出爐。緊隨其后，看到市場前景的蘋果和IBM推波助瀾，計(jì)算機(jī)開始進(jìn)入個(gè)人時(shí)代。個(gè)人計(jì)算機(jī)同時(shí)又催生了軟件業(yè)的高速發(fā)展，軟件又帶動CPU不斷升級換代。這為并行計(jì)算擺脫高端路線，進(jìn)入平民化時(shí)代打下了基礎(chǔ)。

1 并行計(jì)算的基本問題

1.1 為什么需要并行計(jì)算

在個(gè)人計(jì)算機(jī)誕生后的幾十年里，程序員們編寫了大量的應(yīng)用軟件，這些軟件決大部分了采用串行計(jì)算方法。所謂串行，是指軟件在PC上執(zhí)行，在進(jìn)入CPU前被分解為一個(gè)個(gè)指令，指令在CPU中一條條順序執(zhí)行。任一時(shí)間內(nèi)，CPU只能夠運(yùn)行一條指令。這種方式很符合我們對現(xiàn)實(shí)世界的思考習(xí)慣。至于軟件的運(yùn)行速度，則依賴硬件的處理能力，尤其CPU的處理速度。這種思維方式到了2005年遇到了挑戰(zhàn)。在那一年，受限于制造CPU的半導(dǎo)體材料限制，左右CPU發(fā)展的摩爾定律開始失效了。但芯片業(yè)很快找到了一個(gè)變通的辦法：在一塊芯片中植入多個(gè)處理核心，通過多核的共同運(yùn)算，提高運(yùn)行速度。不幸的是，采用串行方法編寫的軟件面臨著一個(gè)尷尬的局面：如果仍采用串行編程方式，運(yùn)行速度將停滯不前。這樣，原來需要CPU完成的提速工作，被迫需要軟件自已來完成。 在另一個(gè)領(lǐng)域：互聯(lián)網(wǎng)，由于網(wǎng)絡(luò)數(shù)據(jù)極速膨脹，數(shù)據(jù)量已經(jīng)遠(yuǎn)遠(yuǎn)超過一臺或者幾臺大型計(jì)算機(jī)的處理能力，需要更大數(shù)量的計(jì)算機(jī)協(xié)同完成。面對這些問題，主要的解決方案就是：并行計(jì)算。

1.2 并行計(jì)算的涵義

并行計(jì)算目前還是一門發(fā)展中的學(xué)科。并行計(jì)算是相對串行計(jì)算而言的，并行計(jì)算可以分為時(shí)間上的并行計(jì)算和空間上的并行計(jì)算。

時(shí)間上的并行計(jì)算就是流水線技術(shù)，即采用指令預(yù)取技術(shù)，將每個(gè)指令分成多步，各步間疊加操作，當(dāng)前指令完成前，后一指令準(zhǔn)備就緒，縮小指令執(zhí)行的時(shí)鐘周期。典型的以時(shí)間換空間。

空間上的并行計(jì)算是指由多個(gè)處理單元（不僅是CPU）執(zhí)行的計(jì)算，是以空間換時(shí)間?？臻g上的并行計(jì)算分為兩類：單指令多數(shù)據(jù)流（SIMD）和多指令多數(shù)據(jù)流（MIMD）。

SIMD是流水技術(shù)的擴(kuò)展，可以在一個(gè)時(shí)鐘周期處理多個(gè)指令，我們目前使用的PC大多屬于此列，例如AMD 3DNOW 和Intel MMX。

MIMD大致又分為5類：工作站集群（COW）、對稱多處理機(jī)（SMP）、大規(guī)模并行處理機(jī)（MPP）、分布共享存儲處理機(jī)（DSM）、并行向量機(jī)（PVP）。

空間并行計(jì)算技術(shù)包括數(shù)據(jù)并行計(jì)算和任務(wù)并行計(jì)算。數(shù)據(jù)并行計(jì)算是指將一個(gè)大的數(shù)據(jù)分解為多個(gè)小的數(shù)據(jù)，分散到多個(gè)處理單元執(zhí)行。任務(wù)并行是將大的任務(wù)分解為小的任務(wù)，分散到多個(gè)處理單元執(zhí)行，任務(wù)并行同時(shí)還要避免任務(wù)重復(fù)執(zhí)行，協(xié)調(diào)數(shù)據(jù)的上下文關(guān)系，避免沖突發(fā)生。任務(wù)并行計(jì)算與實(shí)際應(yīng)用需求緊密相關(guān)。所以，任務(wù)并行計(jì)算要比數(shù)據(jù)并行計(jì)算復(fù)雜得多。并行計(jì)算與串行計(jì)算的最大不同在于，并行計(jì)算不僅要考慮計(jì)算本身，還要考慮并行處理模型、網(wǎng)絡(luò)通信、計(jì)算協(xié)作諸多問題。

1.3 主要的并行計(jì)算體系類型

1.3.1 工作站集群（COW Cluster of Workstation）

工作站集群可以理解為：PC+網(wǎng)絡(luò)。它可以由少數(shù)幾臺PC擴(kuò)展到數(shù)千個(gè)節(jié)點(diǎn)的大規(guī)模并行系統(tǒng)，既可以是廉價(jià)的并行程序調(diào)試環(huán)境，也可以成為的高性能計(jì)算平臺。集群由于低成本，動態(tài)可擴(kuò)充的特點(diǎn)，已經(jīng)成為高性能計(jì)算平臺的主流。目前Google搜索和云計(jì)算業(yè)務(wù)即采用這一方式。 我國的聯(lián)想深騰XXXX、曙光XXXX系列均屬此類。

1.3.2 多處理系統(tǒng)（SMP Symmetric Multi Processing）

它由多個(gè)緊耦合多處理器組成，最大特點(diǎn)就是共享全部資源。

1.3.3 大規(guī)模并行處理系統(tǒng)（MPP Massively Parallel Processing）

由許多松耦合處理單元（不是處理器）組成的。這種結(jié)構(gòu)與SMP對立，每個(gè)單元自成體系，包括CPU、內(nèi)存、硬盤、操作系統(tǒng)，最大特點(diǎn)是不共享資源。刀片服務(wù)器屬于此列。

1.3.4 分布式共享存儲多處理（DSM）

它可以視為對SMP的可擴(kuò)充，將共享數(shù)據(jù)映射到不同的物理位置。數(shù)據(jù)的同步由硬件或者軟件來完成。是目前高性能計(jì)算機(jī)的主流發(fā)展方向之一。

1.3.5 并行向量機(jī)（PVP，Parallel Vector Processor）

PVP使用專用的向量處理器，提供數(shù)據(jù)共享，通過高速交叉開關(guān)實(shí)現(xiàn)通信。向量運(yùn)算是一種較簡單的并行計(jì)算，適用面很廣，機(jī)器比較容易實(shí)現(xiàn)，使用也方便，因此向量處理機(jī)（向量機(jī)）在20世紀(jì)70年代獲得了迅速發(fā)展。

1.4 并行計(jì)算的處理模式

1.4.1 主從模型（MS，Master-slave）

即有一個(gè)主進(jìn)程，其他是從進(jìn)程。主進(jìn)程負(fù)責(zé)整個(gè)系統(tǒng)的控制（包括任務(wù)調(diào)度、負(fù)載平衡），從進(jìn)程負(fù)責(zé)對數(shù)據(jù)的處理和計(jì)算任務(wù)。Google搜索業(yè)務(wù)目前就是采用的這種編程模型。

1.4.2 對稱處理模型（SPM）

這種架構(gòu)沒有主從概念之分，所有進(jìn)程的地位都是平等的。在并行執(zhí)行過程中，我們可以任意選擇其中一個(gè)進(jìn)程執(zhí)行輸入輸出操作，其他進(jìn)程扮演同樣的角色。

1.4.3 多程序處理模型（MPPM）

在計(jì)算機(jī)集群中，每臺計(jì)算機(jī)節(jié)點(diǎn)執(zhí)行不同的程序和相同的程序。

1.5 并行計(jì)算設(shè)計(jì)原則

（1）適應(yīng)性。并行算法是并行計(jì)算的基礎(chǔ)，是為解決實(shí)際問題而出現(xiàn)，必須與實(shí)際應(yīng)用相結(jié)合。

（2）可擴(kuò)展。并行算法是否能夠隨計(jì)算節(jié)點(diǎn)增加或減少而同步的線性變化，是評價(jià)一個(gè)并行算法是否有效的重要標(biāo)志之一。

（3）粗粒度。通常情況下，粒度越大越好。這是因?yàn)樵诿總€(gè)處理機(jī)中有很多需要計(jì)算的工作任務(wù)，如此可以充分發(fā)揮多處理機(jī)的作用。并行加速比對細(xì)粒度問題一般情況下是不會很高的，這也是為什么并行計(jì)算需要求解大規(guī)模問題的原因所在。

（4）減少通信。一個(gè)高效的并行算法，通信是至關(guān)。提高性能的一個(gè)關(guān)鍵是減少數(shù)據(jù)通信量和通信次數(shù)。

（5）優(yōu)化性能。評價(jià)性能的優(yōu)缺，主要是看單節(jié)點(diǎn)計(jì)算的處理能力，和并行執(zhí)行效率。這與實(shí)際采用的技術(shù)息息相關(guān)。

1.6 并行計(jì)算設(shè)計(jì)方法

1.6.1 分片

（1）數(shù)據(jù)分片。數(shù)據(jù)分片包括兩類：數(shù)值分片和哈希分片。數(shù)值分片適用于已知數(shù)據(jù)范圍的分解，如果Int、Long類型處理。哈希分片適用于未知數(shù)據(jù)范圍的數(shù)據(jù)分解，包括字符串，字節(jié)數(shù)組類型。

數(shù)據(jù)分片是把相同的操作作用于不同的數(shù)據(jù)，達(dá)到提到快速求解的目的。數(shù)據(jù)分片模型是一種較高層次的并行計(jì)算模型，編程卻相對簡單。數(shù)據(jù)分片的并行計(jì)算最早應(yīng)用于并行向量計(jì)算機(jī)（PVP）。經(jīng)過長期實(shí)踐表明，該技術(shù)可以高效地求解大部分的科學(xué)和工程計(jì)算問題。數(shù)據(jù)并行處理對象是數(shù)值，對應(yīng)非數(shù)值類問題，則需要其他并行計(jì)算模型來解決。Google的搜索業(yè)務(wù)是采用數(shù)據(jù)分片的并行計(jì)算模式。

（2）任務(wù)分片。任務(wù)分片的并行計(jì)算主要針對非數(shù)值類的并行處理。它通常的消息傳遞機(jī)制（目前主流是PMI）是各并行計(jì)算執(zhí)行單元之間通過傳遞消息來交換數(shù)據(jù)，協(xié)調(diào)步伐，執(zhí)行控制操作。消息傳遞一般是針對分布節(jié)點(diǎn)內(nèi)存，也可以適用于共享內(nèi)存的并行節(jié)點(diǎn)。消息傳遞模型為程序員提供了更加靈活的控制手段和表現(xiàn)形式。消息傳遞模型很容易實(shí)現(xiàn)，控制變化手段靈活多樣，但是需要程序員有豐富的并行編程經(jīng)驗(yàn)。是一種較低層次，編程相對復(fù)雜的模型，適用于業(yè)務(wù)流程的并行化處理。

1.6.2 通信

協(xié)調(diào)計(jì)算過程中的數(shù)據(jù)共享。通信工作目前主要由TCP/IP協(xié)議完成。

1.6.3 組織

組織各任務(wù)并發(fā)執(zhí)行，提高性能。在主線程的控制下，子線程在此承擔(dān)具體的并發(fā)操作任務(wù)。

1.6.4 映射

分配任務(wù)（分布處理、共享處理）。線程和通信共同完成。

1.7 并行計(jì)算應(yīng)注意的事項(xiàng)

（1）任務(wù)分解：這是所有并行計(jì)算的核心問題，優(yōu)秀的任務(wù)分解需要保證平均和處理負(fù)載的平衡，同時(shí)，隨著處理器能力的動態(tài)伸縮動態(tài)調(diào)節(jié)。

（2）通信：并發(fā)處理離不開網(wǎng)絡(luò)通信聯(lián)系。相較與CPU運(yùn)算，數(shù)據(jù)在網(wǎng)絡(luò)間傳遞延遲是并發(fā)處理的瓶頸之一。光纖網(wǎng)絡(luò)是目前最好的選擇。

（3）并行協(xié)調(diào)：是并行運(yùn)算過程中控制流程。

（4）并行沖突：并行沖突來源主要是任務(wù)分解和并行協(xié)調(diào)。

（5）數(shù)據(jù)歸并：這是數(shù)據(jù)計(jì)算完成后，必不可少的一步操作。數(shù)據(jù)歸并需要注意：過濾重復(fù)數(shù)據(jù)，合并相關(guān)性數(shù)據(jù)等。

（6）死鎖。死鎖是在編程過程中，由于人為的原因造成。死鎖表示為：對象間在不放棄自己資源下互相調(diào)用。請程序員注意。

2 并行計(jì)算的發(fā)展現(xiàn)狀

2.1 多核為主流的體系結(jié)構(gòu)

多核處理器代表了計(jì)算技術(shù)的一次創(chuàng)新。由于數(shù)字?jǐn)?shù)據(jù)和互聯(lián)網(wǎng)的全球化，商業(yè)和消費(fèi)者開始要求多核處理器帶來性能改進(jìn)，這個(gè)重要?jiǎng)?chuàng)新就開始了，因?yàn)槎嗪颂幚砥鞅葐魏颂幚砥骶哂行阅芎托蕛?yōu)勢，多核處理器將會成為被廣泛采用的計(jì)算模型。在驅(qū)動PC安全性和虛擬化技術(shù)的重大進(jìn)程過程中，多核處理器扮演著中心作用，這些安全性和虛擬化技術(shù)的開發(fā)用于為商業(yè)計(jì)算市場提供更大的安全性、更好的資源利用率、創(chuàng)造更大價(jià)值。普通消費(fèi)者用戶也期望得到前所未有的性能，這將極大地?cái)U(kuò)展其家庭PC和數(shù)字媒體計(jì)算系統(tǒng)的使用。多核處理器具有不增加功耗而提高性能的好處，實(shí)現(xiàn)更大的性能/能耗比。

在一個(gè)處理器中放入兩個(gè)或多個(gè)功能強(qiáng)大的計(jì)算核產(chǎn)生了一個(gè)重大的可能性。由于多核處理器能提供比單核處理器更好的性能和效率，下一代的軟件應(yīng)用程序很有可能是基于多核處理器而開發(fā)的。不管這些應(yīng)用是幫助專業(yè)的電影公司以更少的投入和更少的時(shí)間完成更真實(shí)的電影，還是以更徹底的方法使得PC更自然和直觀，多核處理器技術(shù)將永遠(yuǎn)改變計(jì)算世界。多核處理器表達(dá)了AMD了解顧客需求并且開發(fā)最能滿足客戶要求產(chǎn)品的意愿。

微軟多核計(jì)算的主管Dan Reed稱，整個(gè)世界上很缺乏那些并行計(jì)算的研究人員，而一個(gè)間接的原因就是學(xué)院里對于并行計(jì)算的關(guān)注度不夠，而這些學(xué)院正是下一代軟件開發(fā)人員誕生的地方。越來越高的時(shí)鐘頻率導(dǎo)致應(yīng)用程序的代碼運(yùn)行得越來越快，而對于當(dāng)前多核處理器來講這一規(guī)則雖然成立，但卻有所不同。而這種不同可以做一個(gè)形象的比喻，那就是一部跑車和一輛學(xué)校的巴士。當(dāng)跑車能夠以很快的速度飛奔時(shí)，巴士雖然比較慢，但它可以載著更多的人前行。問題就是，簡單地在計(jì)算機(jī)CPU上增加多個(gè)核并不能增加傳統(tǒng)應(yīng)用程序代碼的運(yùn)行速度，這一結(jié)果是根據(jù)一項(xiàng)來自于Forrester研究公司的報(bào)告得出的。換句話說，復(fù)雜的工作需要拆分來填充這輛巴士上的空座位。Forrester的報(bào)告還談到：當(dāng)前四核處理器會激發(fā)更多的多處理器設(shè)計(jì)的思想，2009年x86的服務(wù)器使用64個(gè)處理器核，并且2012年臺式機(jī)也已實(shí)現(xiàn)了這一夢想。

2.2 以數(shù)據(jù)為中心的云計(jì)算

云計(jì)算可以被解釋為虛擬主機(jī)的租賃服務(wù)，也可以被解釋為企業(yè)軟件的SaaS化，又或者是一個(gè)“云機(jī)箱”之上跑許多個(gè)虛擬桌面。但不管怎么說筆者認(rèn)為云計(jì)算要解決3個(gè)實(shí)質(zhì)問題：

（1）大規(guī)模。這里提到的大規(guī)模不僅是超過單臺PC服務(wù)器的能力，更指的是能夠支撐互聯(lián)網(wǎng)級別的數(shù)據(jù)和應(yīng)用，例如個(gè)人郵箱、搜索等。

（2）低成本。低成本的一個(gè)標(biāo)志在于用系統(tǒng)軟件來解決廉價(jià)硬件在復(fù)雜條件下不可靠的問題。

（3）服務(wù)運(yùn)營。這里所指的服務(wù)運(yùn)營是能夠通過無差別的存儲計(jì)算能力來提供公共的基礎(chǔ)服務(wù)。

當(dāng)各式各樣的應(yīng)用可以共同運(yùn)行在一個(gè)統(tǒng)一平臺之上，才能達(dá)到真正的大規(guī)模，而由此得到的規(guī)模效益才能夠獲得低成本，于是這3個(gè)本質(zhì)的問題是云計(jì)算的有機(jī)整體。

傳統(tǒng)的軟件以功能為主體，而云計(jì)算則徹底推動了“數(shù)據(jù)為王”。數(shù)據(jù)將成為一家企業(yè)乃至是一個(gè)國家極其重要的戰(zhàn)略資源。而數(shù)據(jù)的搜集、存儲、分享、處理和應(yīng)用是需要大量的計(jì)算資源的，從這個(gè)意義上說，云計(jì)算可以稱為“以數(shù)據(jù)為中心的分布式大規(guī)模計(jì)算”。而一個(gè)企業(yè)乃至一個(gè)國家瞬間能夠調(diào)用的計(jì)算資源則成為了能否利用和發(fā)揮好數(shù)據(jù)這個(gè)戰(zhàn)略資源的核心競爭力。提供公共計(jì)算服務(wù)的云計(jì)算平臺將大大促進(jìn)企業(yè)之間、社會各行業(yè)間的數(shù)據(jù)收集、分享和實(shí)時(shí)處理，在這基礎(chǔ)之上必將孕育出大量的數(shù)據(jù)運(yùn)營的新商業(yè)模式，數(shù)據(jù)也將最終成為一切商業(yè)行為的決策基礎(chǔ)，從而大大提高社會的整體效率，促進(jìn)人類從大工業(yè)化時(shí)代走向信息化時(shí)代。

2.3 以普及應(yīng)用為宗旨的個(gè)人高性能計(jì)算機(jī)

作為三大科學(xué)研究手段之一的高性能計(jì)算機(jī)，其發(fā)展的根本動力來自于各類科學(xué)技術(shù)對計(jì)算機(jī)性能永無止境的需求和生產(chǎn)的實(shí)際需要。

在1996年的“SuperComputing96”大會上，美國政府HPCC計(jì)劃全國協(xié)調(diào)委員會主席John Toole在題為“危機(jī)、創(chuàng)新與機(jī)會：HPCC將向何處去”的報(bào)告中指出：“高性能計(jì)算與通信對美國的國家安全及保持美國在未來的優(yōu)勢至關(guān)重要。美國政府將在高端計(jì)算機(jī)與通信、大規(guī)模網(wǎng)絡(luò)、高可信系統(tǒng)等5個(gè)方面制定10～15年的長期計(jì)劃，保持長期持續(xù)性投資。”

過去的10年是超級計(jì)算機(jī)、特別是并行機(jī)飛速發(fā)展、走向成熟的10年。10年中CPU芯片的性能翻了幾番，計(jì)算機(jī)工作者發(fā)明了Wormhole（蟲蝕尋徑）技術(shù)，找到了更符合實(shí)際的LogP并行計(jì)算模型，創(chuàng)造了成百的不同規(guī)模、不同拓?fù)浣Y(jié)構(gòu)的并行平臺。特別是，由于多種軟硬件技術(shù)的進(jìn)步，使既具有可擴(kuò)展性、又具有可編程性的、分布式共享存貯結(jié)構(gòu)的并行機(jī)成為可能。并行計(jì)算機(jī)是當(dāng)今超級計(jì)算機(jī)的主流。

并行計(jì)算機(jī)的發(fā)展史就是可擴(kuò)展性與可編程性這一對矛盾相互作用直至統(tǒng)一的歷史?？蓴U(kuò)展性是并行計(jì)算機(jī)最大的優(yōu)勢，可簡單定義為“在確定的應(yīng)用背景下，計(jì)算機(jī)系統(tǒng)的性能要隨處理機(jī)數(shù)的增加而線性增長”（美籍并行處理專家黃鎧教授語）?？蓴U(kuò)展性包括規(guī)?？蓴U(kuò)展、時(shí)間可擴(kuò)展和問題可擴(kuò)展幾個(gè)方面。規(guī)?？蓴U(kuò)展的要點(diǎn)是均衡，均衡的目的是防止瓶頸的發(fā)生，“三T”表達(dá)了當(dāng)今均衡的指標(biāo)。時(shí)間可擴(kuò)展也稱換代可擴(kuò)展，主要指體系不受限于芯片、器件、工藝等。問題可擴(kuò)展指格點(diǎn)增加時(shí)，系統(tǒng)能適應(yīng)問題規(guī)模的擴(kuò)大，而當(dāng)問題的粒度加大時(shí)，效率能相應(yīng)提高。現(xiàn)有的MPP，如Inetl的Paragon、IBM的SP/2、國內(nèi)的曙光1000，一般認(rèn)為是可以擴(kuò)展的。

可編程性是在并行機(jī)發(fā)展的過程中，伴隨可擴(kuò)展性而產(chǎn)生的新概念。并行計(jì)算機(jī)有共享與分布式兩種存儲結(jié)構(gòu)，所以操作系統(tǒng)進(jìn)程間的通信（IPC）也有兩種不同的機(jī)制：共享變量和信息傳遞。機(jī)器結(jié)構(gòu)和操作系統(tǒng)的這些區(qū)別又影響到支撐軟件和應(yīng)用軟件的編程模式。SMP的程序設(shè)計(jì)仍以傳統(tǒng)的高級語言為基礎(chǔ)，系統(tǒng)提供自動并行識別或增加并行語言成分。而MPP必須建立另一種編程環(huán)境（如PVM、MPI等），在程序中顯式地寫出信息的發(fā)送和接收。這不僅導(dǎo)致應(yīng)用軟件編寫困難，還給廣大用戶增加了很多負(fù)擔(dān)。為此，創(chuàng)建了一個(gè)新的單詞Programmability，用以描述并行計(jì)算機(jī)的這一重要特點(diǎn)。

高性能計(jì)算機(jī)已走過了整整20年，這是一段可擴(kuò)展性與可編程性這一對矛盾相互作用直至統(tǒng)一的歷史。市場需求是發(fā)展的動力，技術(shù)進(jìn)步是發(fā)展的條件。有專家估計(jì)，從現(xiàn)在起直到21世紀(jì)若干年，DSM結(jié)構(gòu)將是超級計(jì)算機(jī)的主流，將穩(wěn)固地占領(lǐng)超級計(jì)算機(jī)的主要市場。

3 并行計(jì)算的發(fā)展——機(jī)群系統(tǒng)

機(jī)群系統(tǒng)是利用高速通用網(wǎng)絡(luò)將一組高性能工作站或高檔PC機(jī)，按某種結(jié)構(gòu)連接起來，在并行程序設(shè)計(jì)以及可視化人機(jī)交互集成開發(fā)環(huán)境支持下，統(tǒng)一調(diào)度，協(xié)調(diào)處理，實(shí)現(xiàn)高效并行處理的系統(tǒng)。從結(jié)構(gòu)和結(jié)點(diǎn)間的通信方式來看，它屬于分布存儲系統(tǒng)。機(jī)群系統(tǒng)中的主機(jī)和網(wǎng)絡(luò)可以是同構(gòu)的，也可以是異構(gòu)的。機(jī)群系統(tǒng)之所以能夠從技術(shù)可能發(fā)展到實(shí)際應(yīng)用，主要原因是它與傳統(tǒng)的并行處理系統(tǒng)相比有以下幾個(gè)明顯的特點(diǎn)：

（1）系統(tǒng)開發(fā)周期短。由于機(jī)群系統(tǒng)大多采用商用工作站和通用LAN網(wǎng)絡(luò)，節(jié)省了大量的研制時(shí)間。

（2）系統(tǒng)價(jià)格低。構(gòu)成機(jī)群的工作站或高檔PC機(jī)是批量生產(chǎn)的，因而售價(jià)較低。

（3）用戶投資風(fēng)險(xiǎn)小。機(jī)群系統(tǒng)不僅是一個(gè)并行處理系統(tǒng)，它的每個(gè)結(jié)點(diǎn)同時(shí)也是一臺獨(dú)立的工作站，即使整個(gè)系統(tǒng)對某些應(yīng)用問題并行效率不高，它的結(jié)點(diǎn)仍然可以作為單個(gè)工作站使用。

（4）系統(tǒng)擴(kuò)展性好。機(jī)群系統(tǒng)大多使用通用網(wǎng)絡(luò)，系統(tǒng)擴(kuò)展容易。

（5）節(jié)約系統(tǒng)資源。由于機(jī)群系統(tǒng)的結(jié)構(gòu)比較靈活，可以將不同體系結(jié)構(gòu)，不同性能的工作站連在一起，這樣就可以充分利用現(xiàn)有設(shè)備。

（6） 用戶編程方便。機(jī)群系統(tǒng)中，程序的并行化還是在用戶熟悉的編程環(huán)境C、C++或Fortran下實(shí)現(xiàn)的。

總之，隨著網(wǎng)絡(luò)技術(shù)的發(fā)展和對機(jī)群系統(tǒng)研究的深入，特別是高效通信機(jī)制的開發(fā)，機(jī)群系統(tǒng)的通信性能將會接近專用的互聯(lián)網(wǎng)絡(luò)，并行編程環(huán)境和工具更加完善，有望在機(jī)群系統(tǒng)上解決粒度更細(xì)的應(yīng)用問題，使并行處理系統(tǒng)的應(yīng)用領(lǐng)域更加廣泛。

4 結(jié)束語

并行計(jì)算目前尚不是一門成熟的技術(shù)，有待我們繼續(xù)努力和完善。受到CPU單核處理能力的限制，必須采用并行計(jì)算是提高軟件運(yùn)行速度的主要出路。但是由于并行編碼的難度遠(yuǎn)超過串行處理，這是我們面臨的巨大挑戰(zhàn)。共同努力！

主要參考文獻(xiàn)

[1]中國行業(yè)研究網(wǎng).2014-2018年中國并行計(jì)算行業(yè)市場全景調(diào)研及投資價(jià)值預(yù)測研究報(bào)告[EB/OL].http：//www.chinairn.com/report/20140308/100414413.html.

[2]陳國良，等.并行計(jì)算的一體化研究現(xiàn)狀及發(fā)展趨勢[J].科學(xué)通報(bào)，2009（8）.