隨著物聯(lián)網(wǎng)的發(fā)展,有一個領(lǐng)域正在逐步發(fā)生變化,那就是數(shù)據(jù)存儲市場。萬物互聯(lián)產(chǎn)生的數(shù)據(jù)正在以指數(shù)級增長,如何存儲和管理這些數(shù)據(jù),對于每家企業(yè)而言,都是成功的關(guān)鍵要素。市場研究機構(gòu)IDC的數(shù)據(jù)顯示,到2025年,全球?qū)⒂?16億臺互聯(lián)設(shè)備,其中75%將連接到物聯(lián)網(wǎng)平臺。屆時由互聯(lián)設(shè)備生成的數(shù)據(jù),將從2019年的13.6 ZB,增長到79.4 ZB。ZB是什么概念?舉個例子,如果把1ZB的文件往1TB的硬盤里裝,大概需要10億塊硬盤,連起來足夠繞地球兩圈半。尤其是視頻數(shù)據(jù)的存儲需求將會飛速膨脹,以亞太地區(qū)為例,2025年來自物聯(lián)網(wǎng)設(shè)備的視頻數(shù)據(jù)規(guī)模將達到26680 EB,以5年復(fù)合年增長率23.2%的速度增長。在視頻數(shù)據(jù)之外,來自工業(yè)互聯(lián)網(wǎng)的數(shù)據(jù)也將占據(jù)較大份額。如此大量的數(shù)據(jù)如何被可靠、安全、快速、高性價比的存儲,是很多企業(yè)正在探索的方向。
隨著區(qū)塊鏈技術(shù)的發(fā)展,去中心化存儲逐步升溫。最近,京東云、華為云率先開始了新的嘗試。在智能園區(qū)場景中,某地的華為云服務(wù)器集群將引入去中心化存儲技術(shù)IPFS搭建,擬定投入4億元人民幣。京東智聯(lián)云也推出了無線寶智能終端,并將其定位于家庭場景中,去中心化存儲、區(qū)塊鏈和數(shù)字化資產(chǎn)管理的基礎(chǔ)設(shè)施。下面,我們就來講述去中心化存儲的最新進展:什么是去中心化存儲?值得關(guān)注的去中心化存儲實現(xiàn)技術(shù)有哪些?哪些去中心化存儲的誤區(qū)需要避免?
一、什么是去中心化存儲
一切可以去中心化的,都將去中心化。
以存儲作為服務(wù)的商業(yè)模式由來已久,亞馬遜在2006年開始推出Amazon Web Services(AWS),將自己的服務(wù)器和存儲空間租借給用戶,降低了開發(fā)者創(chuàng)建并管理服務(wù)器基礎(chǔ)設(shè)施的開銷。
在2013~2017年這5年間,全球云存儲市場維持20%以上的高復(fù)合增速,而國內(nèi)云存儲市場的增速維持在85%~110%。根據(jù)多家機構(gòu)的預(yù)測,預(yù)計2022年全球云存儲市場規(guī)模將達到1000億美元以上。
隨著時間的演變,中心化的儲存服務(wù)雖然在不斷地改善功能,價格也愈加親民,但近年來也遇到了瓶頸,面臨頻繁的數(shù)據(jù)泄露、服務(wù)的限制性、運營商停運風(fēng)險等問題。于是,去中心化存儲這一概念逐漸興起。
需要注意的是,中心化或去中心化存儲,并不僅僅是描述一種技術(shù),更多的是對應(yīng)一種存儲的商業(yè)模式。
存儲市場的商業(yè)組織形式,可以分為中心化存儲和去中心化存儲:中心化存儲是將數(shù)據(jù)完整地存儲在中心化機構(gòu)開發(fā)的服務(wù)器上,設(shè)備服務(wù)器與存儲供應(yīng)者是—對一的關(guān)系;去中心化存儲則是將數(shù)據(jù)切片分散存儲在多個獨立的存儲供應(yīng)商上,設(shè)備服務(wù)器與存儲供應(yīng)者是—對多的關(guān)系。
去中心化存儲是一種通過分布式存儲技術(shù),將文件或文件集分片,存儲在不同供應(yīng)方提供的磁盤空間上的存儲商業(yè)模式。
它的價值主張是強隱私保護、低成本、數(shù)據(jù)冗余備份、開源的應(yīng)用程序和算法,只有實現(xiàn)了以上的全部主張,才可能大范圍代替現(xiàn)有的中心化存儲方案。
你也許看出來了,去中心化存儲就是偏偏要在一個更加分散、更加不安全、更加不可信的網(wǎng)絡(luò)環(huán)境中,滿足更加安全、更加可信、更加可控的存儲需求。它有利于規(guī)避單點故障和實現(xiàn)數(shù)據(jù)的價值傳遞。
從實現(xiàn)方式上來說,中心化存儲系統(tǒng)的大型文件上傳后,文件以整體或切片的形式存儲在單一或分布式的網(wǎng)絡(luò)或服務(wù)器上,需要極其高效地開發(fā)、運營團隊來維持其運轉(zhuǎn)。
去中心化存儲必須使用分布式存儲技術(shù),初始種子節(jié)點(最初擁有完整文件資源的節(jié)點)在將大型文件進行切片處理后,使其產(chǎn)生多個子塊。每個子塊分別存儲在不同的節(jié)點上,每個一般節(jié)點下載單個子塊,上傳到去中心化存儲網(wǎng)絡(luò)中,讓其他節(jié)點下載后,便成為這個子塊的種子節(jié)點。如此循環(huán)往復(fù),不斷擴大該文件在共享網(wǎng)絡(luò)中的節(jié)點數(shù)。
為了實現(xiàn)去中心化的商業(yè)模式,去中心化存儲的實現(xiàn)必然分為兩部分:存儲技術(shù)和激勵機制。
存儲技術(shù)相對比較成熟,有多種分布式存儲方案可供選擇。激勵機制由區(qū)塊鏈技術(shù)提供,在去中心化存儲中,網(wǎng)絡(luò)規(guī)模的大小對于存儲性能的影響很大。如何讓大家愿意貢獻存儲、網(wǎng)絡(luò)資源?如何保證這些存儲資源穩(wěn)定、可靠地運行?這些都需要通過區(qū)塊鏈技術(shù)實現(xiàn)。
去中心化存儲不同于中心化存儲的特點主要有3個:
(1)算法開源:去中心化存儲平臺或網(wǎng)絡(luò)的算法和代碼必須是開源的。
B2C端的存儲服務(wù)已經(jīng)被中心化存儲搶占了大多數(shù)市場,在開源項目初期進入門檻較高,大多數(shù)集中于B2B端,只有代碼開源才能讓社區(qū)和應(yīng)用的完善形成有效的正反饋效應(yīng)。如果算法和代碼不公開透明,則存儲網(wǎng)絡(luò)就會變相的中心化。
(2)計費優(yōu)勢:去中心化存儲的成功要素之一,就是計費優(yōu)勢。
由于中心化存儲系統(tǒng)和去中心化存儲系統(tǒng)的存儲方式和檢索方式的差異,導(dǎo)致二者在服務(wù)費用定價上存在差異。
中心化存儲系統(tǒng)的收費標(biāo)準(zhǔn)是按月度、季度或年度為單位,根據(jù)存儲數(shù)據(jù)文件的大小收取存儲費用,并且對存儲費用實施一定的促銷策略(免費試用期等)。
由于大多數(shù)去中心化存儲網(wǎng)絡(luò)平臺處于項目運營初期,大部分產(chǎn)品處于開發(fā)階段或MVP階段,因此需要以低廉的存儲費用來吸引用戶流量。但是,相比較中心化的相對固定的服務(wù)費用,除了存儲費用之外,去中心化存儲還有檢索費用、手續(xù)費和交易費。因此,去中心化存儲僅僅適合冷數(shù)據(jù)存儲,在檢索數(shù)據(jù)量較少的情況下,其費用比中心化存儲低得多。而對于熱數(shù)據(jù),因檢索頻繁導(dǎo)致其成本可能高于中心化存儲的費用。
(3)安全和隱私保護:增強安全性和用戶隱私保護,是去中心化存儲的重要價值主張。
去中心化存儲的優(yōu)勢主要體現(xiàn)在兩個方面:首先,去中心化存儲規(guī)避了單點故障和部分節(jié)點斷網(wǎng)或不可用等風(fēng)險;其次,去中心化存儲使用戶的具體存儲內(nèi)容不因主觀原因而泄露。
由于去中心化存儲的共享網(wǎng)絡(luò)為P2P網(wǎng)絡(luò),而中心化存儲的共享網(wǎng)絡(luò)為以服務(wù)供應(yīng)商為中心的中心化網(wǎng)絡(luò),從而導(dǎo)致前者不容易受到單點故障和服務(wù)器斷網(wǎng)的影響,也不容易受到黑客的攻擊。
同時,去中心化存儲通過零知識證明和非對稱加密等技術(shù),將哈希加密的字符串放在區(qū)塊的最底層,從而將存儲內(nèi)容的分片實現(xiàn)加密處理,其他任何節(jié)點包括運營商都無法看到存儲的具體內(nèi)容。
就現(xiàn)狀而言,去中心化存儲處于起步階段,它與中心化存儲在存儲空間來源、帶寬來源、安全性、使用方式、行業(yè)發(fā)展?fàn)顟B(tài)等多個維度存在差異,目前它的規(guī)模和性能遠遠不如中心化存儲系統(tǒng)。
二、值得關(guān)注的去中心化存儲實現(xiàn)技術(shù)有哪些
去中心化存儲的實現(xiàn)技術(shù)很多,質(zhì)量參差不齊,典型的包括BitTorrent、IPFS、Lambda、Sia、Swarm、Storj、Chronicle、MaidSafe等十余個,它們最早可以追溯到點對點文件存儲系統(tǒng)。我們就從大家最熟悉的技術(shù)講起。
1.BitTorrent
最早點對點的文件存儲系統(tǒng)作為中心化云服務(wù)器的替代品出現(xiàn),并且還沒有中心化的風(fēng)險。在亞馬遜云存儲服務(wù)出現(xiàn)的5年前,BitTorrent(簡稱BT)已經(jīng)可以讓文件在用戶之間有效傳輸。
說到BT下載,相信很多人都知道并且用過。因為很多電影都是通過BT種子進行傳播的。在2003年的時候,軟件工程師Bram Cohen發(fā)明BitTorrent協(xié)議,也就是我們常說的BT下載。
BT主要是采用高效的軟件分發(fā)系統(tǒng)和P2P技術(shù)共享大型的文件,然后重新分配節(jié)點給每個用戶讓他們提供上傳服務(wù)。通過這個技術(shù),不僅讓用戶享受了更快的下載速度,也讓運營者大大節(jié)省了服務(wù)器的帶寬成本。
雖然BitTorrent是最早的去中心化存儲項目,但因其缺乏完善的激勵機制,因而只能稱之為去中心化存儲模式的雛形。
2.IPFS
IPFS全稱為InterPlanetary File System,中文為“星際文件系統(tǒng)”,旨在創(chuàng)建持久且分布式存儲和共享文件的網(wǎng)絡(luò)傳輸協(xié)議。
IPFS想在BitTorrent的基礎(chǔ)上,打造真正的點對點、去中心化的文件存儲系統(tǒng)。在IPFS中,所有的文件都會集中起來,其中會有通用的語言,并且所有的用戶都會在整個系統(tǒng)中共享,這可以讓他們尋找并且互相轉(zhuǎn)移文件。
這里特別說明一下,IPFS不僅僅是存儲,更重要的是它想顛覆HTTP。IPFS本質(zhì)上是一個底層的開源文件傳輸協(xié)議,旨在對基于HTTP URL檢索協(xié)議進行補充甚至替代。
IPFS由協(xié)議實驗室(Protocol Labs)于2015年1月發(fā)布。協(xié)議實驗室的創(chuàng)始人和首席執(zhí)行官名為JuanBenet。他2012年畢業(yè)于斯坦福大學(xué),獲得計算機科學(xué)碩士學(xué)位,曾參與YCombinator計劃。
據(jù)IPFS官方消息稱,IPFS所應(yīng)用的場景已高達100多個。不僅是京東、華為在布局IPFS,微軟、谷歌、火狐等也加入了IPFS應(yīng)用,從這方面可以顯示出IPFS的發(fā)展迅速。未來,無論文字、圖片,還是視頻,各種用戶想要存儲的內(nèi)容,都有可能通過IPFS來實現(xiàn)。
3.Lambda
Lambda是一個區(qū)塊鏈數(shù)據(jù)存儲的基礎(chǔ)設(shè)施,通過對Lambda Chain和Lambda DB的邏輯解耦和分別實現(xiàn),以及去中心化應(yīng)用,提供可無限擴展的數(shù)據(jù)存儲能力,并實現(xiàn)了多鏈數(shù)據(jù)協(xié)同存儲、跨鏈數(shù)據(jù)管理、數(shù)據(jù)隱私保護、數(shù)據(jù)持有性證明、分布式智能計算等服務(wù)。
Lambda本質(zhì)上是IPFS項目的延伸與擴展,并且通過引入創(chuàng)新機制降低了其使用門檻,但是仍然不利于家庭用戶參與到去中心化存儲中來。
4.Storj
Storj是一個基于以太坊的分布式云存儲協(xié)議,由盈利性公司Stroj Labs開發(fā)。Storj的核心技術(shù)是一個可執(zhí)行的、點對點存儲合約,即兩個人在不認(rèn)識對方的情況下,同意使用定量的存儲來獲得收益。
Storj Labs公司的營利性方面是:它向數(shù)千名用戶出租網(wǎng)絡(luò),并為網(wǎng)絡(luò)使用收費。這是一個稍微集中的模式,與Dropbox和Google Drive等競爭。他們還與Microsoft Azure建立了合作伙伴關(guān)系,以部署他們的一些開發(fā)工具。
5.Swarm
Swarm也基于以太坊,它提供分布式的存儲平臺和內(nèi)容分發(fā)服務(wù),參與者能夠有效地匯集存儲和帶寬資源,以便向網(wǎng)絡(luò)所有的參與者提供服務(wù),同時作為回報,他們會得到一部分以太坊獎勵。
從終端角度來看,在Swarm中除了_上傳操作不是發(fā)生在特定服務(wù)器上外,Swarm與互聯(lián)網(wǎng)并沒有多少不同。
6.Sia
Sia是一個基于區(qū)塊鏈的去中心化云存儲平臺,由Nebulous公司負責(zé)開發(fā)與運營。Sia將數(shù)據(jù)拆分、加密,然后通過其去中心化的網(wǎng)絡(luò)對拆分和加密的數(shù)據(jù)進行分發(fā)。
Sia通過允許用戶“出租”他們未使用的硬盤空間,這樣能夠顯著降低用戶云存儲的開銷成本。因此,很多人把Sia稱為硬盤驅(qū)動的Airbnb。Sia是完全私密的,沒有私鑰無法查看數(shù)據(jù)文件。
7.Chronicle
Chronicle于2019年9月公布,是由IOTA基金會推出全新數(shù)據(jù)存儲解決方案,該方案允許其節(jié)點所有者輕松存儲所有交易并可保持對數(shù)據(jù)的不間斷訪問。
IOTA是為物聯(lián)網(wǎng)而設(shè)計的一個革命性的新型交易結(jié)算和數(shù)據(jù)轉(zhuǎn)移層。它基于新型的分布式賬本Tangle(纏結(jié))。Chronicle允許節(jié)點所有者存儲Tangle的所有數(shù)據(jù),并在需要時快速訪問這些數(shù)據(jù)。最近IOTA基金會發(fā)布了去中心化存儲框架Chronicle的Alpha版本,對其部分功能進行了改進,將可以在Tangle上色建更多的工業(yè)用例。
8.MaidSafe
MaidSafe的目標(biāo)是用完全去中心化架構(gòu)來取代互聯(lián)網(wǎng)昂貴的數(shù)據(jù)中心,建立一個全球范圍內(nèi)任何人都可以訪問的去中心化存儲平臺。
Maidsafe的工作機制有點像螞蟻網(wǎng)絡(luò),單個螞蟻是非常脆弱的,當(dāng)與其他的螞蟻合作的時候,就能變成特定的蟻群,從而拿下更多、更大的獵物。
在Maidsafe中,每個用戶都是網(wǎng)絡(luò)參與的一分子,需要貢獻出一部分的硬盤空間,無須中間服務(wù)器和數(shù)據(jù)中心網(wǎng)絡(luò)??梢哉f它的目標(biāo)更大,預(yù)想創(chuàng)造一個完全去中心化,去依賴傳統(tǒng)網(wǎng)絡(luò)的分布式存儲系統(tǒng)。
三、有哪些去中心化存儲的誤區(qū)需要避免
去中心化存儲的商業(yè)模式想要成立,首先要在價值主張和性價比上超越中心化的存儲方式。其次,還應(yīng)注意區(qū)分去中心化存儲與分布式存儲。
誤區(qū)1:沒有區(qū)分IPFS與Filecoin
Filecoin近期的火熱程度,堪稱2020年以來之最。雖然Filecoin經(jīng)常與IPFS同時出現(xiàn),但它們是兩個項目。IPFS解決技術(shù)問題、標(biāo)準(zhǔn)問題,F(xiàn)ilecoin解決關(guān)系問題、激勵問題。
IPFS自2015年1月發(fā)布至今已平穩(wěn)運行多年,目前IPFS上的應(yīng)用已有數(shù)百個,全球節(jié)點數(shù)百萬個。谷歌、京東等企業(yè)也都開始使用IPFS技術(shù)。
Filecoin是一個區(qū)塊鏈項目,自宣布于2018年6月上線主網(wǎng)至今,已經(jīng)歷數(shù)次延期,并且性能一直被質(zhì)疑。
華為云和京東云投資的都是IPFS相關(guān)技術(shù),而合作中對Filecoin并沒有提及。引文章《Filecoin大空頭:易崩盤、估值高、政策風(fēng)險大》中的觀點,華為云、京東云對IPFS的應(yīng)用,不僅對Filecoin不是利好,反而會吞噬Filecoin的市場。
相對于Filecoin遲遲未上線的主網(wǎng),京東有三大優(yōu)勢:電商商城流量、京東金豆隔絕風(fēng)險、技術(shù)成本優(yōu)勢。
Filecoin能做的,IT和互聯(lián)網(wǎng)公司們已經(jīng)開始做了,而這些巨頭們不能做的,才是Filecoin可以施展拳腳的地方,但其中滿是風(fēng)險和陷阱,尤其是政策風(fēng)險。
從估值上來看,F(xiàn)ilecoin大幅偏高。
2019年第4季度,百度云在國內(nèi)云市場占比為8.8%。最近,高盛給整個百度云板塊(小度智能音響+百度云)400億人民幣的估值。而Filecoin在既沒有數(shù)據(jù),也沒有內(nèi)容的情況下,市值已達2000億元。Filecoin的高估值,顯然不利于去中心化存儲的商業(yè)模式成立。
誤區(qū)2:沒有區(qū)分去中心化存儲與分布式存儲
去中心化存儲更多的是描述一種商業(yè)模式,分布式存儲是去中心化存儲的技術(shù)實現(xiàn)方式。
分布式存儲技術(shù)采用可擴展的系統(tǒng)結(jié)構(gòu),利用多臺存儲服務(wù)器分擔(dān)存儲負荷,利用位置服務(wù)器定位存儲信息,解決了傳統(tǒng)集中式存儲系統(tǒng)中單存儲服務(wù)器的瓶頸問題,并提高了系統(tǒng)的可靠性、可用性和擴展性。
無論是中心化還是非中心化存儲,二者的技術(shù)實現(xiàn)方式通常會以分布式存儲來體現(xiàn)。
因為設(shè)備服務(wù)器與存儲供應(yīng)者是一對多的關(guān)系,即一個存儲供應(yīng)商可以控制多個存儲節(jié)點,所以去中心化存儲一定會使用分布式存儲技術(shù)。
但是,中心化存儲可以使用分布式存儲技術(shù),也可以不使用分布式存儲技術(shù)。
四、總結(jié)
總體而言,中心化存儲占據(jù)市場主導(dǎo)地位,處于成熟期;去中心化存儲仍然處于初創(chuàng)期,技術(shù)架構(gòu)和體系尚未成熟。
存儲市場總收入規(guī)模達到了130億美元以上,中心化存儲在2019年上半年已經(jīng)形成了寡頭壟斷的競爭格局,以Dell Technology、H3C、IBM、聯(lián)想、華為等巨頭為主,并且前10家中心化存儲公司的市場份額達到62.9%。
而BitTorrent、IPFS等去中心化存儲項目部分仍在開發(fā)階段,而且進度較為緩慢。即便是開發(fā)完成的Sia和Storj,其存儲空間總量僅為2PB,實際使用空間僅為全網(wǎng)總存儲空間的40%不到,與中心化存儲的收入相去甚遠。