逆水行舟

近日，由亞馬遜（AWS）聯(lián)合Morketing舉辦的“云計算撬動的數(shù)字營銷”高端沙龍在北京盛大召開，現(xiàn)場匯集了40多位數(shù)字廣告行業(yè)的CTO進(jìn)行思想碰撞。作為AWS首席云計算技術(shù)顧問的費良宏現(xiàn)場做了關(guān)于《亞馬遜與數(shù)字廣告》的主題演講，分享了廣告行業(yè)里企業(yè)應(yīng)用AWS的成功案例、對大數(shù)據(jù)再思考以及對技術(shù)的思考和實踐。

有一個說法，在互聯(lián)網(wǎng)發(fā)展的幾十年里，只有廣告和游戲?qū)儆谫嵈箦X的行業(yè)。數(shù)據(jù)顯示，廣告產(chǎn)業(yè)的確是一個巨大的市場。2016年，全球廣告市場總支出達(dá)到4，070億美元，這個規(guī)模里超過一半多是數(shù)字化廣告，份額高達(dá)2，100億美元，而且增長的勢頭極好。

根據(jù)ZenithOptimedia的報告顯示，傳統(tǒng)的廣告媒體的份額在逐年下降，新興數(shù)字廣告的媒體增長速度明顯增幅。過去一年全球移動廣告增幅超過了35%，視頻廣告的增幅高達(dá)40%，F(xiàn)acehook的廣告收入的增長也達(dá)到了27%，數(shù)字廣告在各個方面都呈現(xiàn)快速增長的態(tài)勢。

針對數(shù)字廣告行業(yè)，我們可以通過一個簡單的價值鏈來理清這個產(chǎn)業(yè)的脈絡(luò)。圖2涵蓋了市場和媒體之間的數(shù)字廣告的價值鏈。這里面包括了像Razorfish這樣的廣告代理機(jī)構(gòu)，DataXu這樣的廣告需求端平臺；在廣告發(fā)布方面，我們看到了發(fā)行解決方案提供商或供應(yīng)方平臺如Fiksu和Zedo等。

同樣在這樣一個生態(tài)鏈里，有很多中國的企業(yè)都利用AWS成就了他們的成長。利用AWS的成功經(jīng)驗，幫助中國企業(yè)如何立足于本地，嘗試用新的技術(shù)解構(gòu)遇到實際的困難，幫助企業(yè)成功。

一效率與規(guī)模

目前，移動、視頻和數(shù)據(jù)這三大要素是數(shù)字廣告技術(shù)中的關(guān)鍵。此外，跨渠道的屬性和真正的受眾識別的能力也是能提升收入并決定企業(yè)在市場中成功的關(guān)鍵。

AWS提供的是基礎(chǔ)的云計算服務(wù)。在基礎(chǔ)設(shè)施之上的數(shù)字廣告從市場到媒體的所有企業(yè)，都是AWS的服務(wù)對象。隨著市場的發(fā)展，新的需求也會不斷地涌現(xiàn)，云計算提供的服務(wù)也將得到進(jìn)一步拓展。

目前的市場上有很多廣告企業(yè)借助AWS的技術(shù)、產(chǎn)品和服務(wù)取得了成功。全球第三大的廣告與傳播集團(tuán)陽獅集團(tuán)（ Puhlicis Groupe），也是其中之一。他們總結(jié)使用云計算的心得就是：效率很重要，但能力更為重要。

對于初創(chuàng)企業(yè)公司，比如美國這家專注于視頻市場的BrightRoll就認(rèn)為AWS無論成本、效益、滿足需求方面都是創(chuàng)業(yè)公司的完美基礎(chǔ)設(shè)施和技術(shù)服務(wù)的提供者。

AWS對于數(shù)字廣告市場的目標(biāo)就是幫助這個行業(yè)的參與者能夠以適當(dāng)?shù)膬r格在正確的時間將正確的信息送達(dá)正確的受眾。程序化的購買提供了新的機(jī)遇，它對于技術(shù)有了新的要求。利用技術(shù)手段，例如利用NoSQL的數(shù)據(jù)庫實現(xiàn)100多億條數(shù)據(jù)的管理；利用新的數(shù)據(jù)分析技術(shù)實現(xiàn)對于用戶行為的洞察力。

一個令人驚嘆的關(guān)于成長和成功的例子是一家來自美國加州的名為AdRoll企業(yè)。這是一家重定向廣告（ Retargeting）服務(wù)的技術(shù)公司，提供了基于用戶瀏覽記錄等信息，為廣告主提供幾乎瞬時的廣告位購買服務(wù)。伴隨著廣告業(yè)的發(fā)展，其在2012年的增長率達(dá)150%。但是，為了有效地服務(wù)于廣告，AdRoll需要能夠靈活快速地增加容量，在極快的響應(yīng)時間內(nèi)實時中標(biāo)，并通過自動化確保系統(tǒng)迅速響應(yīng)競價。他們面向全球100多個國家龐大的群體提供服務(wù)，成本是非常重要的，在超過2，500臺服務(wù)器上運行RTB平臺，運行時間每天大約8小時，但是每臺機(jī)器每天花費不到0.05美元。這中間，AWS起到了關(guān)鍵的作用。

在這個數(shù)據(jù)平臺上，如何將之前數(shù)據(jù)處理的延遲由分鐘級降到秒級，就是利用了Amazon Kinesis為代表的流處理技術(shù)，解決了大量數(shù)據(jù)處理壓力的效率的難題。相信這樣的架構(gòu)對大家、對于更好的架構(gòu)設(shè)計都會有一些啟發(fā)。

二、成本、實時競價與全球化

如何以更低的成本滿足更高的處理的需要。許多人抱怨AWS的云計算服務(wù)報價復(fù)雜、計價也比較復(fù)雜，這實際上也給予每個云計算的使用者成本優(yōu)化的能力。例如，可以通過向上或向下的擴(kuò)展能力實現(xiàn)真正的彈性。此外這種彈性的能力可以通過SDK、腳本等實現(xiàn)自動化的處理。

這里想特別強調(diào)的是AWS的競價型實例（SpotInstance）。這種服務(wù)提供了一種通過競價的方式得到低于市場價格的計算資源。許多時候，這個價格低于正常市場價格的30%。大家也許會擔(dān)心這種模式對于數(shù)字廣告行業(yè)是否有效，我們就先看—下有沒有人做這樣的嘗試。

Netseer這家公司提供基于概念的廣告解決方案，將搜索查詢和網(wǎng)頁內(nèi)容與廣告客戶和發(fā)布商的相關(guān)廣告相匹配。每天的處理請求高達(dá)soo億次，對他們來說計算成本壓力非常大。于是他們的選擇成本方法就是競價型實例。按照他們的說法“使用AmazonEC2 Spot Fleet實例，我們的投標(biāo)成本是可以預(yù)測的?！庇腥藭?dān)心競價型實例會有不方便的地方？許多的實踐證明，可以選擇通過自動化的方法實現(xiàn)資源的管理，尤其是將日志管理能力結(jié)合在一起，可以動態(tài)的去決定申請一個新的競價實例。這樣的方式更大程度上兼顧了計算能力和計算成本。

對于第一次接觸AWS的人來說有必要解釋—下所謂的“區(qū)域”和“可用區(qū)”的概念?！皡^(qū)域”是指全球范圍內(nèi)的某個物理節(jié)點，每個“區(qū)域”由多個“可用區(qū)”組成。“可用區(qū)”由一個或多個分散的數(shù)據(jù)中心組成，每個都擁有獨立的配套設(shè)施，其中包括冗余電源、聯(lián)網(wǎng)和連接?？捎脜^(qū)能夠提高生產(chǎn)應(yīng)用程序和數(shù)據(jù)庫的運行效率，使其具備比單個數(shù)據(jù)中心更強的可用性、容錯能力以及可擴(kuò)展性。AWS云在全球16個地理區(qū)域內(nèi)運營著42個可用區(qū)。接下來還將會新增三個新的區(qū)域，這三個區(qū)域為中國寧夏、法國巴黎和瑞典斯德哥爾摩。這個基礎(chǔ)設(shè)施足以支持?jǐn)?shù)字廣告企業(yè)實現(xiàn)全球化的業(yè)務(wù)覆蓋。

如何有效地利用AWS的云計算資源幫助企業(yè)實現(xiàn)全球化是一個很有意義的話題。一家名為BrightRoll的故事提供了很好的參考。BrightRoll的業(yè)務(wù)針對視頻的Ad Exchange。它提供了一個獨立的、統(tǒng)一的視頻廣告平臺，可在網(wǎng)絡(luò)，移動設(shè)備和連接的電視機(jī)上提供數(shù)字視頻廣告。這樣一家創(chuàng)業(yè)型企業(yè)面臨的壓力是每天要處理海量的廣告請求，于是他們嘗試?yán)肁WS實現(xiàn)了每天處理300億條廣告數(shù)據(jù)，每個月投放30條視頻廣告的業(yè)務(wù)。endprint

而另一家名為Eyeota的企業(yè)提供的DMP平臺遇到問題是業(yè)務(wù)規(guī)模非常龐大，合作的媒體數(shù)量有3萬多家、用戶規(guī)模達(dá)到15億之多。他們最關(guān)心的一點是如何進(jìn)入到新的市場，也就是快速的產(chǎn)品投放，這決定了一個公司的生死。他們的結(jié)論就是“AWS能夠幫助我們進(jìn)入到新的市場而不是在新市場出現(xiàn)以后幾周或者幾個月以后……”

總結(jié)幾個案例，也歸納出企業(yè)目前共同面對的挑戰(zhàn)。二方面是程序化媒體的效率與規(guī)模的問題；另一方面是如何通過技術(shù)創(chuàng)新增加受眾范圍和提高參與度，這里面包括了應(yīng)用流分析和機(jī)器學(xué)習(xí)的技術(shù)以及利用新的廣告技術(shù)。

三、大數(shù)據(jù)再思考

大數(shù)據(jù)是不斷出現(xiàn)的話題，大家可能覺得已經(jīng)不那么新鮮。但大數(shù)據(jù)領(lǐng)域的技術(shù)發(fā)展還是會有一些新的方法可以幫助我們解決今天面臨的問題。

以往大數(shù)據(jù)處理更多地是使用“批處理”的模式，而今天我想為大家強調(diào)所謂的“流”式的處理模式。在AWS的產(chǎn)品家族里面，Amazon Kinesis就是這樣的一款實現(xiàn)了數(shù)據(jù)“流”處理的服務(wù)。

Beeswax公司在去年的AWS re：lnvent大會上分享了他們的系統(tǒng)架構(gòu)。這個架構(gòu)中的核心就是Streaming Message Hub，利用了“流”技術(shù)實現(xiàn)了數(shù)據(jù)的低延遲、緩存、持久化，以滿足最后的實時分析和任務(wù)的處理。利用這個特性剛才所說的大數(shù)據(jù)的許多問題，都可以通過這樣的架構(gòu)加以解決。按照Beeswax的說法他們的系統(tǒng)峰值的QPS已經(jīng)超過了1M。

與剛才分享的案例有異曲同之處，就是利用Amazon Kinesis作為數(shù)據(jù)的緩沖區(qū)將前端和后端的處理能力做了極好的緩沖，這個方式對于降低大數(shù)據(jù)處理的延時已經(jīng)被證明是行之有效的。

DataXu是一家很神奇的企業(yè)，被認(rèn)為是行業(yè)內(nèi)成長最快的企業(yè)之一。通過他們的介紹我們了解到，他們每秒的業(yè)務(wù)請求超過了200萬次，數(shù)據(jù)規(guī)模已經(jīng)達(dá)到PB級別，日增日志超過了180TB，僅僅用于分析的數(shù)據(jù)就有2PB之多。

在他們的架構(gòu)中，將Amazon S3作為數(shù)據(jù)存儲的核心，原始數(shù)據(jù)都保存在S3之上。對處理之后的數(shù)據(jù)也會保存在S3上。DataXu利用了Amazon Kinesis實現(xiàn)了數(shù)據(jù)的緩沖，將數(shù)據(jù)處理的響應(yīng)時間控制在10毫秒。

這個架構(gòu)的好處是什么？這樣的設(shè)計意味著數(shù)據(jù)只需保存一份，所有的業(yè)務(wù)處理都可以共享同一個數(shù)據(jù)源，這也是我們后面談到的最佳實踐的原則之一。而在MediaMath分享的案例里面，提到了他們名為“Firehose”的架構(gòu)。架構(gòu)的關(guān)鍵就是基于AmazonKinesis組件，功能就是通過“流”技術(shù)來簡化流數(shù)據(jù)的攝取。

AOL的案例有另外的借鑒意義。首先，采用了混合的架構(gòu)，在原有的數(shù)據(jù)中心跟新的云計算服務(wù)之間做了很好的集成，兼顧了原有的處理能力和新的云計算的服務(wù)方式；其次，使用數(shù)百個Hadoop集群，這在成本上和運維的效率上有很大的優(yōu)勢。

總結(jié)下來這些案例值得借鑒的地方有三點：

第一，對于創(chuàng)業(yè)企業(yè)來說，更少的維護(hù)成本是非常重要的；

第二，利用新的技術(shù)不斷創(chuàng)新。AWS在2016年有超過1000多項新的服務(wù)和更新，我們可以不斷利用這些新的技術(shù)保持我們創(chuàng)新的能力；

第三，在成本方面，很多人說AWS服務(wù)的價格貴?；蛟S單純比較價格，或者對比自己搭建的服務(wù)，AWS的服務(wù)價格要高一些。但是有沒有討成本優(yōu)化的空間？我相信是有的。因為看到在很多的案例都證明了這一點。

四、數(shù)字廣告業(yè)的創(chuàng)新

數(shù)字廣告業(yè)發(fā)展到今天，出現(xiàn)了一些創(chuàng)新，比如說新的廣告格式、新的投放方式、新的數(shù)字營銷中心（HUB）以及物聯(lián)網(wǎng)和地理位置驅(qū)動等等。

我們完全可以通過借鑒去找到新的創(chuàng)新點。其中的一個新的廣告技術(shù)被稱作In Image廣告。這是針對圖片進(jìn)行廣告投放的方法。這種廣告的針對性更強，而且可視率非常高。GumGum就是進(jìn)行這種嘗試的廣告企業(yè)之一。他們與2000多家媒體合作，覆蓋的圖片數(shù)量達(dá)數(shù)十億，日數(shù)據(jù)量達(dá)到6TB。Localytics是一家針對地理位置實現(xiàn)廣告投放的企業(yè)，全球范圍合作的移動應(yīng)用達(dá)到37，000多個，覆蓋的移動設(shè)備高達(dá)30億臺。他們的一個很值得稱道的地方是利用Amazon Lamhda實現(xiàn)了靈活的編排處理。

這種被叫做Serverless的技術(shù)允許我們用小塊程序塊組織我們的業(yè)務(wù)架構(gòu)。它并不像傳統(tǒng)的業(yè)務(wù)架構(gòu)，需要去開發(fā)一個耦合度很高的精密的處理系統(tǒng)。這種變化讓我們的架構(gòu)設(shè)計可以變得更簡單，開發(fā)者可以更容易的去實現(xiàn)業(yè)務(wù)功能。這是一個非常值得關(guān)注的方向。

對于數(shù)字廣告在技術(shù)領(lǐng)域的熱點目前有三個：第一是大數(shù)據(jù)，數(shù)據(jù)量非常大，動輒TB級別。所以需要用新的技術(shù)去解決這樣一個海量數(shù)據(jù)。其中一個考慮就是用數(shù)據(jù)流去替代批處理。對于數(shù)據(jù)本身我們還希望借助新的算法去實現(xiàn)增值、個性化、推薦等。另外一點就是低延遲的需求。程序化的購買方式、程序化的廣告，需要在100到150毫秒內(nèi)完成，這是一個迫切的需求。再有一個是廣告內(nèi)容的發(fā)布，利用現(xiàn)有合作技術(shù)和手段去實現(xiàn)高效、安全的發(fā)布。

五、技術(shù)的思考和實踐

第一是混合架構(gòu)的模式。對于許多業(yè)內(nèi)的企業(yè)混合架構(gòu)是目前可以嘗試的一個辦法。就實現(xiàn)而言通過專線的方法將我們現(xiàn)有的數(shù)據(jù)中心與云計算進(jìn)行連接和集成。在兼顧原有的系統(tǒng)和處理能力的同時可以利用云計算帶給我們新資源和服務(wù)。

第二是數(shù)據(jù)的解耦。對于數(shù)據(jù)處理的流程而言無非就是采集、存儲、處理、分析這樣幾個環(huán)節(jié)。以往，我們習(xí)慣將數(shù)據(jù)的存儲和處理混在一起，但在今天看來這樣的系統(tǒng)會遇到越來越多的問題。所以比較好的方法就是將數(shù)據(jù)解耦，讓我們共享同一份數(shù)據(jù)但可以完成不同的處理任務(wù)。AWS提供的眾多服務(wù)都可以幫助我們實現(xiàn)這一點。

還有一點是“數(shù)據(jù)湖”的概念。所謂數(shù)據(jù)湖的概念是數(shù)據(jù)倉庫理論的一個延伸。強調(diào)的是在業(yè)務(wù)環(huán)境下一個全數(shù)據(jù)管理的實現(xiàn)。不同于傳統(tǒng)意義上的將數(shù)據(jù)按照不同的任務(wù)進(jìn)行切分，而是利用現(xiàn)代大數(shù)據(jù)的管理處理能力實現(xiàn)全數(shù)據(jù)的管理的能力。在AWS的框架下很多人選擇利用Amazon S3這樣一款雖然時間最久，雖然看起來最簡單，但卻是樸實無華的數(shù)據(jù)服務(wù)來實現(xiàn)這個目標(biāo)。

最后一點就是機(jī)器學(xué)習(xí)。機(jī)器學(xué)習(xí)目前已經(jīng)成為業(yè)內(nèi)的熱點技術(shù)。以DataXu公司為例，在過去幾年他們在這方面投入非常之大。對他們而言在機(jī)器學(xué)習(xí)領(lǐng)域最看重的就是處理的延時以及模型的尺寸。相信在數(shù)字廣告行業(yè)，這個技術(shù)一定會得到快速的發(fā)展。endprint