互聯(lián)網(wǎng)時代,,PC、Pad,、智能手機(jī)等設(shè)備無處不在,,數(shù)以億計的用戶通過微博、微信,、SNS,、博客等途徑產(chǎn)生大量的自媒體數(shù)據(jù),電商,、新聞類網(wǎng)站,、搜索引擎每時每刻都在記錄著豐富的用戶行為信息,海量的數(shù)據(jù)促進(jìn)了云計算,,分布式技術(shù)的發(fā)展,,而這些技術(shù)反過來不僅推動了Web和移動互聯(lián)網(wǎng)的革新,也推動了物聯(lián)網(wǎng)的飛速前進(jìn)?,F(xiàn)在,,我們正逐漸邁入物聯(lián)網(wǎng)時代,實(shí)現(xiàn)萬物互聯(lián)的愿景,,如果說之前人是信息生產(chǎn)的主體,,那么或許不久的將來設(shè)備將成為主角,它們將源源不斷地產(chǎn)生與人相關(guān)的衣食住行信息,,這些信息會通過云計算,、數(shù)據(jù)挖掘等技術(shù)實(shí)現(xiàn)價值的升華從而為用戶提供更優(yōu)質(zhì),、貼心的服務(wù)。那么物聯(lián)網(wǎng)時代會產(chǎn)生什么樣的數(shù)據(jù),,應(yīng)該采用什么樣的大數(shù)據(jù)策略呢,?
THINKstrategies 的總經(jīng)理 Jeff Kaplan 在自己的博文《 當(dāng)物聯(lián)網(wǎng)遇見大數(shù)據(jù) 》中寫道:
“你不能使用現(xiàn)在的策略,因?yàn)榭梢员徊东@,、管理并利用的數(shù)據(jù)將更加多樣化,,同時用例也會更加豐富。附加到各種設(shè)備和對象上的傳感器會產(chǎn)生各種類型的數(shù)據(jù),。這些數(shù)據(jù)將會用于各種響應(yīng)式的,、主動的或者 創(chuàng)造性的目的 。IT部門的任務(wù)就是與業(yè)務(wù)部門一起工作,,完全理解物聯(lián)網(wǎng)方面的用例,,然后尋找滿足業(yè)務(wù)需求的技術(shù)。特別是,,IT部門必須識別出最優(yōu)的分析平臺和工具,讓業(yè)務(wù)用戶能夠獲取到需要的數(shù)據(jù),,分析數(shù)據(jù)的含義并快速地做出響應(yīng),。”
Gartner公司的副總裁,、著名分析師 Joe Skorupa 認(rèn)為:
“分布在世界各地的物聯(lián)網(wǎng)設(shè)備將產(chǎn)生大量的輸入數(shù)據(jù),,將所有的數(shù)據(jù)傳送到一個位置進(jìn)行處理無論從技術(shù)上還是從經(jīng)濟(jì)上都是無法實(shí)現(xiàn)的。最近的趨勢——將應(yīng)用程序集中起來以便于降低成本并增強(qiáng)安全性——并不適合物聯(lián)網(wǎng),。組織必須將數(shù)據(jù)集中到多個分布式的小型數(shù)據(jù)中心中,,在此對數(shù)據(jù)進(jìn)行初步的處理并發(fā)送到一個中心站點(diǎn)進(jìn)行額外的處理。數(shù)據(jù)中心管理員需要在這些區(qū)域部署更加具有前瞻性的容量以滿足業(yè)務(wù)發(fā)展的需要,?!?/p>
Patrick McFadin則在自己的博文《 物聯(lián)網(wǎng):數(shù)據(jù)都去了哪里? 》中闡述了一個具體的數(shù)據(jù)策略解決方案,。他認(rèn)為整個過程可以分為三個階段:產(chǎn)生數(shù)據(jù)并通過Internet傳遞,、中央系統(tǒng)收集并組織數(shù)據(jù)、持續(xù)的數(shù)據(jù)分析與使用,。
第一階段需要決定數(shù)據(jù)創(chuàng)建的標(biāo)準(zhǔn)以及如何通過網(wǎng)絡(luò)進(jìn)行傳遞,。Patrick McFadin認(rèn)為可以通過HTTP、MQTT和CoAP三種常用的標(biāo)準(zhǔn)協(xié)議傳遞數(shù)據(jù),。HTTP通用程度高,,但是它的頭中包含大量冗余信息,不太適合帶寬比較低的場景,。MQTT基于發(fā)布/訂閱模型,,新的設(shè)備或者服務(wù)能夠非常容易地連到中央系統(tǒng)上消費(fèi)消息,。另外,它在消息大小上比HTTP更輕量,,但是缺點(diǎn)是不包含加密標(biāo)準(zhǔn),。CoAP適合于低功耗、低帶寬的場景,,與MQTT的訂閱模式相比它更側(cè)重于一對一的連接,。
第二階段則需要根據(jù)設(shè)備、網(wǎng)絡(luò)以及功耗的限制決定是實(shí)時地收集數(shù)據(jù)還是在某個時間批量收集,,同時還需要決定如何存儲數(shù)據(jù),。如果是實(shí)時收集,那么必須要考慮數(shù)據(jù)庫的寫入速度,,這對于傳統(tǒng)的數(shù)據(jù)庫而言可能是一個挑戰(zhàn),,但是像 Cassandra 這樣的NoSQL數(shù)據(jù)庫卻能夠輕松應(yīng)對。
一旦完成了數(shù)據(jù)的收集與存儲,,接下來就是分析了,,這才是整個過程最核心的部分。此時需要考慮需要何時使用分析結(jié)果,,是否需要立即或近乎實(shí)時的分析,,還是僅僅需要對歷史數(shù)據(jù)進(jìn)行處理。越來越多的人在使用Apache Spark分析大數(shù)據(jù),,使用Spark Streaming滿足近乎實(shí)時的要求,,如果將這些技術(shù)與Cassandra這樣的NoSQL數(shù)據(jù)庫結(jié)合在一起使用,那么開發(fā)者就能夠處理并分析大規(guī)模,、快速移動的數(shù)據(jù)集,。
那么是不是所有的物聯(lián)網(wǎng)廠商都需要自己去構(gòu)建相關(guān)的數(shù)據(jù)解決方案呢?也不盡然,,在云計算的時代大可以利用云服務(wù)提供商的資源,,以降低相關(guān)的成本,對小公司或初創(chuàng)公司更是如此,。
Mike Kavis最近在自己的博文《 物聯(lián)網(wǎng)將徹底改變你的大數(shù)據(jù)策略 》中闡述了自己的方案,,他認(rèn)為:
“在物聯(lián)網(wǎng)時代,面對PB級的數(shù)據(jù),,企業(yè)將難以以一己之力完成基礎(chǔ)設(shè)施的建設(shè),。物聯(lián)網(wǎng)所產(chǎn)生的大量數(shù)據(jù)不僅會驅(qū)動現(xiàn)在的數(shù)據(jù)中心發(fā)生根本性的變化,同時也會驅(qū)動相關(guān)企業(yè)采用新的大數(shù)據(jù)策略,。由于缺乏相關(guān)技能以及持續(xù)增長的數(shù)據(jù)對基礎(chǔ)設(shè)施采購的需求,,企業(yè)將逐步放棄DIY模式,轉(zhuǎn)而使用PaaS和托管的解決方案,,借助于數(shù)據(jù)庫即服務(wù)(例如Amazon的Redshift,、Hortonworks和Cloudera的企業(yè)級Hadoop),、托管的大數(shù)據(jù)服務(wù)(例如Treasure Data)以及矩陣式的數(shù)據(jù)中心服務(wù)(例如GoGrid)實(shí)現(xiàn)自己的物聯(lián)網(wǎng)數(shù)據(jù)分析方案。
總之,,物聯(lián)網(wǎng)的價值在于數(shù)據(jù),。企業(yè)對數(shù)據(jù)的分析工作啟動地越快,挖掘出的業(yè)務(wù)價值就越多,。而云服務(wù)提供商的目的就是通過加大相關(guān)的投入,,消除數(shù)據(jù)收集、管理的風(fēng)險以及復(fù)雜性,,讓客戶能夠?qū)W⒂诜治?。?/p>