依托云計(jì)算,挖據(jù)大數(shù)據(jù)背后的價(jià)值

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

　　云計(jì)算是信息技術(shù)發(fā)展和信息社會(huì)需求到達(dá)一定階段的必然結(jié)果。云計(jì)算技術(shù)的創(chuàng)新帶動(dòng)了新的商業(yè)模式的成功，對(duì)現(xiàn)有電子信息產(chǎn)業(yè)及應(yīng)用模式產(chǎn)生了巨大的震動(dòng)，有著深遠(yuǎn)的影響.iDC預(yù)測(cè)，未來(lái)3年全球云計(jì)算領(lǐng)域?qū)⒂?000億美元的新業(yè)務(wù)收入。整個(gè)“十二五”期間，我國(guó)云計(jì)算領(lǐng)域的產(chǎn)業(yè)規(guī)模預(yù)計(jì)可達(dá)7500~10000億元人民幣。目前，全球各大IT廠商正競(jìng)相進(jìn)入云計(jì)算領(lǐng)域，以占據(jù)新一代信息技術(shù)的制高點(diǎn)。

　　云計(jì)算需避免兩大誤區(qū)

　　在政府和業(yè)界的雙重推動(dòng)下，云計(jì)算已經(jīng)變得炙手可熱，成為新興產(chǎn)業(yè)中最熱門(mén)的領(lǐng)域。這說(shuō)明云計(jì)算已經(jīng)從“不知所云”到深入人心，同時(shí)也存在隱憂和困擾。其中的問(wèn)題主要體現(xiàn)在兩個(gè)方面：

　　一方面是對(duì)于“云泡沫”的擔(dān)憂。據(jù)有關(guān)調(diào)查，很多地方投巨資建成了所謂的“云”系統(tǒng)，但資源利用率卻不足20%，云計(jì)算中心成了形象工程，甚至成了變相的商業(yè)地產(chǎn)項(xiàng)目。云計(jì)算本身是一種綠色計(jì)算，不是比規(guī)模、比設(shè)備、比廠房，發(fā)展云計(jì)算不能變成簡(jiǎn)單的圈錢(qián)圈地，而要盡可能避免重復(fù)建設(shè)和資源浪費(fèi)，將云計(jì)算產(chǎn)業(yè)落到實(shí)處，讓消費(fèi)者受益于云計(jì)算。因此，云計(jì)算的創(chuàng)新應(yīng)用，是云計(jì)算產(chǎn)業(yè)健康發(fā)展的試金石。

　　另一方面是云計(jì)算被作為萬(wàn)能包裝過(guò)度渲染，仿佛什么都可以云化，在互聯(lián)網(wǎng)上什么都是云計(jì)算，以至于消費(fèi)者和投資者常常困擾于對(duì)真“云”和假“云”的辨別。云計(jì)算的本質(zhì)特征是什么？首先，云計(jì)算是一種基于互聯(lián)網(wǎng)、大眾參與的計(jì)算模式，云計(jì)算的基本應(yīng)用場(chǎng)景應(yīng)該直接面向互聯(lián)網(wǎng)，所需要的資源不在客戶端而是來(lái)自網(wǎng)絡(luò)，即通過(guò)網(wǎng)絡(luò)提供企業(yè)和個(gè)人所需要的計(jì)算力、存儲(chǔ)空間、軟件功能和信息服務(wù)等;其次，云計(jì)算的服務(wù)一定具有較高的可伸縮能力，云計(jì)算的服務(wù)資源能夠隨著應(yīng)用需求自動(dòng)地動(dòng)態(tài)調(diào)整，既能夠在幾分鐘甚至數(shù)秒之內(nèi)，自動(dòng)地增加服務(wù)資源的數(shù)量、提升服務(wù)能力來(lái)應(yīng)對(duì)網(wǎng)絡(luò)的尖峰流量，又能隨著應(yīng)用的減少，動(dòng)態(tài)減少服務(wù)資源。

　　云計(jì)算支撐大數(shù)據(jù)發(fā)展

　　大數(shù)據(jù)(Big Data)這個(gè)概念近年來(lái)在越來(lái)越多的場(chǎng)合被越來(lái)越多的人提及，并且經(jīng)常是和云計(jì)算聯(lián)系在一起。大數(shù)據(jù)無(wú)疑將給人類(lèi)社會(huì)帶來(lái)巨大的價(jià)值，科研機(jī)構(gòu)可以通過(guò)大數(shù)據(jù)業(yè)務(wù)協(xié)助進(jìn)行研究探索，如環(huán)境、資源、能源、氣象、航天、生命等領(lǐng)域的探索。那么云計(jì)算和大數(shù)據(jù)之間到底是什么關(guān)系呢？概括而言，沒(méi)有互聯(lián)網(wǎng)就沒(méi)有云計(jì)算模式，沒(méi)有云計(jì)算模式就沒(méi)有大數(shù)據(jù)處理技術(shù)。

　　然而，云計(jì)算環(huán)境同樣對(duì)大數(shù)據(jù)處理技術(shù)提出了新的挑戰(zhàn)，這主要反映在傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)不能滿足大數(shù)據(jù)處理的要求，比如海量用戶的高并發(fā)讀寫(xiě)、海量數(shù)據(jù)的高效存儲(chǔ)和訪問(wèn)、系統(tǒng)的高可用性和高擴(kuò)展性等。為此，業(yè)界一些廠商先后研發(fā)了一批包含分布式數(shù)據(jù)緩存、分布式文件系統(tǒng)、非關(guān)系型數(shù)據(jù)庫(kù)和新關(guān)系型數(shù)據(jù)庫(kù)等新技術(shù)來(lái)解決上述問(wèn)題。

　　同樣，由于海量數(shù)據(jù)的大數(shù)據(jù)量和分布性的特點(diǎn)，使得傳統(tǒng)的數(shù)據(jù)處理技術(shù)不適合于處理海量數(shù)據(jù)。這對(duì)海量數(shù)據(jù)的分布式并行處理技術(shù)提出了新的挑戰(zhàn)，開(kāi)始出現(xiàn)以MapReduce為代表的一系列新處理技術(shù)，像數(shù)據(jù)并行處理技術(shù)、增量處理技術(shù)、流式計(jì)算技術(shù)等。

　　云計(jì)算時(shí)代會(huì)有更多的數(shù)據(jù)存儲(chǔ)于計(jì)算中心。數(shù)據(jù)是資產(chǎn)，云是數(shù)據(jù)資產(chǎn)保管的場(chǎng)所和訪問(wèn)的渠道。大數(shù)據(jù)的處理和分析必須依靠云計(jì)算提供計(jì)算環(huán)境和能力，挖掘出適合于特定場(chǎng)景和主題的有效數(shù)據(jù)集。比如，《紐約時(shí)報(bào)》用云計(jì)算轉(zhuǎn)換了1851年到1922年超過(guò)40萬(wàn)張掃描的圖片，通過(guò)把任務(wù)分配給幾百臺(tái)電腦，這項(xiàng)工作在36個(gè)小時(shí)內(nèi)就完成了;信用卡公司Visa計(jì)算兩年的紀(jì)錄，包括730億筆交易、高達(dá)36TB的數(shù)據(jù)，處理時(shí)間用傳統(tǒng)方法需要1個(gè)月，而采用基于Hadoop的處理技術(shù)只要13分鐘。

　　挖掘數(shù)據(jù)背后的價(jià)值

　　在互聯(lián)網(wǎng)時(shí)代，特別是進(jìn)入移動(dòng)互聯(lián)網(wǎng)時(shí)代后，人們只有通過(guò)數(shù)據(jù)挖掘才能從海量的低價(jià)值密度的數(shù)據(jù)中發(fā)現(xiàn)其潛在價(jià)值。移動(dòng)互聯(lián)網(wǎng)時(shí)代的大數(shù)據(jù)挖掘，主要是網(wǎng)絡(luò)環(huán)境下的非結(jié)構(gòu)化數(shù)據(jù)挖掘，這些數(shù)據(jù)形態(tài)反映是鮮活的、碎片化的、異構(gòu)的原生態(tài)數(shù)據(jù)。這種非結(jié)構(gòu)化數(shù)據(jù)有什么特點(diǎn)呢？它常常是低價(jià)值、異構(gòu)、冗余的數(shù)據(jù)，甚至有部分?jǐn)?shù)據(jù)放在存儲(chǔ)器里沒(méi)再用過(guò)。與此同時(shí)，數(shù)據(jù)挖掘關(guān)注的對(duì)象也發(fā)生了很大改變，挖掘關(guān)注的首先是小眾，只有先滿足小眾挖掘的需求，才談得上滿足由更多小眾組成的大眾的需求，因此移動(dòng)互聯(lián)網(wǎng)時(shí)代數(shù)據(jù)挖掘的一個(gè)重要思想，就是“由下而上”勝過(guò)“由上而下”的頂層設(shè)計(jì)，強(qiáng)調(diào)挖掘數(shù)據(jù)的真實(shí)性、及時(shí)性，要發(fā)現(xiàn)關(guān)聯(lián)、發(fā)現(xiàn)異常、發(fā)現(xiàn)趨勢(shì)，并最終發(fā)現(xiàn)價(jià)值。

　　事實(shí)上，互聯(lián)網(wǎng)上交互的大眾，不僅在享受服務(wù)，也在提供信息。公眾的在線行為已經(jīng)不能僅僅用瀏覽、搜索或挖掘來(lái)表征，正在演化為迅速地創(chuàng)造內(nèi)容，涌現(xiàn)出群體智能。小眾的局部積聚特性又可以形成較大范圍的“大眾”特性，小眾成為大眾的基礎(chǔ)。對(duì)公眾、大眾和小眾的認(rèn)識(shí)為我們認(rèn)知人類(lèi)在不同尺度上的所謂微觀、中觀或者宏觀的群體行為，為認(rèn)知群體中的競(jìng)爭(zhēng)與協(xié)作提供了機(jī)會(huì)。因此人們?cè)谶M(jìn)行數(shù)據(jù)挖掘的過(guò)程中要注重網(wǎng)絡(luò)化大數(shù)據(jù)挖掘的方法，也即社區(qū)與社區(qū)發(fā)現(xiàn)。例如，無(wú)線T恤公司(Threadless)是一個(gè)在線T恤零售商兼創(chuàng)作聚落，該網(wǎng)站透過(guò)用戶設(shè)計(jì)及用戶投票選出得票最高的T恤，讓使用者能夠分享自行設(shè)計(jì)的T恤圖案的同時(shí)，也讓獲勝者得到一定的酬金.threadless已經(jīng)成為商業(yè)和社區(qū)模式雙贏的典范，每周都能收到800多個(gè)新的設(shè)計(jì)方案，每天有超過(guò)1000名新注冊(cè)用戶來(lái)進(jìn)行設(shè)計(jì)和藝術(shù)方面的討論，并根據(jù)設(shè)計(jì)方案所激發(fā)的靈感提交配套的音樂(lè)和視頻。

　　今天，互聯(lián)網(wǎng)帶寬正以每6個(gè)月翻一番的速度在發(fā)展，它比每9個(gè)月翻一番的存儲(chǔ)發(fā)展速度和每18個(gè)月翻一番的計(jì)算發(fā)展速度都要快，帶寬的迅猛發(fā)展讓人類(lèi)進(jìn)入了交互時(shí)代，而交互又帶動(dòng)著計(jì)算和存儲(chǔ)加速前進(jìn)。

　　大數(shù)據(jù)標(biāo)志一個(gè)新時(shí)代的到來(lái)，這個(gè)時(shí)代的特征不只是追求豐富的物質(zhì)資源，也不只是無(wú)所不在的互聯(lián)網(wǎng)帶來(lái)方便的多樣化的信息服務(wù)，同時(shí)還包含區(qū)別于物質(zhì)的數(shù)據(jù)資源的價(jià)值挖掘，以及價(jià)值轉(zhuǎn)換等等。而大數(shù)據(jù)也將在云計(jì)算技術(shù)等的支撐下發(fā)掘出更多的價(jià)值

來(lái)源比特網(wǎng)

泛普軟件分享（www.isoffice.cn）