一、概念
“大數(shù)據(jù)”是指以多元形式,自許多來源搜集而來的龐大數(shù)據(jù)組,往往具有實(shí)時性。在企業(yè)對企業(yè)銷售的情況下,這些數(shù)據(jù)可能得自社交網(wǎng)絡(luò)、電子商務(wù)網(wǎng)站、顧客來訪紀(jì)錄,還有許多其他來源。這些數(shù)據(jù),并非公司顧客關(guān)系管理數(shù)據(jù)庫的常態(tài)數(shù)據(jù)組。
從技術(shù)上看,大數(shù)據(jù)[1]與云計算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無法用單臺的計算機(jī)進(jìn)行處理,必須采用分布式計算架構(gòu)。它的特色在于對海量數(shù)據(jù)的挖掘,但它必須依托云計算的分布式處理、分布式數(shù)據(jù)庫、云存儲和/或虛擬化技術(shù)。(在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數(shù)據(jù)時代[4]》中大數(shù)據(jù)指不用隨機(jī)分析法(抽樣調(diào)查)這樣的捷徑,而采用所有數(shù)據(jù)的方法)大數(shù)據(jù)的4V特點(diǎn):Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值)。
早在1980年,著名未來學(xué)家阿爾文·托夫勒便在《第三次浪潮》一書中,將大數(shù)據(jù)熱情地贊頌為“第三次浪潮的華彩樂章”。不過,大約從2009年開始,“大數(shù)據(jù)”才成為互聯(lián)網(wǎng)信息技術(shù)行業(yè)的流行詞匯。美國互聯(lián)網(wǎng)數(shù)據(jù)中心指出,互聯(lián)網(wǎng)上的數(shù)據(jù)每年將增長50%,每兩年便將翻一番,而目前世界上90%以上的數(shù)據(jù)是最近幾年才產(chǎn)生的。此外,數(shù)據(jù)又并非單純指人們在互聯(lián)網(wǎng)上發(fā)布的信息,全世界的工業(yè)設(shè)備、汽車、電表上有著無數(shù)的數(shù)碼傳感器,隨時測量和傳遞著有關(guān)位置、運(yùn)動、震動、溫度、濕度乃至空氣中化學(xué)物質(zhì)的變化,也產(chǎn)生了海量的數(shù)據(jù)信息。
大數(shù)據(jù)的意義是由人類日益普及的網(wǎng)絡(luò)行為所伴生的,受到相關(guān)部門、企業(yè)采集的,蘊(yùn)含數(shù)據(jù)生產(chǎn)者真實(shí)意圖、喜好的,非傳統(tǒng)結(jié)構(gòu)和意義的數(shù)據(jù) 。2013年5月10日,阿里巴巴集團(tuán)董事局主席馬云在淘寶十周年晚會上,卸任阿里集團(tuán)CEO的職位,并在晚會上做卸任前的演講,馬云說,大家還沒搞清PC時代的時候,移動互聯(lián)網(wǎng)來了,還沒搞清移動互聯(lián)網(wǎng)的時候,大數(shù)據(jù)時代來了。
借著大數(shù)據(jù)時代的熱潮,微軟公司生產(chǎn)了一款數(shù)據(jù)驅(qū)動的軟件,主要是為工程建設(shè)節(jié)約資源提高效率。在這個過程里可以為世界節(jié)約40%的能源。拋開這個軟件的前景不看,從微軟團(tuán)隊致力于研究開始,可以看他們的目標(biāo)不僅是為了節(jié)約了能源,更加關(guān)注智能化運(yùn)營。通過跟蹤取暖器、空調(diào)、風(fēng)扇以及燈光等積累下來的超大量數(shù)據(jù),捕捉如何杜絕能源浪費(fèi)?!敖o我提供一些數(shù)據(jù),我就能做一些改變。如果給我提供所有數(shù)據(jù),我就能拯救世界?!蔽④浭访芩惯@樣說。而智能建筑正是他的團(tuán)隊專注的事情。
從海量數(shù)據(jù)中“提純”出有用的信息,這對網(wǎng)絡(luò)架構(gòu)和數(shù)據(jù)處理能力而言也是巨大的挑戰(zhàn)。在經(jīng)歷了幾年的批判、質(zhì)疑、討論、炒作之后,大數(shù)據(jù)終于迎來了屬于它的時代。2012年3月22日,奧巴馬政府宣布投資2億美元拉動大數(shù)據(jù)相關(guān)產(chǎn)業(yè)發(fā)展,將“大數(shù)據(jù)戰(zhàn)略”上升為國家戰(zhàn)略。奧巴馬政府甚至將大數(shù)據(jù)定義為“未來的新石油”。
大數(shù)據(jù)時代已經(jīng)來臨,它將在眾多領(lǐng)域掀起變革的巨浪。但我們要冷靜的看到,大數(shù)據(jù)的核心在于為客戶挖掘數(shù)據(jù)中蘊(yùn)藏的價值,而不是軟硬件的堆砌。因此,針對不同領(lǐng)域的大數(shù)據(jù)應(yīng)用模式、商業(yè)模式研究將是大數(shù)據(jù)產(chǎn)業(yè)健康發(fā)展的關(guān)鍵。我們相信,在國家的統(tǒng)籌規(guī)劃與支持下,通過各地方政府因地制宜制定大數(shù)據(jù)產(chǎn)業(yè)發(fā)展策略,通過國內(nèi)外IT龍頭企業(yè)以及眾多創(chuàng)新企業(yè)的積極參與,大數(shù)據(jù)產(chǎn)業(yè)未來發(fā)展前景十分廣闊。
大數(shù)據(jù)就是互聯(lián)網(wǎng)發(fā)展到現(xiàn)今階段的一種表象或特征而已,沒有必要神話它或?qū)λ3志次分?,在以云計算為代表的技術(shù)創(chuàng)新大幕的襯托下,這些原本很難收集和使用的數(shù)據(jù)開始容易被利用起來了,通過各行各業(yè)的不斷創(chuàng)新,大數(shù)據(jù)會逐步為人類創(chuàng)造更多的價值。
二、意義
現(xiàn)在的社會是一個高速發(fā)展的社會,科技發(fā)達(dá),信息流通,人們之間的交流越來越密切,生活也越來越方便,大數(shù)據(jù)就是這個高科技時代的產(chǎn)物。 阿里巴巴創(chuàng)辦人馬云來臺演講中就提到,未來的時代將不是IT時代,而是DT的時代,DT就是Data Technology數(shù)據(jù)科技,顯示大數(shù)據(jù)對于阿里巴巴集團(tuán)來說舉足輕重。
有人把數(shù)據(jù)比喻為蘊(yùn)藏能量的煤礦。煤炭按照性質(zhì)有焦煤、無煙煤、肥煤、貧煤等分類,而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似,大數(shù)據(jù)并不在“大”,而在于“有用”。價值含量、挖掘成本比數(shù)量更為重要。對于很多行業(yè)而言,如何利用這些大規(guī)模數(shù)據(jù)是成為贏得競爭的關(guān)鍵。
大數(shù)據(jù)的價值體現(xiàn)在以下幾個方面:
1)對大量消費(fèi)者提供產(chǎn)品或服務(wù)的企業(yè)可以利用大數(shù)據(jù)進(jìn)行精準(zhǔn)營銷;
2) 做小而美模式的中長尾企業(yè)可以利用大數(shù)據(jù)做服務(wù)轉(zhuǎn)型;
3) 面臨互聯(lián)網(wǎng)壓力之下必須轉(zhuǎn)型的傳統(tǒng)企業(yè)需要與時俱進(jìn)充分利用大數(shù)據(jù)的價值;
不過,“大數(shù)據(jù)”在經(jīng)濟(jì)發(fā)展中的巨大意義并不代表其能取代一切對于社會問題的理性思考,科學(xué)發(fā)展的邏輯不能被湮沒在海量數(shù)據(jù)中。著名經(jīng)濟(jì)學(xué)家路德維?!ゑT·米塞斯曾提醒過:“就今日言,有很多人忙碌于資料之無益累積,以致對問題之說明與解決,喪失了其對特殊的經(jīng)濟(jì)意義的了解。”這確實(shí)是需要警惕的。
在這個快速發(fā)展的智能硬件時代,困擾應(yīng)用開發(fā)者的一個重要問題就是如何在功率、覆蓋范圍、傳輸速率和成本之間找到那個微妙的平衡點(diǎn)。企業(yè)組織利用相關(guān)數(shù)據(jù)和分析可以幫助它們降低成本、提高效率、開發(fā)新產(chǎn)品、做出更明智的業(yè)務(wù)決策等等。例如,通過結(jié)合大數(shù)據(jù)和高性能的分析,下面這些對企業(yè)有益的情況都可能會發(fā)生:
1)及時解析故障、問題和缺陷的根源,每年可能為企業(yè)節(jié)省數(shù)十億美元。
2)為成千上萬的快遞車輛規(guī)劃實(shí)時交通路線,躲避擁堵。
3)分析所有SKU,以利潤最大化為目標(biāo)來定價和清理庫存。
4)根據(jù)客戶的購買習(xí)慣,為其推送他可能感興趣的優(yōu)惠信息。
5)從大量客戶中快速識別出金牌客戶。
6)使用點(diǎn)擊流分析和數(shù)據(jù)挖掘來規(guī)避欺詐行為。