大數(shù)據(jù)，這樣采這樣用
發(fā)布時(shí)間：2015-04-20雖然大數(shù)據(jù)早已不是什么新鮮詞,，而且大家都能說(shuō)上兩句自己心中大數(shù)據(jù)的模樣,，可一旦細(xì)究起來(lái)，到底什么是大數(shù)據(jù),，大數(shù)據(jù)從何而來(lái),，如何應(yīng)用，相信不少人就說(shuō)不清楚了,。
由東北大學(xué),、沈陽(yáng)市政府及戰(zhàn)略投資者共同投資成立的東北大學(xué)東網(wǎng)科技有限公司，其超算中心和云計(jì)算中心擁有1170萬(wàn)億次／秒計(jì)算能力,、30PB云存儲(chǔ)空間,。目前，東網(wǎng)科技與沈陽(yáng)市環(huán)保局合作,，正在通過(guò)大數(shù)據(jù)技術(shù)開(kāi)展大氣環(huán)境監(jiān)測(cè)預(yù)報(bào),。懷揣著對(duì)大數(shù)據(jù)的好奇，記者走訪了這家公司,。
獲取10%的信息量,，預(yù)測(cè)剩余90%，這是小數(shù)據(jù),；而掌握90%的信息量,，預(yù)測(cè)余下的，則是大數(shù)據(jù)
在一片尚未平整完畢的荒野中,，矗立著一座極具現(xiàn)代科技感的建筑物：深藍(lán)色的圓形玻璃幕墻,、航空級(jí)別的安保設(shè)施。此種場(chǎng)景,，和美國(guó)科幻大片中看到的場(chǎng)景倒有幾分相似,。
經(jīng)過(guò)一系列安保檢查，記者得以進(jìn)入東網(wǎng)科技的超算中心和云計(jì)算中心,，一臺(tái)臺(tái)超過(guò)2米的黑色機(jī)柜密密麻麻地排列在機(jī)房中,。“左手邊是超級(jí)計(jì)算機(jī),，右手邊是云存儲(chǔ)器”,，東網(wǎng)科技工作人員許冕介紹說(shuō),。
這和大數(shù)據(jù)有什么關(guān)系？“超算能力和云存儲(chǔ)就相當(dāng)于大數(shù)據(jù)的大腦,，是大數(shù)據(jù)必備的硬件條件”,，東網(wǎng)科技總經(jīng)理?xiàng)顚毿l(wèi)打了個(gè)比喻。對(duì)于東網(wǎng)科技擁有的1170萬(wàn)億次／秒的超算能力,，楊寶衛(wèi)說(shuō),，這在目前國(guó)內(nèi)的超級(jí)計(jì)算機(jī)中名列前茅，而30PB則是一個(gè)存儲(chǔ)容量,，相當(dāng)于約50萬(wàn)個(gè)容量為64GB智能手機(jī)存儲(chǔ)容量總和,。
那到底什么是大數(shù)據(jù)？從網(wǎng)絡(luò)上查詢(xún),，答案五花八門(mén),。“針對(duì)某一事物,，如果了解了10%的信息量,，預(yù)測(cè)剩余的90%，這是小數(shù)據(jù),，需要抽樣然后概率分析,；而掌握80%―90％的信息量，預(yù)測(cè)余下的10%―20％,，則是大數(shù)據(jù),。也就是說(shuō)，大數(shù)據(jù)是對(duì)某一事物的樣本空間的覆蓋,，通過(guò)智能分析,，對(duì)事物進(jìn)行預(yù)測(cè)預(yù)報(bào)”，楊寶衛(wèi)試圖用最簡(jiǎn)單的話(huà)來(lái)說(shuō)明他所理解的大數(shù)據(jù),。
對(duì)于大數(shù)據(jù),，楊寶衛(wèi)趣稱(chēng)為“經(jīng)驗(yàn)主義的復(fù)活”。過(guò)去我們是通過(guò)觀察和經(jīng)驗(yàn),，經(jīng)過(guò)大腦的分析總結(jié)后,，指導(dǎo)人類(lèi)活動(dòng)，比如一些天象的觀察等,。后來(lái),，人類(lèi)發(fā)展到一定階段后，信息越來(lái)越多,，人腦計(jì)算不過(guò)來(lái),，就發(fā)明了電腦來(lái)幫助處理信息。現(xiàn)在的超算就能夠幫助處理更多的信息,，而大數(shù)據(jù)下的超算,，就是通過(guò)大量可信賴(lài)樣本提供的經(jīng)驗(yàn),，對(duì)復(fù)雜事件進(jìn)行計(jì)算和預(yù)測(cè)。
天氣預(yù)報(bào)就是個(gè)直觀的例子,。人類(lèi)能夠進(jìn)行天氣預(yù)報(bào),，是因?yàn)橐粋€(gè)事物通過(guò)足夠的數(shù)據(jù)完全可以在數(shù)字世界里進(jìn)行虛擬的演化。那么對(duì)天氣預(yù)報(bào)來(lái)說(shuō),，我們把今天的天氣數(shù)據(jù)放到電腦里,，在虛擬世界里模擬天氣的變化?；蛟S超算只需要10分鐘,，就可以預(yù)測(cè)某地3天后的天氣狀況。
大數(shù)據(jù)技術(shù)包括數(shù)據(jù)采集―傳輸―集中存儲(chǔ)―再處理―再應(yīng)用等過(guò)程,，其中采集是關(guān)鍵
大數(shù)據(jù)來(lái)自何方，通過(guò)什么途徑我們可以獲取這些數(shù)據(jù),？不少人直觀的感受是：數(shù)據(jù)主要來(lái)自于互聯(lián)網(wǎng),。
楊寶衛(wèi)認(rèn)為，獲取數(shù)據(jù)目前有三個(gè)渠道：第一,，來(lái)自于互聯(lián)網(wǎng)的數(shù)據(jù),。比如阿里巴巴的交易數(shù)據(jù)、百度的查詢(xún)數(shù)據(jù),、騰訊的交流溝通數(shù)據(jù),，“這些還都是外圍的”。
第二,，來(lái)源于政府的數(shù)據(jù),。這才是真正的核心數(shù)據(jù)。比如經(jīng)濟(jì)運(yùn)行數(shù)據(jù),、人口數(shù)據(jù),、地理數(shù)據(jù)、政府服務(wù)數(shù)據(jù),、公共服務(wù)數(shù)據(jù),。
第三，對(duì)原有世界的數(shù)據(jù)再次采集,，這源于我們更多更先進(jìn)的技術(shù)手段采集到更多的數(shù)據(jù),，這就是如日中天的物聯(lián)網(wǎng)。我們要讓每一個(gè)物體都是傳感器,，時(shí)刻在回傳數(shù)據(jù),，物聯(lián)網(wǎng)的發(fā)展會(huì)極大地豐富數(shù)據(jù)。
然而,，大數(shù)據(jù)真正的核心數(shù)據(jù)――政府所掌握的數(shù)據(jù)目前大多都處于“死機(jī)”狀態(tài),，如何激活還有待探索,。業(yè)內(nèi)許多專(zhuān)家呼吁，在保證信息安全的基礎(chǔ)上,，政府可開(kāi)放一些并不敏感的數(shù)據(jù),，實(shí)行數(shù)據(jù)的可交易、資產(chǎn)化,，據(jù)了解,，上海已經(jīng)開(kāi)始建設(shè)數(shù)據(jù)交易所。
楊寶衛(wèi)認(rèn)為,，大數(shù)據(jù)技術(shù)包括數(shù)據(jù)的采集―傳輸―集中存儲(chǔ)―再處理―再應(yīng)用等一系列過(guò)程,。其中，數(shù)據(jù)的采集是關(guān)鍵,。
“大數(shù)據(jù)并不是今天做,，明天就有，它是臺(tái)階式的發(fā)展,。我們目前就在某些領(lǐng)域里進(jìn)行數(shù)據(jù)收集和智能分析,，讓它能夠預(yù)測(cè)預(yù)報(bào)”，楊寶衛(wèi)介紹說(shuō),，比如目前中心與沈陽(yáng),、本溪合作建設(shè)智慧城市，就是把一些相關(guān)信息進(jìn)行集中,，同時(shí)中心還從事互聯(lián)網(wǎng)的一些商業(yè)應(yīng)用,。這些都是數(shù)據(jù)的采集和集中。
采集之后,，就是傳輸環(huán)節(jié),，如何能夠快速地傳輸？這涉及運(yùn)營(yíng)商,、基礎(chǔ)設(shè)施通訊等方面,。接下來(lái)是數(shù)據(jù)存儲(chǔ)環(huán)節(jié)，也就是云計(jì)算中心的價(jià)值所在,。然后是數(shù)據(jù)的處理和再處理,，這就要用到超算。最后就是數(shù)據(jù)的再應(yīng)用,，這是各個(gè)軟件公司,、信息服務(wù)公司要做的事情。
隨著在醫(yī)療,、環(huán)保,、航空等更多領(lǐng)域的廣泛應(yīng)用，大數(shù)據(jù)將實(shí)實(shí)在在地改變?nèi)藗兊娜粘Ｉ?/span>
業(yè)內(nèi)專(zhuān)家認(rèn)為,，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè),，那么這個(gè)產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵,，在于對(duì)數(shù)據(jù)的高加工能力，通過(guò)加工實(shí)現(xiàn)數(shù)據(jù)的增值,。簡(jiǎn)單地說(shuō),，就是大數(shù)據(jù)要實(shí)現(xiàn)高效應(yīng)用。
“目前,，東網(wǎng)科技已經(jīng)在大數(shù)據(jù)應(yīng)用方面做出努力和嘗試”,，據(jù)介紹，針對(duì)霧霾天氣,，東網(wǎng)科技公司自2013年10月起就與沈陽(yáng)市攜手創(chuàng)建了“環(huán)保云”,。東網(wǎng)公司與沈陽(yáng)市環(huán)保局就空間信息需求對(duì)接，為PM2.5監(jiān)測(cè)治理提供解決方案,。公司首先啟動(dòng)了沈陽(yáng)市市轄區(qū)未來(lái)三天大氣污染狀況預(yù)報(bào)項(xiàng)目,，利用自主研發(fā)的大氣成分反演模型和遙感數(shù)據(jù)處理軟件，進(jìn)行沈陽(yáng)市冬季供暖期大氣環(huán)境監(jiān)測(cè)預(yù)報(bào),，為排放管控和污染治理提供科學(xué)手段,。
“大數(shù)據(jù)技術(shù)可以促進(jìn)醫(yī)療、環(huán)保,、教育等民生問(wèn)題的解決”，楊寶衛(wèi)說(shuō),，隨著大數(shù)據(jù)技術(shù)的進(jìn)一步完善,，其應(yīng)用必將給人們的生活帶來(lái)實(shí)實(shí)在在的改變?！敖o早產(chǎn)兒戴上傳感器,，可以分分秒秒收集他（她）身上的海量個(gè)人生理信息，通過(guò)數(shù)據(jù)分析就能找到這個(gè)嬰兒在將來(lái)出現(xiàn)感染的幾率從而及早預(yù)防,；收集飛機(jī)飛行時(shí)的空氣信息,，以實(shí)現(xiàn)飛機(jī)的自動(dòng)飛行?！边@些場(chǎng)景都將逐步實(shí)現(xiàn),。城市將更聰明，生活將更智慧,。
據(jù)介紹,，基于大數(shù)據(jù)技術(shù)，還可模擬基因的演化,，藥廠也可以用計(jì)算機(jī)進(jìn)行成千上萬(wàn)的病例與藥物的作用演化,。水稻種植實(shí)驗(yàn)，一個(gè)品種在種下去一年后,，才能看得到結(jié)果,。未來(lái)只要把基因數(shù)據(jù)放入計(jì)算機(jī),，很快就能看到結(jié)果，這樣可以大大加快科研進(jìn)程,。
大數(shù)據(jù)技術(shù)的發(fā)展也引發(fā)了人們對(duì)于信息和隱私安全問(wèn)題的擔(dān)憂(yōu),。楊寶衛(wèi)對(duì)此持樂(lè)觀態(tài)度：通過(guò)發(fā)展技術(shù)、加強(qiáng)管理,、完善法律等多方面的努力,，問(wèn)題將逐步得到解決。
