
大數據時(shí)代

最早提出“大數據”時(shí)代到來(lái)的是全球知名咨詢(xún)公司麥肯錫,麥肯錫稱(chēng):“數據,已經(jīng)滲透到當今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域,成為重要的生產(chǎn)因素。人們對于海量數據的挖掘和運用,預示著(zhù)新一波生產(chǎn)率增長(cháng)和消費者盈余浪潮的到來(lái)。” “大數據”在物理學(xué)、生物學(xué)、環(huán)境生態(tài)學(xué)等領(lǐng)域以及軍事、金融、通訊等行業(yè)存在已有時(shí)日,卻因為近年來(lái)互聯(lián)網(wǎng)和信息行業(yè)的發(fā)展而引起人們關(guān)注。
現在的社會(huì )是一個(gè)高速發(fā)展的社會(huì ),科技發(fā)達,信息流通,人們之間的交流越來(lái)越密切,生活也越來(lái)越方便,大數據就是這個(gè)高科技時(shí)代的產(chǎn)物。
隨著(zhù)云時(shí)代的來(lái)臨,大數據(Big data)也吸引了越來(lái)越多的關(guān)注。大數據(Big data)通常用來(lái)形容一個(gè)公司創(chuàng )造的大量非結構化和半結構化數據,這些數據在下載到關(guān)系型數據庫用于分析時(shí)會(huì )花費過(guò)多時(shí)間和金錢(qián)。大數據分析常和云計算聯(lián)系到一起,因為實(shí)時(shí)的大型數據集分析需要像MapReduce一樣的框架來(lái)向數十、數百或甚至數千的電腦分配工作。[2]
在現今的社會(huì ),大數據的應用越來(lái)越彰顯他的優(yōu)勢,它占領(lǐng)的領(lǐng)域也越來(lái)越大,電子商務(wù)、O2O、物流配送等,各種利用大數據進(jìn)行發(fā)展的領(lǐng)域正在協(xié)助企業(yè)不斷地發(fā)展新業(yè)務(wù),創(chuàng )新運營(yíng)模式。有了大數據這個(gè)概念,對于消費者行為的判斷,產(chǎn)品銷(xiāo)售量的預測,精確的營(yíng)銷(xiāo)范圍以及存貨的補給已經(jīng)得到全面的改善與優(yōu)化。
“大數據”在互聯(lián)網(wǎng)行業(yè)指的是這樣一種現象:互聯(lián)網(wǎng)公司在日常運營(yíng)中生成、累積的用戶(hù)網(wǎng)絡(luò )行為數據。這些數據的規模是如此龐大,以至于不能用G或T來(lái)衡量。
大數據到底有多大?一組名為“互聯(lián)網(wǎng)上一天”的數據告訴我們,一天之中,互聯(lián)網(wǎng)產(chǎn)生的全部?jì)热菘梢钥虧M(mǎn)1.68億張DVD;發(fā)出的郵件有2940億封之多(相當于美國兩年的紙質(zhì)信件數量);發(fā)出的社區帖子達200萬(wàn)個(gè)(相當于《時(shí)代》雜志770年的文字量);賣(mài)出的手機為37.8萬(wàn)臺,高于全球每天出生的嬰兒數量37.1萬(wàn)……
截止到2012年,數據量已經(jīng)從TB(1024GB=1TB)級別躍升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)級別。國際數據公司(IDC)的研究結果表明,2008年全球產(chǎn)生的數據量為0.49ZB,2009年的數據量為0.8ZB,2010年增長(cháng)為1.2ZB,2011年的數量更是高達1.82ZB,相當于全球每人產(chǎn)生200GB以上的數據。而到2012年為止,人類(lèi)生產(chǎn)的所有印刷材料的數據量是200PB,全人類(lèi)歷史上說(shuō)過(guò)的所有話(huà)的數據量大約是5EB。IBM的研究稱(chēng),整個(gè)人類(lèi)文明所獲得的全部數據中,有90%是過(guò)去兩年內產(chǎn)生的。而到了2020年,全世界所產(chǎn)生的數據規模將達到今天的44倍。 每一天,全世界會(huì )上傳超過(guò)5億張圖片,每分鐘就有20小時(shí)時(shí)長(cháng)的視頻被分享。然而,即使是人們每天創(chuàng )造的全部信息——包括語(yǔ)音通話(huà)、電子郵件和信息在內的各種通信,以及上傳的全部圖片、視頻與音樂(lè ),其信息量也無(wú)法匹及每一天所創(chuàng )造出的關(guān)于人們自身的數字信息量。
這樣的趨勢會(huì )持續下去。我們現在還處于所謂“物聯(lián)網(wǎng)”的最初級階段,而隨著(zhù)技術(shù)成熟,我們的設備、交通工具和迅速發(fā)展的“可穿戴”科技將能互相連接與溝通。科技的進(jìn)步已經(jīng)使創(chuàng )造、捕捉和管理信息的成本降至2005年的六分之一,而從2005年起,用在硬件、軟件、人才及服務(wù)之上的商業(yè)投資也增長(cháng)了整整50%,達到了4000億美元。
大數據的精髓
大數據帶給我們的三個(gè)顛覆性觀(guān)念轉變:是全部數據,而不是隨機采樣;是大體方向,而不是精確制導;是相關(guān)關(guān)系,而不是因果關(guān)系。
A.不是隨機樣本,而是全體數據:在大數據時(shí)代,我們可以分析更多的數據,有時(shí)候甚至可以處理和某個(gè)特別現象相關(guān)的所有數據,而不再依賴(lài)于隨機采樣(隨機采樣,以前我們通常把這看成是理所應當的限制,但高性能的數字技術(shù)讓我們意識到,這其實(shí)是一種人為限制);
B.不是精確性,而是混雜性:研究數據如此之多,以至于我們不再熱衷于追求精確度;之前需要分析的數據很少,所以我們必須盡可能精確地量化我們的記錄,隨著(zhù)規模的擴大,對精確度的癡迷將減弱;擁有了大數據,我們不再需要對一個(gè)現象刨根問(wèn)底,只要掌握了大體的發(fā)展方向即可,適當忽略微觀(guān)層面上的精確度,會(huì )讓我們在宏觀(guān)層面擁有更好的洞察力;
C.不是因果關(guān)系,而是相關(guān)關(guān)系:我們不再熱衷于找因果關(guān)系,尋找因果關(guān)系是人類(lèi)長(cháng)久以來(lái)的習慣,在大數據時(shí)代,我們無(wú)須再緊盯事物之間的因果關(guān)系,而應該尋找事物之間的相關(guān)關(guān)系;相關(guān)關(guān)系也許不能準確地告訴我們某件事情為何會(huì )發(fā)生,但是它會(huì )提醒我們這件事情正在發(fā)生。
數據價(jià)值
大數據時(shí)代,什么最貴?
十年前,葛大爺曾說(shuō)過(guò),“21世紀什么最貴?”——“人才”,深以為然。只是,十年后的今天,大數據時(shí)代也帶來(lái)了身價(jià)不斷翻番的各種數據。由于急速拓展的網(wǎng)絡(luò )帶寬以及各種穿戴設備所帶來(lái)的大量數據,數據的增長(cháng)從未停歇,甚至呈井噴式增長(cháng)。
一分鐘內,微博推特上新發(fā)的數據量超過(guò)10萬(wàn);社交網(wǎng)絡(luò )“臉譜”的瀏覽量超過(guò)600萬(wàn)……
這些龐大數字,意味著(zhù)什么?
它意味著(zhù),一種全新的致富手段也許就擺在面前,它的價(jià)值堪比石油和黃金。
事實(shí)上,當你仍然在把微博等社交平臺當作抒情或者發(fā)議論的工具時(shí),華爾街的斂財高手們卻正在挖掘這些互聯(lián)網(wǎng)的“數據財富”,先人一步用其預判市場(chǎng)走勢,而且取得了不俗的收益。
現在的社會(huì )是一個(gè)高速發(fā)展的社會(huì ),科技發(fā)達,信息流通,人們之間的交流越來(lái)越密切,生活也越來(lái)越方便,大數據就是這個(gè)高科技時(shí)代的產(chǎn)物。
隨著(zhù)云時(shí)代的來(lái)臨,大數據(Big data)也吸引了越來(lái)越多的關(guān)注。大數據(Big data)通常用來(lái)形容一個(gè)公司創(chuàng )造的大量非結構化和半結構化數據,這些數據在下載到關(guān)系型數據庫用于分析時(shí)會(huì )花費過(guò)多時(shí)間和金錢(qián)。大數據分析常和云計算聯(lián)系到一起,因為實(shí)時(shí)的大型數據集分析需要像MapReduce一樣的框架來(lái)向數十、數百或甚至數千的電腦分配工作。[2]
在現今的社會(huì ),大數據的應用越來(lái)越彰顯他的優(yōu)勢,它占領(lǐng)的領(lǐng)域也越來(lái)越大,電子商務(wù)、O2O、物流配送等,各種利用大數據進(jìn)行發(fā)展的領(lǐng)域正在協(xié)助企業(yè)不斷地發(fā)展新業(yè)務(wù),創(chuàng )新運營(yíng)模式。有了大數據這個(gè)概念,對于消費者行為的判斷,產(chǎn)品銷(xiāo)售量的預測,精確的營(yíng)銷(xiāo)范圍以及存貨的補給已經(jīng)得到全面的改善與優(yōu)化。
“大數據”在互聯(lián)網(wǎng)行業(yè)指的是這樣一種現象:互聯(lián)網(wǎng)公司在日常運營(yíng)中生成、累積的用戶(hù)網(wǎng)絡(luò )行為數據。這些數據的規模是如此龐大,以至于不能用G或T來(lái)衡量。
大數據到底有多大?一組名為“互聯(lián)網(wǎng)上一天”的數據告訴我們,一天之中,互聯(lián)網(wǎng)產(chǎn)生的全部?jì)热菘梢钥虧M(mǎn)1.68億張DVD;發(fā)出的郵件有2940億封之多(相當于美國兩年的紙質(zhì)信件數量);發(fā)出的社區帖子達200萬(wàn)個(gè)(相當于《時(shí)代》雜志770年的文字量);賣(mài)出的手機為37.8萬(wàn)臺,高于全球每天出生的嬰兒數量37.1萬(wàn)……
截止到2012年,數據量已經(jīng)從TB(1024GB=1TB)級別躍升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)級別。國際數據公司(IDC)的研究結果表明,2008年全球產(chǎn)生的數據量為0.49ZB,2009年的數據量為0.8ZB,2010年增長(cháng)為1.2ZB,2011年的數量更是高達1.82ZB,相當于全球每人產(chǎn)生200GB以上的數據。而到2012年為止,人類(lèi)生產(chǎn)的所有印刷材料的數據量是200PB,全人類(lèi)歷史上說(shuō)過(guò)的所有話(huà)的數據量大約是5EB。IBM的研究稱(chēng),整個(gè)人類(lèi)文明所獲得的全部數據中,有90%是過(guò)去兩年內產(chǎn)生的。而到了2020年,全世界所產(chǎn)生的數據規模將達到今天的44倍。 每一天,全世界會(huì )上傳超過(guò)5億張圖片,每分鐘就有20小時(shí)時(shí)長(cháng)的視頻被分享。然而,即使是人們每天創(chuàng )造的全部信息——包括語(yǔ)音通話(huà)、電子郵件和信息在內的各種通信,以及上傳的全部圖片、視頻與音樂(lè ),其信息量也無(wú)法匹及每一天所創(chuàng )造出的關(guān)于人們自身的數字信息量。
這樣的趨勢會(huì )持續下去。我們現在還處于所謂“物聯(lián)網(wǎng)”的最初級階段,而隨著(zhù)技術(shù)成熟,我們的設備、交通工具和迅速發(fā)展的“可穿戴”科技將能互相連接與溝通。科技的進(jìn)步已經(jīng)使創(chuàng )造、捕捉和管理信息的成本降至2005年的六分之一,而從2005年起,用在硬件、軟件、人才及服務(wù)之上的商業(yè)投資也增長(cháng)了整整50%,達到了4000億美元。
大數據的精髓
大數據帶給我們的三個(gè)顛覆性觀(guān)念轉變:是全部數據,而不是隨機采樣;是大體方向,而不是精確制導;是相關(guān)關(guān)系,而不是因果關(guān)系。
A.不是隨機樣本,而是全體數據:在大數據時(shí)代,我們可以分析更多的數據,有時(shí)候甚至可以處理和某個(gè)特別現象相關(guān)的所有數據,而不再依賴(lài)于隨機采樣(隨機采樣,以前我們通常把這看成是理所應當的限制,但高性能的數字技術(shù)讓我們意識到,這其實(shí)是一種人為限制);
B.不是精確性,而是混雜性:研究數據如此之多,以至于我們不再熱衷于追求精確度;之前需要分析的數據很少,所以我們必須盡可能精確地量化我們的記錄,隨著(zhù)規模的擴大,對精確度的癡迷將減弱;擁有了大數據,我們不再需要對一個(gè)現象刨根問(wèn)底,只要掌握了大體的發(fā)展方向即可,適當忽略微觀(guān)層面上的精確度,會(huì )讓我們在宏觀(guān)層面擁有更好的洞察力;
C.不是因果關(guān)系,而是相關(guān)關(guān)系:我們不再熱衷于找因果關(guān)系,尋找因果關(guān)系是人類(lèi)長(cháng)久以來(lái)的習慣,在大數據時(shí)代,我們無(wú)須再緊盯事物之間的因果關(guān)系,而應該尋找事物之間的相關(guān)關(guān)系;相關(guān)關(guān)系也許不能準確地告訴我們某件事情為何會(huì )發(fā)生,但是它會(huì )提醒我們這件事情正在發(fā)生。
數據價(jià)值
大數據時(shí)代,什么最貴?
十年前,葛大爺曾說(shuō)過(guò),“21世紀什么最貴?”——“人才”,深以為然。只是,十年后的今天,大數據時(shí)代也帶來(lái)了身價(jià)不斷翻番的各種數據。由于急速拓展的網(wǎng)絡(luò )帶寬以及各種穿戴設備所帶來(lái)的大量數據,數據的增長(cháng)從未停歇,甚至呈井噴式增長(cháng)。
一分鐘內,微博推特上新發(fā)的數據量超過(guò)10萬(wàn);社交網(wǎng)絡(luò )“臉譜”的瀏覽量超過(guò)600萬(wàn)……
這些龐大數字,意味著(zhù)什么?
它意味著(zhù),一種全新的致富手段也許就擺在面前,它的價(jià)值堪比石油和黃金。
事實(shí)上,當你仍然在把微博等社交平臺當作抒情或者發(fā)議論的工具時(shí),華爾街的斂財高手們卻正在挖掘這些互聯(lián)網(wǎng)的“數據財富”,先人一步用其預判市場(chǎng)走勢,而且取得了不俗的收益。
上一篇:大數據分析
下一篇:大數據培訓
大數據時(shí)代相關(guān)問(wèn)題
- 做推廣,為什么選「首擎」?
- 解決詢(xún)盤(pán)來(lái)源問(wèn)題
- 解決外貿溝通問(wèn)題
- 解決外貿信任問(wèn)題
- 首擎帶給你:今天的多語(yǔ)種詢(xún)盤(pán),明天的優(yōu)質(zhì)客戶(hù)訂單,未來(lái)的國際化市場(chǎng)!