一、從App年度總結(jié)想開去……

這幾年每到年末，手機上一堆App就會為你推送各種年度總結(jié)回顧，IT之家小編也和大家一樣，什么網(wǎng)易云音樂的年度總結(jié)啊、支付寶年度賬單等等，看得不亦樂乎。

人嘛，對自我總是有著本能的關(guān)注，但尼采又說，“離每個人最遠(yuǎn)的，就是他自己”，說明自我認(rèn)知是一件困難的事情。

不過在互聯(lián)網(wǎng)科技發(fā)達(dá)的今天，我們有了認(rèn)識自己的新途徑：數(shù)據(jù)，大數(shù)據(jù)。實際上互聯(lián)網(wǎng)廠商們爭相做的年度總結(jié)，就是大數(shù)據(jù)幫你認(rèn)識自己的例子之一。

然而樂此不疲地刷著各種年度總結(jié)H5的時候，IT之家小編又產(chǎn)生了一些新的思考：這些總結(jié)真的準(zhǔn)確嗎？未必，甚至有時候偏差很大。

例如網(wǎng)易云音樂的總結(jié)中，小編在2018年的某天將某首歌連續(xù)聽了50多次，從這條記錄應(yīng)該能得出一個直接的結(jié)論：IT之家小編很喜歡這首歌，但其實小編那天單曲循環(huán)這首歌時，人在忙別的，根本沒在聽歌；例如還是網(wǎng)易云音樂總結(jié)，IT之家小編2018年最喜歡的十首歌有七首都是小編不怎么聽的，因為小編更喜歡將喜愛的歌下載到本地，也經(jīng)常會用手機自帶播放器聽；再如支付寶年度賬單，2018年的總結(jié)IT之家小編覺得是比較符合自己的估判的，但記得自己2017年看到賬單時是有些懵的，全年總消費那一欄里，自己當(dāng)年壓根沒那么多收入啊，記得當(dāng)時網(wǎng)上也有很多網(wǎng)友如此反映。

當(dāng)然，IT之家小編說這些并不是否定年度總結(jié)存在的意義，只是由此產(chǎn)生了一些思考：大數(shù)據(jù)的時代，真的能夠通過數(shù)據(jù)準(zhǔn)確定義個人或者群體嗎？人是很復(fù)雜的動物，記得在哪里看過一句話：“事情可以計算準(zhǔn)確，但人是很難計算的”，而大數(shù)據(jù)應(yīng)用，最核心的還是統(tǒng)計人的行為，這似乎成為悖論。

如今大數(shù)據(jù)的重要性被推到很高的高度，已然成為未來大趨勢，商業(yè)、醫(yī)療、教育等各行各業(yè)在進(jìn)行越來越深刻的數(shù)據(jù)化改造，將來我們各種決策都需要大數(shù)據(jù)的指引。但人，如何不被大數(shù)據(jù)支配，這是又是一個新的問題。

二、大數(shù)據(jù)究竟是什么？

我們首先要清楚認(rèn)識大數(shù)據(jù)，理解它的意義。

百度百科上的解釋是：

大數(shù)據(jù)指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。

這段解釋涵蓋了大數(shù)據(jù)的三個特點：海量、高速變化、多樣化，從中可以衍生出另外兩個特點：因為海量，所以是低價值密度的；因為海量、高速變化且多樣化，所以也是具有真實性的。總結(jié)起來就是五個特點：海量、高速變化、多樣化、低價值密度、真實。當(dāng)然，這不是IT之家小編總結(jié)的，是行業(yè)的普遍共識~

▲圖片來源Wikimedia Commons

但怎么理解這五個特點呢？其實IT之家小編只需說一個例子就可以講通這五個特點，即對比傳統(tǒng)的統(tǒng)計調(diào)查數(shù)據(jù)。在傳統(tǒng)統(tǒng)計學(xué)中，因為過去我們收集數(shù)據(jù)處理數(shù)據(jù)的能力有限，不可能把所有數(shù)據(jù)都收集到，所以很強調(diào)數(shù)據(jù)樣本，樣本量的大小、豐富度，以及是否隨機，都影響統(tǒng)計分析的結(jié)果。通過數(shù)據(jù)樣本，分析數(shù)據(jù)相關(guān)性的規(guī)律，總結(jié)出一定的理論、模型，這是我們以前做的事情。

而大數(shù)據(jù)，則是反其道行之，它要的不是樣本，而是追求所有的數(shù)據(jù)，所有的數(shù)據(jù)相信大家都懂的，這是多么龐大，而且是源源不斷產(chǎn)生的，每個人做不同的行為，都會產(chǎn)生不同的數(shù)據(jù)，所以也是多樣的，因為沒有樣本，它的價值稀疏，畢竟不是每個人做得每件事產(chǎn)生的每個數(shù)據(jù)都是有價值的，但是它很真實，而樣本和現(xiàn)實之間，永遠(yuǎn)存在誤差。

大數(shù)據(jù)的思路之所以能夠?qū)崿F(xiàn)，是因為在互聯(lián)網(wǎng)科技強大的今天，我們有能力去收集如此海量的數(shù)據(jù)，也有能力去處理、分析它們。通過一個大數(shù)據(jù)的邏輯圖，大家可以更好地理解它：

總體來說，大數(shù)據(jù)的體系邏輯包含數(shù)據(jù)收集、數(shù)據(jù)存儲、資源管理和服務(wù)協(xié)調(diào)、計算引擎和數(shù)據(jù)分析這五個層次。

數(shù)據(jù)收集，主要通過互聯(lián)網(wǎng)數(shù)據(jù)抓取和客戶端、終端推送，例如你在電商網(wǎng)站購買東西，使用手環(huán)運動的數(shù)據(jù)也會上送到數(shù)據(jù)中心，它的特點是分布式，多樣化，源源不斷地產(chǎn)生，并且是異構(gòu)的，即有很多數(shù)據(jù)源；

因為收集的數(shù)據(jù)有這些特性，所以對于數(shù)據(jù)存儲，要求具有可擴展性，容錯能力高，并且支持多種存儲模型，這甚至體現(xiàn)在數(shù)據(jù)庫設(shè)計這種最要求精確的領(lǐng)域，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫（如MySQL）和文件系統(tǒng)就比較難適應(yīng)大數(shù)據(jù)時代的要求；

資源管理和服務(wù)協(xié)調(diào)，這里涉及到應(yīng)用的部署，大數(shù)據(jù)時代，需要將應(yīng)用部署在公共集群中，這樣才能提高資源利用率和實現(xiàn)數(shù)據(jù)的快速共享，否則那么多數(shù)據(jù)對應(yīng)獨立的服務(wù)器，要被拖死；

計算引擎和數(shù)據(jù)分析同理，數(shù)據(jù)量的極大豐富讓應(yīng)用場景也越來越繁雜，計算引擎越來越多樣且專注，數(shù)據(jù)的分析同樣也需要分布式計算方法。

總的來說，大數(shù)據(jù)從技術(shù)上來說就是因為數(shù)據(jù)量實在是太大了，無論是數(shù)據(jù)的收集、存儲還是處理都需要很多機器一起做，這個過程，不得不提的就是云計算。

所謂云計算，IT之家小編總結(jié)就是將龐大集群的虛擬化電腦進(jìn)行統(tǒng)一調(diào)度的能力，它天然滿足大數(shù)據(jù)的需求，所以云計算是釋放浩瀚大數(shù)據(jù)價值的驅(qū)動力，兩者如同共生，為了不跑題，這里就不進(jìn)一步講了。

三、只求相關(guān)，不問因果

大數(shù)據(jù)能成為未來的趨勢，有兩個條件，一是具備顛覆性，二是正面意義大于負(fù)面意義。那么大數(shù)據(jù)顛覆了什么？

英國牛津大學(xué)教授、數(shù)據(jù)科學(xué)家維克托·邁爾·舍恩伯格在他的《大數(shù)據(jù)時代》這本書中，將大數(shù)據(jù)的顛覆性凝練為三條：

• 首先，要分析與某事物相關(guān)的所有數(shù)據(jù)，而不是依靠分析少量的數(shù)據(jù)樣本。

• 其次，我們樂于接受數(shù)據(jù)的紛繁復(fù)雜，而不再追求精確性。

• 最后，我們的思想發(fā)生了轉(zhuǎn)變，不再探求難以捉摸的因果關(guān)系，轉(zhuǎn)而關(guān)注事物的相關(guān)關(guān)系。

從上面IT之家小編的介紹相信你能總結(jié)出，大數(shù)據(jù)帶來的各種改變，歸根結(jié)底在于其數(shù)量實在龐大多樣，它要的不是樣本，而是所有數(shù)據(jù)，這就造成它必然混雜，難以追求精確性，在大數(shù)據(jù)里，混亂不是缺點，而是一種必要，這已經(jīng)是顛覆人的正常思維了；

再往下，以往我們需要樣本，總是需要在樣本數(shù)據(jù)中找到一些既定的因果關(guān)系，然后提煉成理論，從樣本到整體，然后總結(jié)成方法，這是我們做事的基本邏輯，而在大數(shù)據(jù)時代，你不需要這樣了，因為我們有足夠多的數(shù)據(jù)，我們要做的事情是找到目標(biāo)數(shù)據(jù)之間的相關(guān)關(guān)系，然后發(fā)現(xiàn)趨勢，大數(shù)據(jù)會告訴我們接下來該干什么，而我們，不需要問為什么，負(fù)責(zé)決策就行了，不要小看這個轉(zhuǎn)變，它說明我們認(rèn)識世界方式的改變。

2003年，美國計算機專家奧倫·艾奇奧尼(Oren Etzioni)乘坐飛機，和乘客的交談中發(fā)現(xiàn)自己的機票買貴了，內(nèi)心一萬頭草泥馬奔騰而過后，他萌生了一個想法：能不能有一個工具能夠預(yù)測機票的波動趨勢，幫大家省錢？說干就干，然后他就真的創(chuàng)立了一個系統(tǒng)：通過從旅游網(wǎng)站爬取41天內(nèi)的12000個價格樣本，來判斷機票的未來走勢，這個小項目后來發(fā)展成為科技創(chuàng)業(yè)公司Farecast并被必應(yīng)收購。在后來的系統(tǒng)中，F(xiàn)arecast基于美國一個行業(yè)的機票預(yù)訂數(shù)據(jù)庫，跟蹤每一條航線每一架飛機每一個作為一年內(nèi)的票價記錄，從而判斷機票價格變動的趨勢，然后這個系統(tǒng)大獲成功，還被用到其他領(lǐng)域。

▲奧倫·艾奇奧尼，圖片來源：Wikimedia Commons

這是大數(shù)據(jù)應(yīng)用的一個經(jīng)典案例，在這個案例中，奧倫·艾奇奧尼明確表示，他不需要弄清楚機票價格波動和時間或者其他因素之間的因果關(guān)系，只是要從所有的數(shù)據(jù)中分析出規(guī)律，然后給出可能的結(jié)果。你不要問為什么，只需要知道機票接下來會漲還是會跌就行了。

還有一些例子，如沃爾瑪在上世紀(jì)九十年代就開始進(jìn)行將產(chǎn)品記錄為數(shù)據(jù)的工程，2004年，他們對這個龐大的數(shù)據(jù)庫進(jìn)行觀察，發(fā)現(xiàn)每當(dāng)季節(jié)性颶風(fēng)來臨，不僅颶風(fēng)用品銷量增加，POP-Tarts蛋撻的銷量也隨之增加，所以他們把颶風(fēng)用品和蛋撻放在一起，在這個例子中，你同樣不用知道人們買颶風(fēng)用品的同時為什么還喜歡買蛋撻而不是其他，你只需要發(fā)現(xiàn)這個現(xiàn)象，然后做決策就行，而且海量的大數(shù)據(jù)，能夠為這個趨勢的準(zhǔn)確性提供一定的保證。

還有德國通過手機家庭太陽能用電的海量數(shù)據(jù)預(yù)測未來2-3個月智能電網(wǎng)需要的電量來降低成本；丹麥的維斯塔斯風(fēng)能系統(tǒng)通過研究風(fēng)力和天氣、湍流度等數(shù)據(jù)以及全球數(shù)萬個受控渦輪機組傳感器數(shù)據(jù)，來判斷渦輪發(fā)電機設(shè)置的位置，從而提高能源產(chǎn)出的效率和數(shù)量等等。

上面這些案例中，大家都不需要考慮事物之間的因果關(guān)系，不需要研究背后的原理，不需要建立模型，只需要對海量的龐大數(shù)據(jù)做分析。IT之家小編認(rèn)為，這是大數(shù)據(jù)最大的顛覆性，如果我們的思維不轉(zhuǎn)變，最終會被大數(shù)據(jù)時代拋棄。

四、爭議

谷歌研發(fā)總監(jiān)曾Peter Norvig在2011年的一次講話中表示，“我們沒有更好的算法，我們僅僅是有更多的數(shù)據(jù)”，后來他在一次對自己言論澄清的文章中說：

如果模型無論如何都有可能出錯，為什么不看看你是否能讓計算機從數(shù)據(jù)中快速地學(xué)習(xí)模型，而不是讓一個人費力地從許多思想中推導(dǎo)模型？

這應(yīng)該是對大數(shù)據(jù)很直接的解釋了。

▲谷歌研發(fā)總監(jiān)曾Peter Norvig，圖片來源：Flickr

比這個更為激進(jìn)的是《連線》雜志主編克里斯·安德森（Chris Andersen），他在2008年就說過“數(shù)據(jù)爆炸使科學(xué)的方法都落伍了”，后來，他又在《The Petabyte Age》這篇文章中提出了“理論的終結(jié)”的觀點，說

現(xiàn)在已經(jīng)是一個有海量數(shù)據(jù)的時代，應(yīng)用數(shù)學(xué)已經(jīng)取代了其他所有的學(xué)科工具，而且只要數(shù)據(jù)足夠，就能說明問題。

▲克里斯·安德森，圖片來源Wikimedia Commons

安德森的這篇文章當(dāng)時引起了很大的爭議，數(shù)據(jù)取代理論，這聽起來的確有些荒謬。在《大數(shù)據(jù)時代》中，舍恩伯格對這個觀點進(jìn)行了辯駁，他表示大數(shù)據(jù)從來不會叫囂“理論已死”，相反，大數(shù)據(jù)的方方面面也被理論影響著。例如在數(shù)據(jù)分析的時候，我們也需要理論的支持。

五、愿問東西，且問因果

2009年，谷歌流感趨勢研究團隊（GFT）在《自然》雜志上發(fā)表論文，展示了分析數(shù)十億搜索中45個與流感相關(guān)的關(guān)鍵詞，從而能比疾病預(yù)防控制中心提前兩周預(yù)報2007-2008季流感發(fā)病率的過程。這在當(dāng)時引起了震驚，這說明人們不需要等待疾控中心的報告，就能及時知道未來醫(yī)院的就診人數(shù)，從而提前預(yù)防，顯然這將讓很多人避免痛苦，免受巨大的損失。這成為谷歌運用大數(shù)據(jù)最早和最經(jīng)典的案例之一。

然而，后來有學(xué)者發(fā)現(xiàn)，2009年，谷歌沒有準(zhǔn)確預(yù)測到非季節(jié)性流感A-H1N1，而在2011年8月到2013年8月的時間里，谷歌有100周高估了CDC報告的流感發(fā)病率，到2013年，谷歌調(diào)整算法后仍然存在高估的現(xiàn)象。

又回到文章開頭：有時候，大數(shù)據(jù)可能也不那么準(zhǔn)，甚至可能離譜。

IT之家小編認(rèn)為，存在這種情況的原因，可能恰恰就在于大數(shù)據(jù)最大的顛覆性：只追求數(shù)據(jù)的相關(guān)性，而不關(guān)心因果關(guān)系。所以，這就像硬幣的正反兩面，如果使用不當(dāng)，也可能帶來嚴(yán)重的危害。特別是在風(fēng)口期，大數(shù)據(jù)被鼓吹以至被濫用時，風(fēng)險更大。

IT之家小編在文章開頭所說的App年度總結(jié)和你實際狀況不符合的案例，其實只是大數(shù)據(jù)最細(xì)枝末節(jié)的應(yīng)用，現(xiàn)在到未來，毫無疑問大數(shù)據(jù)會被運用在更多的行業(yè)，風(fēng)口也會越刮越強，但如果你沒有理智運用大數(shù)據(jù)，只是一昧的迷信，那么后果可能也會慘烈，例如金融企業(yè)在數(shù)據(jù)量沒有達(dá)到標(biāo)準(zhǔn)的情況下就自以為通過大數(shù)據(jù)判斷個體的信譽程度而對外放貸，后果可想而知；再例如教育方面，未來你真的敢于完全聽?wèi){大數(shù)據(jù)的分析結(jié)果來決定報考哪座院校和規(guī)劃職業(yè)生涯方向，而不是遵從自己的興趣？還有利用大數(shù)據(jù)相親的，則更不消說了。

你真的敢相信大數(shù)據(jù)里描繪的你的畫像，就是真實的你？即便它與你有90%以上的相似度，你真的敢將自己的所有決策放心交給大數(shù)據(jù)？

所以，IT之家小編認(rèn)為，在大數(shù)據(jù)時代全面到來之前，我們首先需要探討的，是大數(shù)據(jù)運用的邊界在哪里？

當(dāng)然，這個邊界不是IT之家小編一人就能劃定的，但小編認(rèn)為，大數(shù)據(jù)之外，“小數(shù)據(jù)”仍然重要，“大小結(jié)合”是一種更可取的方式，我們既要判斷趨勢，也需要深究原理。

還有就是，在討論到和自我相關(guān)的問題時，永遠(yuǎn)要遵從內(nèi)心的自我，就像在大數(shù)據(jù)里，混雜比精確更重要，在現(xiàn)實里，對自己的感覺，往往比數(shù)據(jù)更重要。

總之，愿問東西，且問因果，則幸甚。

本文參考資料：

芯聯(lián)天下，2018-06-21，《終于有人把云計算、大數(shù)據(jù)和人工智能講明白了！》

CSDN，2017-30-014，《從谷歌流感趨勢談大數(shù)據(jù)分析的光榮與陷阱》

維克托·邁爾·舍恩伯格，2012，《大數(shù)據(jù)時代》

董西成，2018，《大數(shù)據(jù)技術(shù)體系詳解：原理、架構(gòu)與實踐》