小白都能看懂的乾貨！大數據這朵「後浪」，能捲起多大的風浪？

數字化轉型，新基建等一些列風向標把數據推到了一個史無前例的高度，而做爲最近很是火且常常被人評論的東西，大數據還能火多久？php

根據我我的的行業經驗來看。如今不少人，對大數據的理解都有些偏了。目前，對大數據的主流見解就是"深度學習","人工智能"等很火，很高大上的東西，都須要大量的數據。java

其實，大數據的背後，是人類處理信息（也就是數據，你們不要認爲大數據，這個概念中的"數據"，是12345等阿拉伯數字組成的東西，凡是能存電腦裏的東西，都是數據）的IT系統的一次革命性升級。python

此次技術的升級，是繼數據庫系統後，人類處理數據手段和技能的提高。mysql

下面，我以一個例子，來講明咱們信息處理手段的提高。程序員

張三是個創業者，每晚到夜市擺攤。因爲攤子很小，天天回家後，找一隻筆，一個香菸盒子紙，就能把帳算了、把貨盤了，這時，憑藉着一隻鉛筆，一張破紙，就能把該處理的數據信息處理了。sql

後來，攤子稍微大了一點，張三到門口小超市花幾塊錢買了個計算器，天天在計算器"爲零"的幫助下，再加上一隻筆、一張紙把信息處理了。數據庫

再後來，張三開了個小超市，他處理信息的能力也加強了，用上了Excel、word等軟件來處理信息。編程

後來，張三開開了個大超市，其信息處理工具也鳥槍換炮了，用上了進銷存管理系統、財務管理系統、人事管理系統等。框架

這些系統，在數據存儲方面，用數據庫，如mysql。在業務處理方面，招幾個程序員，用php、python或java，寫具體的業務處理邏輯（也就是當年張三在紙上寫寫畫畫的處理過程）。機器學習

這一階段的IT處理段位，是目前大多數中小企業所在的段位。能夠看出，這個段位的IT系統和處理能力有如下不足:

一、只能處理結構化數據，對大量非結構化數據（文字、語音、視頻等），處理能力嚴重不足。

二、能處理的數據量仍是過小，好比，用張破紙，你處理10條數據沒問題，給你個計算器，你處理100條數據沒壓力。用Excel，你處理10萬條無壓力。給你個mysql，你在千萬條數據的級別範圍內增刪改查無壓力。

可是，當你要面對的數據是100億條級別時，你的數據庫、存儲、業務處理代碼等，就有可能分分鐘鬧毛病給你看。 注意:利用各類中間件構建分佈式關係型數據庫集羣，是能應付的。此處，各位看官領會我說的什麼意思就好，先不要糾結具體技術解決方案。

三、處理的手段單一，只能跑程序員編好的程序，比較死板。只能按着代碼邏輯跑，一點都不"智能"。

四、從技術上講，靈活性仍是不足。你的進銷存、財務、人事等系統。程序員編完，能用了，也就完了。沒有重要問題和需求變動，也不會去頻繁升級、重構和迭代更新。

五、從具體的實際流程上看，流程太長、太慢。好比說，您是集團公司的老總，有一天突發奇想，想到了一個項目，想"看看相關數據"。

北京分公司的數據，很快上來了，上海分公司的數據，祕書打了好幾遍電話，纔要來。山東分公司的說，咱們這邊忙着陪客戶吃飯喝酒了，具體數據沒收集呢。浙江分公司的，數據報上來了，可他們打電話說，數據報錯了、漏報了，您稍等，咱們組織人力物力，從新幫你覈查。

此時，時間上，少說也一個月過去了，還不必定保證數據都正確。數據收集上來，您也不用"分析"了。市場風雲變幻，黃花菜都涼了。

鑑於此，大數據處理系統來了。有了hadoop、spark、storm、hbase、 Elasticsearch、zookeeper等等大數據工具搭建起來的數據處理集羣，張三終於炮換導彈了。

一、有了hdfs，張三能夠把之前以爲沒太大價值的數據保存起來。將來的事，誰知道呢，數據老是要的，說不定之後用的到呢。若是阿里巴巴沒有保存、整理用戶的交易數據等，花唄、借唄等業務，開展起來，簡直就是作夢。

二、有了spark等編程框架，你的業務處理流程，也更加靈活和牛逼了。你能夠用python、java,scala等編寫一些腳本似的數據分析程序，盡情地挖掘出有價值的東西。這一個個的job，寫完後，扔給調度系統，定時，天天晚上讓集羣幫你跑出來就行了。挺靈活的。

三、調用一些開發庫，你能夠玩一些機器學習等高大上的東西。出去吹牛逼也有料了。

四、創建統一的數據處理中心，再加上互聯網的力量，終於能夠在可接受的時間範圍內得到你想要的數據了，並且數據還更詳細，方方面面的數據都有，最後還附有機器人"小優"的"智能"建議和舒適提示。

五、藉助好比storm等實時處理框架，不少結果能夠秒級回饋。性能遇到瓶頸了，大不了加機器。反正一切都是分佈式的。.......

我想大多數人，特別是中小企業，也不會關心。那是BAT等大公司的事，咱們公司小、數據少，業務也簡單。"分析"，也是電腦不如人腦。所以，大多人，也是以爲，大數據或許是將來，可是，對我來講，彷佛也沒多大用處。

若是，此人當時心情很差，還多半認爲"大數據"，純粹是瞎忽悠。 回到本次話題，針對"大數據能火多久"，這個問題，這就要看大數據的本質了。在我看來，咱們業內目前討論"大數據"，應該更傾向於看它背後的技術對當前企業IT系統的革新。

就如同目前大多數企業以關係型數據庫爲中心的IT系統同樣，如今，咱們處理信息的手段中，又添加了新的成員。如今，若是你向老大建議，咱們不要以關係型數據庫爲核心的各種"進銷存"、財務等系統了，全體回退到以Excel、word來處理信息，我相信，他會分分鐘扇死你。

我相信，20年後，你向老闆建議，咱們放棄各種以大數據處理集羣爲核心的精準營銷系統、智能客服系統、用戶智能分析系統等等，你們集體回退到以純關係型數據庫爲核心的時代;我相信，他也必定會分分鐘扇死你。

當前，咱們對大數據的理解，愈來愈清晰和接地氣。阿里巴巴已經把他們的大數據系統，更名爲了"maxComputer"。從名字不難看出，大數據就是大電腦，這意味着更大的信息處理能力、更高的靈活性。

大數據能火多久，如同穿越到上世紀80年代，去問我的電腦能火多久同樣。如今，咱們都不會認爲"我的電腦"很"火"。由於，它已經成爲了人類工具箱裏一件強大的工具，提升了人類的生產力。我相信，"大數據"，也會成爲咱們的工具箱裏的這麼同樣工具的。

不少人討論起大數據，仍是照搬教科書裏的內容。其實，對真正大數據圈而言，大數據已經落地了。

大數據從幾年前很火，到如今，從PPT上下凡到數據中心，也就沒多大的討論必要了。

歡迎關注個人公衆號「商業智能研究」，私信回覆「資料包」，便可領取大數據、數據中臺、商業智能、數據倉庫等6G精華資料！