大數據產業發展歷程

Ⅰ 大數據未來的發展前景怎麼樣

觀察大數據行業的發展歷程，可以看到大數據行業的興起速度，他迅速滲透進各行各業版，改變著我們的權生活，如今各行各業在日常運營過程中都會產生並積累海量數據，數據維度豐富多樣：無論哪個行業，每時每刻，每分每秒都在產生數據。大數據已經成為企業和社會關注的重要戰略資源，並已成為大家爭相搶奪的新焦點，就業率也隨之提高。

Ⅱ 大數據時代的產生背景

一、大數據時代城市管理的機遇：
首先,有利於數字化城市建設。城市化過程中出現的管理問題，傳統的城市管理方式早已對我國出現的城市問題束手無策,在大數據時代到來的背景下,數字化城市建設就呼之欲出。
其次,有利於電子政務建設。長期以來,我國政府在處理公共事務時都基本採用了傳統的處理方式,紙質化的模式占據了主要地位。隨著信息技術的不斷更新以及大數據時代的到來,電子政務也隨之應運而生。由於大數據時代的特點以及不斷更新發展,電子政務的形式也不斷得到更新。
最後,有利於智慧城市建設。智慧城市建設則是在大數據技術上產生的城市建設和管理方案。可見,大數據時代的到來更加有利於我國的智慧城市建設,為智慧城市的最終建成提供真實可靠的信息基礎。會在一定程度上難以實現真正共享。另外,因為信息化很不平衡,各地各部門使用的信息技術標准很難統一,最後導致數據孤島的現象也並非個例。
二、大數據時代城市管理的挑戰 ：
大數據時代,機遇存在的同時也不可避免會遇到許多挑戰,數據開放不足、數據共享不足、數據質量不優等等都面臨著嚴峻的挑戰。
首先，數據開放不足。數據是信息的重要載體,信息的公開在一定意義上就是數據的公開。在所有的數據公開中,政府相關數據公開尤為引人矚目。國外早就對數據公開確立了「公開為原則,不公開為例外」的原則,我國也有類似規定,但是真實執行情況令人堪憂。
其次，數據共享不足。就目前來看,誰掌握了大量真實可靠的信息,誰就掌握了主動權,信息在一定程度上就是權威的象徵,權力和利益的象徵。再者,政府各部門大部分存在利己傾向, 信息就會在一定程度上難以實現真正共享。另外,因為信息化很不平衡,各地各部門使用的信息技術標准很難統一,最後導致數據孤島的現象也並非個例。
然後，數據質量不優。數據質量問題直接影響依靠數據獲得的信息的真實有效性,最終影響整體決策的有效性。數據質量主要包括數據的真實性、完整性和有效性。數據在收集、整合、存儲和使用四個階段當中,每個階段都極有可能出現數據質量問題。在我國城市管理中,各級各部門每天都會面對大量繁瑣的數據,數據收集渠道主要有下級單位上報數據、調查統計、普查等等,每一個渠道也同樣會有很多因素影響數據質量。

Ⅲ 大數據時代發展歷程是什麼

大數據技術發展史：大數據的前世今生

今天我們常說的大數據技術，其實起源於Google在2004年前後發表的三篇論文，也就是我們經常聽到的「三駕馬車」，分別是分布式文件系統GFS、大數據分布式計算框架MapRece和NoSQL資料庫系統BigTable。

你知道，搜索引擎主要就做兩件事情，一個是網頁抓取，一個是索引構建，而在這個過程中，有大量的數據需要存儲和計算。這「三駕馬車」其實就是用來解決這個問題的，你從介紹中也能看出來，一個文件系統、一個計算框架、一個資料庫系統。

現在你聽到分布式、大數據之類的詞，肯定一點兒也不陌生。但你要知道，在2004年那會兒，整個互聯網還處於懵懂時代，Google發布的論文實在是讓業界為之一振，大家恍然大悟，原來還可以這么玩。

因為那個時間段，大多數公司的關注點其實還是聚焦在單機上，在思考如何提升單機的性能，尋找更貴更好的伺服器。而Google的思路是部署一個大規模的伺服器集群，通過分布式的方式將海量數據存儲在這個集群上，然後利用集群上的所有機器進行數據計算。 這樣，Google其實不需要買很多很貴的伺服器，它只要把這些普通的機器組織到一起，就非常厲害了。

當時的天才程序員，也是Lucene開源項目的創始人Doug Cutting正在開發開源搜索引擎Nutch，閱讀了Google的論文後，他非常興奮，緊接著就根據論文原理初步實現了類似GFS和MapRece的功能。

兩年後的2006年，Doug Cutting將這些大數據相關的功能從Nutch中分離了出來，然後啟動了一個獨立的項目專門開發維護大數據技術，這就是後來赫赫有名的Hadoop，主要包括Hadoop分布式文件系統HDFS和大數據計算引擎MapRece。

當我們回顧軟體開發的歷史，包括我們自己開發的軟體，你會發現，有的軟體在開發出來以後無人問津或者寥寥數人使用，這樣的軟體其實在所有開發出來的軟體中佔大多數。而有的軟體則可能會開創一個行業，每年創造數百億美元的價值，創造百萬計的就業崗位，這些軟體曾經是Windows、Linux、Java，而現在這個名單要加上Hadoop的名字。

如果有時間，你可以簡單瀏覽下Hadoop的代碼，這個純用Java編寫的軟體其實並沒有什麼高深的技術難點，使用的也都是一些最基礎的編程技巧，也沒有什麼出奇之處，但是它卻給社會帶來巨大的影響，甚至帶動一場深刻的科技革命，推動了人工智慧的發展與進步。

我覺得，我們在做軟體開發的時候，也可以多思考一下，我們所開發軟體的價值點在哪裡？真正需要使用軟體實現價值的地方在哪裡？你應該關注業務、理解業務，有價值導向，用自己的技術為公司創造真正的價值，進而實現自己的人生價值。而不是整天埋頭在需求說明文檔里，做一個沒有思考的代碼機器人。

Hadoop發布之後，Yahoo很快就用了起來。大概又過了一年到了2007年，網路和阿里巴巴也開始使用Hadoop進行大數據存儲與計算。

2008年，Hadoop正式成為Apache的頂級項目，後來Doug Cutting本人也成為了Apache基金會的主席。自此，Hadoop作為軟體開發領域的一顆明星冉冉升起。

同年，專門運營Hadoop的商業公司Cloudera成立，Hadoop得到進一步的商業支持。

這個時候，Yahoo的一些人覺得用MapRece進行大數據編程太麻煩了，於是便開發了Pig。Pig是一種腳本語言，使用類SQL的語法，開發者可以用Pig腳本描述要對大數據集上進行的操作，Pig經過編譯後會生成MapRece程序，然後在Hadoop上運行。

編寫Pig腳本雖然比直接MapRece編程容易，但是依然需要學習新的腳本語法。於是Facebook又發布了Hive。Hive支持使用SQL語法來進行大數據計算，比如說你可以寫個Select語句進行數據查詢，然後Hive會把SQL語句轉化成MapRece的計算程序。

這樣，熟悉資料庫的數據分析師和工程師便可以無門檻地使用大數據進行數據分析和處理了。Hive出現後極大程度地降低了Hadoop的使用難度，迅速得到開發者和企業的追捧。據說，2011年的時候，Facebook大數據平台上運行的作業90%都來源於Hive。

隨後，眾多Hadoop周邊產品開始出現，大數據生態體系逐漸形成，其中包括：專門將關系資料庫中的數據導入導出到Hadoop平台的Sqoop；針對大規模日誌進行分布式收集、聚合和傳輸的Flume；MapRece工作流調度引擎Oozie等。

在Hadoop早期，MapRece既是一個執行引擎，又是一個資源調度框架，伺服器集群的資源調度管理由MapRece自己完成。但是這樣不利於資源復用，也使得MapRece非常臃腫。於是一個新項目啟動了，將MapRece執行引擎和資源調度分離開來，這就是Yarn。2012年，Yarn成為一個獨立的項目開始運營，隨後被各類大數據產品支持，成為大數據平台上最主流的資源調度系統。

同樣是在2012年，UC伯克利AMP實驗室（Algorithms、Machine和People的縮寫）開發的Spark開始嶄露頭角。當時AMP實驗室的馬鐵博士發現使用MapRece進行機器學習計算的時候性能非常差，因為機器學習演算法通常需要進行很多次的迭代計算，而MapRece每執行一次Map和Rece計算都需要重新啟動一次作業，帶來大量的無謂消耗。還有一點就是MapRece主要使用磁碟作為存儲介質，而2012年的時候，內存已經突破容量和成本限制，成為數據運行過程中主要的存儲介質。Spark一經推出，立即受到業界的追捧，並逐步替代MapRece在企業應用中的地位。

一般說來，像MapRece、Spark這類計算框架處理的業務場景都被稱作批處理計算，因為它們通常針對以「天」為單位產生的數據進行一次計算，然後得到需要的結果，這中間計算需要花費的時間大概是幾十分鍾甚至更長的時間。因為計算的數據是非在線得到的實時數據，而是歷史數據，所以這類計算也被稱為大數據離線計算。

而在大數據領域，還有另外一類應用場景，它們需要對實時產生的大量數據進行即時計算，比如對於遍布城市的監控攝像頭進行人臉識別和嫌犯追蹤。這類計算稱為大數據流計算，相應地，有Storm、Flink、Spark Streaming等流計算框架來滿足此類大數據應用的場景。 流式計算要處理的數據是實時在線產生的數據，所以這類計算也被稱為大數據實時計算。

在典型的大數據的業務場景下，數據業務最通用的做法是，採用批處理的技術處理歷史全量數據，採用流式計算處理實時新增數據。而像Flink這樣的計算引擎，可以同時支持流式計算和批處理計算。

除了大數據批處理和流處理，NoSQL系統處理的主要也是大規模海量數據的存儲與訪問，所以也被歸為大數據技術。 NoSQL曾經在2011年左右非常火爆，涌現出HBase、Cassandra等許多優秀的產品，其中HBase是從Hadoop中分離出來的、基於HDFS的NoSQL系統。

我們回顧軟體發展的歷史會發現，差不多類似功能的軟體，它們出現的時間都非常接近，比如Linux和Windows都是在90年代初出現，Java開發中的各類MVC框架也基本都是同期出現，Android和iOS也是前腳後腳問世。2011年前後，各種NoSQL資料庫也是層出不群，我也是在那個時候參與開發了阿里巴巴自己的NoSQL系統。

事物發展有自己的潮流和規律，當你身處潮流之中的時候，要緊緊抓住潮流的機會，想辦法脫穎而出，即使沒有成功，也會更加洞悉時代的脈搏，收獲珍貴的知識和經驗。而如果潮流已經退去，這個時候再去往這個方向上努力，只會收獲迷茫與壓抑，對時代、對自己都沒有什麼幫助。

但是時代的浪潮猶如海灘上的浪花，總是一浪接著一浪，只要你站在海邊，身處這個行業之中，下一個浪潮很快又會到來。你需要敏感而又深刻地去觀察，略去那些浮躁的泡沫，抓住真正潮流的機會，奮力一搏，不管成敗，都不會遺憾。

正所謂在歷史前進的邏輯中前進，在時代發展的潮流中發展。通俗的說，就是要在風口中飛翔。

上面我講的這些基本上都可以歸類為大數據引擎或者大數據框架。而大數據處理的主要應用場景包括數據分析、數據挖掘與機器學習。數據分析主要使用Hive、Spark SQL等SQL引擎完成；數據挖掘與機器學習則有專門的機器學習框架TensorFlow、Mahout以及MLlib等，內置了主要的機器學習和數據挖掘演算法。

此外，大數據要存入分布式文件系統（HDFS），要有序調度MapRece和Spark作業執行，並能把執行結果寫入到各個應用系統的資料庫中，還需要有一個大數據平台整合所有這些大數據組件和企業應用系統。

圖中的所有這些框架、平台以及相關的演算法共同構成了大數據的技術體系，我將會在專欄後面逐個分析，幫你能夠對大數據技術原理和應用演算法構建起完整的知識體系，進可以專職從事大數據開發，退可以在自己的應用開發中更好地和大數據集成，掌控自己的項目。

希望對您有所幫助！~

Ⅳ 大數據現在發展怎麼樣啊

大數據這個概念目前已經不火了
但是他是人工智慧方向的基礎，因為目前人工智慧最專有前景的方向是機器學習屬，機器學習需要數據才能把模型調到可用的程度
因此，大數據會成為人工智慧的基礎設施建設，目前看相對其他IT崗位還是技術含量更高，薪資更高，當然門檻也更高

Ⅳ 大數據行業的前景怎麼樣

大數據是現在互聯網經濟下很有前景的行業，我們出門離不開手機，只要你在手機專，電屬子產品中的一絲絲操作，都會被抓取下來。分析你的行為，讓數據體現價值，大數據在其中體現了至關重要的作用。
你是不是想學大數據啊，如果想學習，黑馬程序員現在基礎班是免費學的，去看看吧！我的回答對你有幫助的話，請採納

Ⅵ 大數據發展前景怎麼樣 這個行業有前途嗎

如果你是合格的大數據開發技術人員，那當然有高薪的工作，並不是說你學完了之版後就權一定有高薪工作的，那需要看你學習怎麼樣。
目前大數據培訓相對其他培訓項目要好就業，
因為其他語言還是技能培訓都是有一定的市場基礎的，
而大數據在最近兩年才大力發展，並且在各領域蔓延，
因此所產生的人才缺口巨大，而在企業中真正對大數據技能比較強力的技術人才，又特別的少；
應用越來越廣，技術人才卻產生較慢，剛培訓的人員，只能適應基本的軟體操作和理論基礎；
還達不到企業要完成復雜業務的技術需求；
所以培訓入門快，拿薪資快，但只是一時，進入企業，不努力學習是跟不上發展與用人需求的。

Ⅶ 現在大數據分析的發展前景怎麼樣

觀察大數據行業的發展歷程，可以看到大數據行業的興起速度，他迅速滲透進各行各業，改變回著我們的生答活，如今各行各業在日常運營過程中都會產生並積累海量數據，數據維度豐富多樣：無論哪個行業，每時每刻，每分每秒都在產生數據。大數據已經成為企業和社會關注的重要戰略資源，並已成為大家爭相搶奪的新焦點，就業率也隨之提高。

Ⅷ 簡述互聯網的發展史

1、互聯網始於1969年的美國，又稱網際網路。是美軍在ARPA（阿帕網，美國國防部研究計劃署）制定的協定下將美國西南部的大學UCLA（加利福尼亞大學洛杉磯分校）、Stanford ResearchInstitute（斯坦福大學研究學院）、UCSB（加利福尼亞大學）和UniversityofUtah（猶他州大學）的四台主要的計算機連接起來。這個協定由劍橋大學的BBN和MA執行，在1969年12月開始聯機。

2、1978，UUCP(UNIX和UNIX拷貝協議)在貝爾實驗室被提出來。1979年，在UUCP的基礎上新聞組網路系統發展起來。新聞組（集中某一主題的討論組）緊跟著發展起來，它為在全世界范圍內交換信息提供了一個新的方法。然而，新聞組並不認為是互聯網的一部分，因為它並不共享TCP/IP協議，它連接著遍布世界的UNIX系統，並且很多互聯網站點都充分地利用新聞組。新聞組是網路世界發展中的非常重大的一部分。

3、1989年，在普及互聯網應用的歷史上又一個重大的事件發生了。TimBerners和其他在歐洲粒子物理實驗室的人----這些人在歐洲粒子物理研究所非常出名，提出了一個分類互聯網信息的協議。這個協議，1991年後稱為WorldWideWeb，基於超文本協議――在一個文字中嵌入另一段文字的-連接的系統，當你閱讀這些頁面的時候，你可以隨時用他們選擇一段文字鏈接。盡管它出現在gopher之前，但發展十分緩慢。

4、1991年，第一個連接互聯網的友好介面在Minnesota大學開發出來。

5、現在——至今

微軟全面進入瀏覽器、伺服器和互聯網服務提供商（ISP）市場的轉變已經完成，實現了基於互聯網的商業公司。1998年6月微軟的瀏覽器和Win98很好的集成桌面電腦顯示出Bill Gates(比爾.蓋茨)在迅速成長的互聯網上投資的決心。