首頁技術(shù)文章正文

大數(shù)據(jù)的Hadoop是什么,Hadoop的主要發(fā)展過程

更新時間:2020-10-16 來源:黑馬程序員 瀏覽量:

  

  很多同學(xué)都不了解大數(shù)據(jù)的Hadoop是什么,Hadoop的出現(xiàn)是由于現(xiàn)代科技的飛速發(fā)展,傳統(tǒng)數(shù)據(jù)的存儲容量、讀寫速度、計算效率等越來越無法滿足用戶的需求,為了解決這些問題,Google提出了三個處理大數(shù)據(jù)的技術(shù)手段,分別是:

  l MapReduce::Google的MapReduce開源分布式并行計算框架

  l BigTable:一個大型的分布式數(shù)據(jù)庫

  l GFS:Google的分布式文件系統(tǒng)

  上述三大技術(shù)可以說是革命性的技術(shù),具體表現(xiàn)在:

  (1) 成本降低、能用PC機(jī),就不用大型機(jī)和高端存儲。

  (2) 軟件容錯硬件故障視為常態(tài),通過軟件保證可靠性。

  (3) 簡化并行分布式計算,無須控制節(jié)點同步和數(shù)據(jù)交換。

  在2003至2004年,Google陸續(xù)公布了部分GFS和MapReduce思想的細(xì)節(jié),Nutch的創(chuàng)始人Doug Cutting受到啟發(fā),用了若干年時間實現(xiàn)了DFS和MapReduce機(jī)制,使Nutch性能飆升。

  2005年,Hadoop作為Lucene子項目Nutch的一部分正式被引入Apache基金會,隨后又從Nutch中剝離,成為一套完整獨(dú)立的軟件,起名為Hadoop。據(jù)說,Hadoop這個名字來源于創(chuàng)始人Doug Cutting兒子的毛絨玩具大象,因此,Hadoop的Logo形象如圖1所示。

1602830519979_111.jpg

  圖1 Hadoop Logo

  目前,Hadoop已經(jīng)正式成為Apache頂級開源項目,儼然已經(jīng)成為大數(shù)據(jù)處理技術(shù)的核心地位。下面我們回顧一下近10年來Hadoop的主要發(fā)展歷程。

  · 2008年1月,Hadoop成為Apache頂級項目。

  · 2008年6月,Hadoop的第一個SQL框架——Hive成為了Hadoop的子項目。

  · 2009年7月 ,MapReduce 和 Hadoop Distributed File System (HDFS) 成為Hadoop項目的獨(dú)立子項目。

  · 2009年7月 ,Avro 和 Chukwa 成為Hadoop新的子項目。

  · 2010年5月 ,Avro脫離Hadoop項目,成為Apache頂級項目。

  · 2010年5月 ,HBase脫離Hadoop項目,成為Apache頂級項目。

  · 2010年9月,Hive脫離Hadoop,成為Apache頂級項目。

  · 2010年9月,Pig脫離Hadoop,成為Apache頂級項目。

  · 2010年-2011年,擴(kuò)大的Hadoop社區(qū)忙于建立大量的新組件(Crunch,Sqoop,F(xiàn)lume,Oozie等)來擴(kuò)展Hadoop的使用場景和可用性。

  · 2011年1月,ZooKeeper 脫離Hadoop,成為Apache頂級項目。

  · 2011年12月,Hadoop1.0.0版本發(fā)布,標(biāo)志著Hadoop已經(jīng)初具生產(chǎn)規(guī)模。

  · 2012年5月,Hadoop 2.0.0-alpha版本發(fā)布,這是Hadoop-2.x系列中第一個(alpha)版本。與之前的Hadoop-1.x系列相比,Hadoop-2.x版本中加入了YARN,YARN成為了Hadoop的子項目。

  · 2012年10月,Impala加入Hadoop生態(tài)圈。

  · 2013年10月,Hadoop2.0.0版本發(fā)布,標(biāo)志著Hadoop正式進(jìn)入MapReduce v2.0時代。

  · 2014年2月,Spark開始代替MapReduce成為Hadoop的默認(rèn)執(zhí)行引擎,并成為Apache頂級項目。

  · 2017年12月,繼Hadoop3.0.0的四個Alpha版本和一個Beta版本后,第一個可用的Hadoop 3.0.0版本發(fā)布。


猜你喜歡:

虛擬機(jī)安裝教程:同一臺電腦上構(gòu)建多個Linux虛擬機(jī)環(huán)境

Kafka是什么?kafka有什么優(yōu)點?

什么是數(shù)據(jù)挖掘?數(shù)據(jù)挖掘前景怎么樣?

分享到:
在線咨詢 我要報名
和我們在線交談!