首頁技術(shù)文章正文

什么是spoop?Sqoop簡介

更新時間:2020-10-16 來源:黑馬程序員 瀏覽量:

  Sqoop是Apache旗下的一款開源工具,該項目開始于2009年,最早是作為Hadoop的一個第三方模塊存在,后來為了讓使用者能夠快速部署,也為了讓開發(fā)人員能夠更快速的迭代開發(fā),并在2013年,獨立成為Apache的一個頂級開源項目。

  Sqoop主要用于在Hadoop和關(guān)系數(shù)據(jù)庫或大型機之間傳輸數(shù)據(jù),可以使用Sqoop工具將數(shù)據(jù)從關(guān)系數(shù)據(jù)庫管理系統(tǒng)導(dǎo)入(import)到Hadoop分布式文件系統(tǒng)中,或者將Hadoop中的數(shù)據(jù)轉(zhuǎn)換導(dǎo)出(export)到關(guān)系數(shù)據(jù)庫管理系統(tǒng),其功能如圖1所示。

1602841345985_1.jpg

  圖1 Sqoop功能

  目前Sqoop主要分為Sqoop1和Sqoop2兩個版本,其中,版本號為1.4.x屬于Sqoop1,而版本號為1.99.x的屬于Sqoop2。這兩個版本開發(fā)時的定位方向不同,體系結(jié)構(gòu)具有很大的差異,因此它們之間互不兼容。

  Sqoop1功能結(jié)構(gòu)簡單,部署方便,提供命令行操作方式,主要適用于系統(tǒng)服務(wù)管理人員進(jìn)行簡單的數(shù)據(jù)遷移操作;Sqoop2功能完善、操作簡便,同時支持多種訪問模式(命令行操作、Web訪問、Rest API),引入角色安全機制增加安全性等多種優(yōu)點,但是結(jié)構(gòu)復(fù)雜,配置部署更加繁瑣。由于本書只用到Sqoop解決數(shù)據(jù)遷移問題,因此使用Sqoop1就可以完成基本的需求。

猜你喜歡:

什么是機器學(xué)習(xí)?【大數(shù)據(jù)培訓(xùn)】

分享到:
在線咨詢 我要報名
和我們在線交談!