更新時(shí)間:2020-09-11 來源:黑馬程序員 瀏覽量:
課程簡(jiǎn)介
從零開始講解大數(shù)據(jù)業(yè)務(wù)及數(shù)據(jù)采集和遷移需求,以案例驅(qū)動(dòng)的方式講解基于Sqoop構(gòu)建高性能的分布式數(shù)據(jù)遷移和同步平臺(tái)。
課程亮點(diǎn)
1,知識(shí)體系完備,從小白到大神各階段讀者均能學(xué)有所獲。
2,生動(dòng)形象,化繁為簡(jiǎn),講解通俗易懂。
3,結(jié)合工作實(shí)踐及分析應(yīng)用,培養(yǎng)解決實(shí)際問題的能力。
4,每一塊知識(shí)點(diǎn), 都有配套案例, 學(xué)習(xí)不再迷茫。
適用人群
1、對(duì)大數(shù)據(jù)感興趣的在校生及應(yīng)屆畢業(yè)生。
2、對(duì)目前職業(yè)有進(jìn)一步提升要求,希望從事大數(shù)據(jù)行業(yè)高薪工作的在職人員。
3、對(duì)大數(shù)據(jù)行業(yè)感興趣的相關(guān)人員。
課程內(nèi)容
第一章:企業(yè)數(shù)據(jù)遷移需求及解決方案
1.企業(yè)級(jí)數(shù)據(jù)遷移及同步需求
2.Sqoop的設(shè)計(jì)思想
3.Sqoop與Hadoop的關(guān)系
4.Sqoop的分布式實(shí)現(xiàn)原理
5.Sqoop的企業(yè)級(jí)版本選型
6.Sqoop1的部署安裝及配置
第二章:Sqoop數(shù)據(jù)導(dǎo)入實(shí)戰(zhàn)開發(fā)
1.Sqoop導(dǎo)入開發(fā)參數(shù)詳解
2.數(shù)據(jù)導(dǎo)入分布式文件系統(tǒng)HDFS
3.數(shù)據(jù)導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)Hive
4.基于復(fù)雜條件實(shí)現(xiàn)數(shù)據(jù)導(dǎo)入
5.基于訂單案例實(shí)現(xiàn)Increment增量同步數(shù)據(jù)
6.基于訂單案例實(shí)現(xiàn)lastModified增量同步導(dǎo)入數(shù)據(jù)
7.數(shù)據(jù)導(dǎo)入原理詳解
第三章:Sqoop數(shù)據(jù)導(dǎo)出實(shí)戰(zhàn)開發(fā)
1.Sqoop導(dǎo)出開發(fā)參數(shù)詳解
2.基于MySQL實(shí)現(xiàn)數(shù)據(jù)導(dǎo)出
3.基于案例實(shí)現(xiàn)updateonly增量同步導(dǎo)出
4.基于案例實(shí)現(xiàn)allowinsert增量同步導(dǎo)出
5.數(shù)據(jù)導(dǎo)出原理詳解
第四章:Sqoop企業(yè)級(jí)任務(wù)管理
1.企業(yè)級(jí)數(shù)據(jù)管理業(yè)務(wù)
2.Sqoop Job命令參數(shù)詳解
3.基于訂單案例實(shí)現(xiàn)Sqoop Job實(shí)戰(zhàn)開發(fā)
4.Sqoop Job 任務(wù)管理