安裝配置Sqoop,前提是部署Sqoop工具的機器需要具備Java和Hadoop的運行環(huán)境首先將下載好的安裝包上傳至hadoop01主節(jié)點的/export/software目錄中,并解壓至/export/servers路徑下,然后對解壓包進行重命名,具體指令如下。查看全文>>
Reduce大致分為copy、sort、reduce三個階段,重點在前兩個階段。Copy階段,簡單地拉取數(shù)據(jù)。Reduce進程啟動一些數(shù)據(jù)copy線程(Fetcher),通過HTTP方式請求maptask 獲取屬于自己的文件。查看全文>>
通過打印“Hello World”的例子來演示如何使用IDEA工具開發(fā)Scala程序,具體步驟如下。查看全文>>
通常,在接收到source的數(shù)據(jù)后,應該立刻生成watermark;但是,也可以在接收source后,應用簡單的map或者filter操作,然后再生成watermark。查看全文>>
關(guān)系型數(shù)據(jù)和Hive都是支持SQL引擎的數(shù)據(jù)庫;Redis和Hbase都是NoSQL 類型的Key/vale數(shù)據(jù)庫,支持簡單的行列操作,不支持SQL引擎。查看全文>>
嵌入模式下,元數(shù)據(jù)保存在Derby數(shù)據(jù)庫中,且只允許一個會話連接,若嘗試多個會話連接時會報錯。下面講解Hive安裝之嵌入模式的配置步驟查看全文>>