首頁技術文章正文

采集數據為什么選擇kafka?

更新時間:2021-03-04 來源:黑馬程序員 瀏覽量:

為什么選擇kafka采集數據?大數據采集層主要可以使用Flume, Kafka兩種技術。

Flume:Flume 是管道流方式,提供了很多的默認實現,讓用戶通過參數部署,及擴展API。

Kafka:Kafka是一個可持久化的分布式的消息隊列。 Kafka是一個非常通用的系統(tǒng)。你可以有許多生產者和很多的消費者共享多個主題Topics。

相比之下,Flume是一個專用工具被設計為旨在往HDFS,HBase發(fā)送數據。它對HDFS有特殊的優(yōu)化,并且集成了Hadoop的安全特性。所以,Cloudera 建議如果數據被多個系統(tǒng)消費的話,使用Kafka;如果數據被設計給Hadoop使用,使用Flume。



猜你喜歡:

認識Scala的數據類型【大數據基礎】

為什么要研究大數據?大數據有什么價值?

Sqoop中的增量導入功能怎樣使用?

黑馬程序員大數據培訓課程

分享到:
在線咨詢 我要報名
和我們在線交談!