采集數據為什么選擇kafka？

為什么選擇kafka采集數據？大數據采集層主要可以使用Flume， Kafka兩種技術。

Flume：Flume 是管道流方式，提供了很多的默認實現，讓用戶通過參數部署，及擴展API。

Kafka：Kafka是一個可持久化的分布式的消息隊列。 Kafka是一個非常通用的系統(tǒng)。你可以有許多生產者和很多的消費者共享多個主題Topics。

相比之下，Flume是一個專用工具被設計為旨在往HDFS，HBase發(fā)送數據。它對HDFS有特殊的優(yōu)化，并且集成了Hadoop的安全特性。所以，Cloudera 建議如果數據被多個系統(tǒng)消費的話，使用Kafka；如果數據被設計給Hadoop使用，使用Flume。



猜你喜歡：

認識Scala的數據類型【大數據基礎】

為什么要研究大數據？大數據有什么價值？

Sqoop中的增量導入功能怎樣使用？

黑馬程序員大數據培訓課程