更新時間:2021-01-05 來源:黑馬程序員 瀏覽量:
Spark Streaming提供了一個高級抽象的流,即DStream(離散流)。DStream表示連續(xù)的數(shù)據(jù)流,可以通過Kafka、Flume和Kinesis等數(shù)據(jù)源創(chuàng)建,也可以通過現(xiàn)有DStream的高級操作來創(chuàng)建。DStream的內部結構如圖1所示。
圖1 DStream流的內部結構
從圖1可以看出,DStream的內部結構是由一系列連續(xù)的RDD組成,每個RDD都是一小段時間分隔開來的數(shù)據(jù)集。實際上,對DStream的任何操作,最終都會轉變成對底層RDDs的操作。
猜你喜歡:
Spark有哪些特點,Spark的生態(tài)系統(tǒng)包含哪些組件?