Spark Streaming运行的基本原理

概述

Spark Streaming运行时由Driver和Executor相互协调完成。

Driver端创建StreamingContent，其中包括了DStreamGraph和JobSchedule，它又包括了ReceiverTracker和JobGenerator），Driver主要负责生成调度job、与execuor进行交互、指导工作。