资源说明:本系列主要描述Spark Streaming的运行流程,然后对每个流程的源码分别进行解析
之前总听同事说Spark源码有多么棒,咱也不知道,就是疯狂点头。今天也来撸一下Spark源码。
对Spark的使用也就是Spark Streaming使用的多一点,所以就拿Spark Streaming开涮。
源码中的一些类
这里先列举一些源码中的类,大家先预热一下。
StreamingContext:这是Spark Streaming程序的入口,提供了运行时上下文环境
DStream:是RDD在Spark Streaming中的实现,是连续的RDD(相同类型)序列,表示连续的数据流
JobSchedu
本源码包内暂不包含可直接显示的源代码文件,请下载源码包。