English
Online Internet Traffic Monitoring System Using Spark Streaming.pdf
文件大小：
2741k
资源说明：在最近几年，随着互联网流量的爆炸性增长，网络运营商面临着必须能够实时监控整个网络状况，并且高效地管理网络资源的挑战。传统的网络分析方法，通常在单机上运行，由于其处理能力有限，已经不再适用于巨大的流量数据。大数据框架，如Hadoop和Spark，能够处理这类分析任务，即使对于大量的网络流量也是如此。然而，Hadoop和Spark本质上是为离线数据分析而设计的。为了应对流数据，已经提出了各种基于流处理的框架，例如Storm、Flink和Spark Streaming。
在这项研究中，提出了一种基于Spark Streaming的在线互联网流量监控系统。该系统由三个主要部分组成：收集器（collector）、消息系统（messagingsystem）和流处理器（streamprocessor）。文中考虑了TCP性能监控作为特殊用途案例，以展示如何使用我们提出的系统进行网络监控。通过对独立模式下群集进行典型实验，结果显示我们的系统对于大规模互联网流量测量和监控表现良好。
关键词包括：Spark Streaming、网络监控、大数据、TCP性能监控。从上述内容，我们可以提取以下知识点：
1. 互联网流量监控的重要性：随着互联网规模的不断扩大，为了提供一个安全和性能良好的网络环境，网络运营商需要实时地监控和分析网络状态。
2. 传统网络分析方法的局限性：单机运行的网络分析方法在面对大规模数据时处理能力不足，因此需要新的技术解决方案。
3. 大数据框架的应用：Hadoop和Spark这样的大数据处理框架能够处理大量网络流量数据，即使是在网络流量巨大时也能进行分析。
4. 流处理框架的兴起：由于Hadoop和Spark是为批处理设计的，为了处理实时的流数据，新的流处理框架如Storm、Flink和Spark Streaming被开发出来。
5. Spark Streaming的特点：Spark Streaming是基于Spark框架的一种流处理系统，它允许对数据流进行实时处理，是本文研究的主要技术基础。
6. 系统架构：提出了一种由收集器、消息系统和流处理器组成的在线互联网流量监控系统。
7. TCP性能监控：作为系统的一个特殊应用场景，TCP性能监控显示了如何使用该系统进行网络监控。
8. 实验和结果：通过对独立模式下群集进行典型实验，验证了该系统对大规模互联网流量测量和监控的有效性。
通过这些知识点，我们可以看到Spark Streaming在处理大规模、高速网络流量数据中的实际应用，以及如何有效地构建一个能够实时监控网络状况的系统。此外，文章也体现了大数据技术在现代网络管理中的重要性和必要性。
本源码包内暂不包含可直接显示的源代码文件，请下载源码包。
