阅读(7.6k) 书签赞(0) 我要纠错

Spark Streaming性能调优

2018-11-26 16:36 更新

Spark Streaming性能调优

集群中的Spark Streaming应用程序获得最好的性能需要一些调整。这章将介绍几个参数和配置，提高Spark Streaming应用程序的性能。你需要考虑两件事情：

高效地利用集群资源减少批数据的处理时间
设置正确的批容量（size），使数据的处理速度能够赶上数据的接收速度
减少批数据的执行时间
设置正确的批容量
内存调优

以上内容是否对您有帮助：

← Spark Streaming监控应用程序

Spark Streaming减少批数据的执行时间 →

写笔记

我要补充