flink和spark对比
作者：暗魅惑乱
更新时间：2023-01-09 01:48:53
•
阅读：
最佳答案技术理念不同：Spark的技术理念是使用微批来模拟流的计算，基于Micro-batch，数据流以时间为单位被切分为一个个批次，通过分布式数据集RDD进行批量处理，是一种伪实时。而Flink是基于事件驱动，它是一个面向流的处理框架，Flink基于每个事件一行一行地流式处理，是真正的流式计算。
1技术性理念不同：Spark的技术理念是采用微批来模拟流计算，根据Micro-batch,数据流以时间为基准切掉分成一个个批号，根据分布式系统数据集RDD开展批量处理，是一种伪即时。而Flink是根据量化策略，它是一个面对流的处理方法架构， Flink根据每一个事情一行一行地流式处理，是名副其实的流式计算。 此外他也可以根据流来模拟批来计算完成批处理命令，从技术上具备更加好的可扩展性。
2时间机制：SparkStreaming只支持解决时间， 最合适的地使用processing time来相近地完成event time有关的项目。使用processing time模拟event time势必会产生一些偏差， 尤其是在造成数据堆积情况下，偏差则更突出，甚至造成数值不能用，Structured streaming 支持解决时间人物事件时间，与此同时支持 watermark 机制解决落后数据Flink 支持三种时间机制：事情时间、引入时间、解决时间、与此同时支持 watermark 机制解决迟到的数据，表明Flink在对待乱序大即时数据时，优点非常大。
本文由“暗魅惑乱”发布，不代表“写客百科”立场，转载联系作者并注明出处：https://www.ixieke.com/shuma/125538.html
