flink介绍

    技术2025-10-17  20

    flink是什么

    Apache Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行,以内存执行速度和任意规模来执行计算。

    有什么特点

    事件驱动型(Event-driven)

    事件驱动型应用是一类具有状态的应用,它从一个或多个事件流提取数据,并根据到来的事件触发计算、状态更新或其他外部动作。比较典型的就是以kafka为代表的消息队列几乎都是事件驱动型应用。

    与之不同的就是SparkStreaming微批次,spark来说都是批处理,只不过把一个一个的event放进一个很小的批次当做一个窗口一起去处理,来实现流处理的功能,所以会有短暂的延迟

    事件驱动型:

    流与批的世界观

    批处理的特点是有界、持久、大量,非常适合需要访问全套记录才能完成的计算工作,一般用于离线统计。 流处理的特点是无界、实时, 无需针对整个数据集执行操作,而是对通过系统传输的每个数据项执行操作,一般用于实时统计。

    在spark的世界观中,一切都是由批次组成的,离线数据是一个大批次,而实时数据是由一个一个无限的小批次组成的。 而在flink的世界观中,一切都是由流组成的,离线数据是有界限的流,实时数据是一个没有界限的流,这就是所谓的有界流和无界流。

    无界数据流:无界数据流有一个开始但是没有结束,它们不会在生成时终止并提供数据,必须连续处理无界流,也就是说必须在获取后立即处理event。对于无界数据流我们无法等待所有数据都到达,因为输入是无界的,并且在任何时间点都不会完成。处理无界数据通常要求以特定顺序(例如事件发生的顺序)获取event,以便能够推断结果完整性。

    有界数据流:有界数据流有明确定义的开始和结束,可以在执行任何计算之前通过获取所有数据来处理有界流,处理有界流不需要有序获取,因为可以始终对有界数据集进行排序,有界流的处理也称为批处理。

    这种以流为世界观的架构,获得的最大好处就是具有极低的延迟。

    分层api

    tableapi或者sql DStreamApi类似算子 自定义Function完成一些复杂功能

    Flink特点

    支持有状态计算 Flink在1.4版本中实现了状态管理,所谓状态管理就是在流失计算过程中将算子的中间结果保存在内存或者文件系统中,等下一个事件进入算子后可以让当前事件的值与历史值进行汇总累计。支持exactly-once语义 对于一条message,receiver确保只收到一次支持事件时间(EventTime)和处理时间(ProcessingTime) 目前大多数框架时间窗口计算,都是采用当前系统时间,以时间为单位进行的聚合计算只能反应数据到达计算引擎的时间,而并不是实际业务时间

    Flink vs Spark Streaming

    数据模型 spark采用rdd模型,streaming本质上也是一组rdd组成的微批集合flink数据模型是数据流,是event处理 运行时架构 spark是批计算,将DAG划分为不同的Stage,一个完成后才可以计算下一下Flink是标准的流执行模式,一个事件在流处理完之后可以直接发往下一个节点处理

    流处理场景

    电商和市场营销 数据报表,广告投放,业务流程物联网 传感器实时数据采集和显示,实时报警,交通运输方面电信行业 基站流量调配银行和金融业 实时结算和通知推送,实时检测异常行为
    Processed: 0.011, SQL: 10