Flink 入门程序 WordCount 和 SQL 实现

    技术2024-12-21  12

    Flink提供的快速创建工程的方法: curl https://flink.apache.org/q/quickstart.sh | bash -s 1.10.0自动生成的项目 pom.xml 文件中对于 Flink 的依赖注释掉 scopeDataSet WordCountDataStream WordCount 问题1:使用 netcat 命令启动一个端口 windows环境下:nc -lk 9000要改为nc -L -v -p 9000 问题2:尽量使用Java原生的函数,不要过多使用lambda 因为可能会无法判断某个参数的类型,比如Collector​​ 问题3: Connection refused: connect,连接拒绝 添加上.keyBy().timeWindow().reduce()函数之导致的,暂时未查明原因Flink Table & SQL WordCount 一个完整的 Flink SQL 编写的程序包括如下三部分: Source Operator:是对外部数据源的抽象, 目前 Apache Flink 内置了很多常用的数据源实现,比如 MySQL、Kafka 等。 Transformation Operators:算子操作主要完成比如查询、聚合操作等,目前 Flink SQL 支持了 Union、Join、Projection、Difference、Intersection 及 window 等大多数传统数据库支持的操作。 Sink Operator:是对外结果表的抽象代码地址 https://gitee.com/zsyoung01/flink-demo.git
    Processed: 0.014, SQL: 9