2023.03.16 加入,已入驻 433 天。
2023.03.16 加入,已入驻 433 天。
项目职责:1) flink 通过 source 消费 mq 数据,按照 eventTime 模式进行处理,用业务时间生成水印 watermark 2) filterFunction 过滤数据,然后通过 keyBy 进行分组,timewindow 对商品做滑动窗口 3) 用 Flink cep 过滤符合复杂模式的事件,用户下单未支付的提醒,提高支付转化率 4) 通过 aggregateFunction 进行聚合操作,该接口可以提前聚合掉数据,减少 state 的压力 5) processFunction 作为定时器,通过它的 time 功能收齐数据,进行排序或统计等操作,然后用 listState 来存储 消息,保证数据的完整性 和一致性,通过 listSate 的 chechpoint 机制,保证 exactly-once 语义 6) 通过 sink 连接 hbase 或 es 输出最后的结果