MySQL Flink实时流处理的核心技术之窗口机制
更新时间：2023年05月09日 09:43:34 作者：奔跑如风
Flink是一款流处理框架，窗口机制是其核心技术之一。Flink的窗口机制可以将无限的数据流划分为有限的窗口，并对窗口内的数据进行处理。Flink的窗口机制支持时间、计数、会话等多种窗口类型，并且可以在不同的窗口之间进行流转换和数据聚合，是实时流处理中非常重要的技术
1.为什么要学窗口
流式计算，一般有两种场景：
- 无限制的流式计算，比如：wordcount案例，它没有任何外部的限制条件，这种情况不多。
- 有限制的流式计算，比如：统计早高峰时间内经过某个道路的车辆数。
对于第二种情况来说，我们需要加上额外的限制条件。最常用的限制条件就是时间了。
这个时间段，在程序中，就用一个窗口来表示。
也就是说，窗口的作用：把流式计算转换为批量计算，窗口是流转批的一个桥梁。
这就是为什么要学窗口的原因了。
2.Flink中的窗口
在Flink中，窗口可以分为如下几类：
- 滚动窗口（Tumble）
- 滑动窗口（hop、Slice）
- 会话窗口（session）
- 渐进式窗口（cumulate）
- 聚合窗口（over）
3.滚动窗口（Tumble）
3.1 概念
滚动窗口 ：窗口大小 = 滚动距离（时间间隔）
特点：上一个窗口的结束就是下一个窗口的开始，数据不重复、也不丢失。
3.2 案例SQL
#1.创建source表
CREATE TABLE source_table (
user_id STRING,
price BIGINT,
`timestamp` bigint,
row_time AS TO_TIMESTAMP(FROM_UNIXTIME(`timestamp`)),
watermark for row_time as row_time - interval '0' second
) WITH (
'connector' = 'socket',
'hostname' = 'node1',
'port' = '9999',
'format' = 'csv'
);
#2.语法
tumble(事件时间列,窗口大小)
窗口大小是用户自定义的。比如30分钟、1小时等。
直接把tumble窗口放在group by语句后即可。
比如：tumble(row_time,interval '5' second)
含义：定义一个5秒大小的滚动窗口。
#3.数据处理
select
user_id,
count(*) as pv,
sum(price) as sum_price,
UNIX_TIMESTAMP(CAST(tumble_start(row_time, interval '5' second) AS STRING)) * 1000 as window_start,
UNIX_TIMESTAMP(CAST(tumble_end(row_time, interval '5' second) AS STRING)) * 1000 as window_end
from source_table
group by
user_id,
tumble(row_time, interval '5' second);到此这篇关于MySQL Flink实时流处理的核心技术之窗口机制的文章就介绍到这了,更多相关MySQL Flink窗口机制内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
您可能感兴趣的文章:
相关文章
这篇文章主要介绍了MySQL数据库误操作后快速回滚的方法的相关资料,需要的朋友可以参考下2016-12-12
本文主要介绍了MySQL里的反斜杠(\\)的使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-02-02
MySQL5.1主从同步出现Relay log read failure错误解决方法
这篇文章主要介绍了MySQL5.1主从同步出现Relay log read failure错误解决方法,需要的朋友可以参考下2014-07-07
Mysql从5.6.14安全升级至mysql5.6.25的方法
这篇文章主要介绍了Mysql从5.6.14安全升级至mysql5.6.25的方法，本教程讲的非常详细，具有参考借鉴价值，需要的朋友参考下吧2016-08-08
在高并发数据库系统中，需要保证事务与事务之间的隔离性，还有事务本身的一致性。所以需要解决幻读问题，本文就来介绍一下，感兴趣的可以了解一下2021-08-08
这篇文章主要介绍了MySQL创建数据表并建立主外键关系详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-06-06
windows下mysql 5.7.20 安装配置方法图文教程
这篇文章主要为大家详细介绍了windows下mysql 5.7.20 安装配置方法图文教程，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-09-09
这篇文章主要介绍了mysql中between的用法及说明，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2023-07-07
这篇文章主要给大家介绍了MySQL8.0.26安装与卸载的完整步骤,文中通过图文以及示例代码介绍非常详细，对于在windows下安装msql非常有帮助,需要的朋友可以参考下2021-07-07
这篇文章主要为大家详细介绍了MySQL数据库卸载的完整步骤，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2017-05-05
最新评论