网站首页 > 精选文章 正文
uckDB 支持基于时间的窗口分析,包括固定窗口(tumbling)、跳跃窗口(hopping)和滑动窗口(sliding)等不同语义的窗口函数。在本文中,我们将通过实际案例 —— 对阿姆斯特丹中央车站的列车运行数据进行趋势和异常检测 —— 来演示这些窗口函数的使用方式。
引言:为什么时间窗口分析很重要?
在数据平台中,我们通常将数据分为两类:维度数据(Dimension)和事实数据(Fact)。维度数据描述的是实体信息,例如名称、地址、序列号等;而事实数据则代表与这些实体相关的事件,比如点击、销售记录、银行交易、IoT 设备读取值等。
事实数据往往包含时间戳(timestamp)字段,用于标识事件发生或被观察到的时间。在流处理平台中,带时间戳的数据通常需要通过流式窗口函数来划分时间片段,以便进行有序计算。
但在实际分析中,我们也经常希望对静态的时间戳数据应用类似的窗口划分逻辑,以提取出趋势、汇总和异常。本文将基于 DuckDB 展示如何使用流式窗口函数对阿姆斯特丹中央车站的列车服务数据进行时间分析,识别高峰时段、服务中断等关键指标。
在本文的实现中,我们将使用一个已建立的 DuckDB 数据库。该项目基于“Rijden de Treinen”(火车运行了吗?)应用的开放数据。
我们首先在任意 DuckDB 会话中,挂载存储位置中的该数据库:
固定窗口(Tumbling Windows)
固定窗口是具有固定大小的时间区间,格式为左闭右开区间 [left-closed, right-open),用于在某个时间单位(如年、日、小时等)上计算汇总信息。
固定窗口还常用于将(不规则的)事实数据转化为时间序列数据,通过在固定时间间隔内进行聚合实现这一目的。
实现固定窗口的一种方式是使用 date_trunc 函数,该函数会将时间戳截断到指定的精度。
例如,在下面的示例中,我们统计了 2024 年中每小时和每天的列车服务次数:
另一种方法是使用time_bucket函数,该函数将从指定的偏移量开始,将时间戳截断为指定的桶宽度。例如,我们计算每刻钟的服务数量,从以下位置开始00:
跳跃窗口(Hopping Windows)
跳跃窗口是固定大小的时间间隔,但与滚动窗口相反,跳跃窗口是重叠的。跳跃窗口的定义如下:
- 窗口开始时间之间应经过多少时间,称为跳跃大小;
- 一个窗口应该包含多少时间,称为窗口大小。
跳跃窗口的一个用例是确定 2024 年内最繁忙的五个 15 分钟时段(窗口大小),每 5 分钟(跳跃大小)开始一次。我们首先为所有感兴趣的日期生成人工跳跃窗口:
然后,我们将上述间隔与火车服务数据结合起来,以计算每个[左闭,右开]间隔的服务数量:
滑动窗口(Sliding Windows)
滑动窗口是重叠的区间,但与跳跃窗口相比,滑动窗口是根据所分析的时间列动态生成的,因此会在插入新记录时发生变化。滑动窗口可以通过使用RANGE窗口框架来实现:
会话窗口(Session Windows)
会话窗口将时间上相近发生的事件分组,并以不活动间隙分隔。当两个事件之间的时间间隔超过定义的超时值时,将启动新的会话。会话窗口最常见的用例是检测带时间戳的数据中的间隙。
我们继续进行数据分析,找出阿姆斯特丹中央火车站没有列车到达/出发的时间段超过10分钟的日期。在此上下文中,会话窗口是指列车服务运行且服务停顿间隔不超过10分钟的时间段。
lag我们首先使用窗口函数计算每条记录的上一次服务时间。我们上面观察到,夜间几乎没有交通,因此我们只包括上午 6 点到晚上 11 点之间的服务:
在上面的查询中,我们还计算了当前服务与上一次服务之间的间隔(以分钟为单位),其中date_diff。如果没有上一次服务,则该列将为0,表示当天的第一次服务会话.
然后,我们通过将经过的分钟数与超时时间(在我们的例子中为 10 分钟)进行比较,标记当前记录是否与前一个记录位于同一会话中:
通过对属性应用日级移动总和,new_session我们为会话分配一个标识符:
我们现在可以检索在 18 小时服务时间(上午 6 点到晚上 11 点之间的小时数)内至少有 10 分钟不活动间隔的日期:
2024年4月29日肯定异情况!我们观察到,在18个小时的运营期间,出现了12个时段窗口,这意味着至少有10次,在10分钟内没有列车到达或出发。原因可能是当天没有常规列车服务。而且,阿姆斯特丹和乌得勒支之间确实开始了维护工作。
上述内容演示了如何在 DuckDB 中对带时间戳的历史数据实现流窗口函数,为时间(序列)数据分析提供了一个起点。
猜你喜欢
- 2025-07-03 开源分享:DBCompare一款简单实用的数据库表结构对比工具
- 2025-07-03 数据库管理工具更新:DbVisualizer 23.2.5
- 2025-07-03 GoldenDB Replay智能回放工具,全真模拟、精准诊断!
- 2025-07-03 西门子S7-1500数据块DB介绍及使用
- 2025-07-03 V社新作《Deadlock》现身SteamDB数据库:数百人在线游玩
- 2025-07-03 steamdb网址 steam打折游戏网站网址分享
- 2025-07-03 显示警报(DisplayAlerts)的打开和关闭
- 2025-07-03 查看MySQL所有数据库列表(查看mysql下所有数据库的语句是()?)
- 2025-07-03 从 SQLite 到 DuckDB:查询快 5 倍,存储减少 80%
- 2025-07-03 手把手教你在嵌入式设备中使用SQLite3
- 07-03CentOS7系统如何修改主机名(更改centos主机名)
- 07-03Ubuntu1804 及以上版本的 Coredump 相关设置
- 07-03Linux中如何修改ip地址?(linux系统怎么更改ip地址)
- 07-03Linux系统日常运维九大核心技能(linux运维都干什么)
- 07-03Linux 日志管理攻略:用 journalctl 揪出服务器安全隐患
- 07-03Linux下快速安装ollama和deepseek并使用web界面
- 07-03RockyLinux9.5下使用ollama搭建本地AI大模型DeepSeek
- 07-03Linux 下的 PM2 完整指南(linux /media)
- 最近发表
-
- CentOS7系统如何修改主机名(更改centos主机名)
- Ubuntu1804 及以上版本的 Coredump 相关设置
- Linux中如何修改ip地址?(linux系统怎么更改ip地址)
- Linux系统日常运维九大核心技能(linux运维都干什么)
- Linux 日志管理攻略:用 journalctl 揪出服务器安全隐患
- Linux下快速安装ollama和deepseek并使用web界面
- RockyLinux9.5下使用ollama搭建本地AI大模型DeepSeek
- Linux 下的 PM2 完整指南(linux /media)
- Rocky Linux 9常用命令备忘录(不定时更新)
- Rocky Linux 9 系统初始化与安全加固脚本
- 标签列表
-
- 向日葵无法连接服务器 (32)
- git.exe (33)
- vscode更新 (34)
- dev c (33)
- git ignore命令 (32)
- gitlab提交代码步骤 (37)
- java update (36)
- vue debug (34)
- vue blur (32)
- vscode导入vue项目 (33)
- vue chart (32)
- vue cms (32)
- 大雅数据库 (34)
- 技术迭代 (37)
- 同一局域网 (33)
- github拒绝连接 (33)
- vscode php插件 (32)
- vue注释快捷键 (32)
- linux ssr (33)
- 微端服务器 (35)
- 导航猫 (32)
- 获取当前时间年月日 (33)
- stp软件 (33)
- http下载文件 (33)
- linux bt下载 (33)