运维中心 实例分析 任务详情

订单数据处理_每日全量

执行成功 INS-20240328-001234

订单交易数据域 · 离线同步 · 每日02:00执行

计划时间

2024-03-28 02:00:00

每日定时执行

执行耗时

25分15秒

↓ 比上次快3%

数据行数

1,234,567

↑ 增长5.2%

责任人

张建国

执行时间线

任务启动

2024-03-28 02:00:15

任务实例开始执行,分配资源并初始化

数据抽取

2024-03-28 02:05:30

从MySQL订单表抽取数据,共5分15秒,抽取1,234,567条记录

数据清洗

2024-03-28 02:15:42

数据转换和清洗,过滤无效数据10,234条,耗时10分12秒

数据加载

2024-03-28 02:23:10

写入数据仓库目标表,批量插入,耗时7分28秒

执行完成

2024-03-28 02:25:30

任务执行成功,释放资源,更新统计信息

资源使用情况

CPU使用率 75%
内存使用率 62%
磁盘I/O 45%
网络吞吐 38%

分配资源

4核8G

任务队列

high

执行日志

[2024-03-28 02:00:15.123] INFO  - 任务实例 INS-20240328-001234 开始启动
[2024-03-28 02:00:15.234] INFO  - 初始化任务配置,从数据库加载配置参数
[2024-03-28 02:00:15.345] INFO  - 分配执行资源:4核CPU, 8GB内存
[2024-03-28 02:00:15.456] INFO  - 建立数据库连接池,连接MySQL数据源
[2024-03-28 02:00:16.001] INFO  - 开始执行数据抽取任务
[2024-03-28 02:00:16.123] INFO  - 执行SQL: SELECT * FROM t_order WHERE create_time >= ?
[2024-03-28 02:05:30.567] INFO  - 数据抽取完成,共抽取 1,234,567 条记录
[2024-03-28 02:05:31.123] INFO  - 开始数据清洗和转换
[2024-03-28 02:08:45.234] WARN  - 检测到10,234条重复数据,已自动去重
[2024-03-28 02:15:42.345] INFO  - 数据清洗完成,有效数据 1,224,333 条
[2024-03-28 02:15:43.001] INFO  - 开始数据加载,写入目标表 dw_order_daily
[2024-03-28 02:23:10.567] INFO  - 数据加载完成,批量插入 1,224,333 条记录
[2024-03-28 02:25:30.123] INFO  - 更新任务统计信息,耗时 25分15秒
[2024-03-28 02:25:30.234] INFO  - 释放数据库连接和计算资源
[2024-03-28 02:25:30.345] INFO  - 任务实例 INS-20240328-001234 执行成功

任务节点

数据抽取

MySQL订单表

5分15秒 成功
数据清洗

去重/格式化

10分12秒 成功
数据加载

数据仓库

7分28秒 成功
数据质量检查

校验/告警

2分20秒 成功

历史执行记录

查看全部历史
执行时间 状态 耗时 数据量 操作
2024-03-28 02:00 成功 25分15秒 1,234,567 查看
2024-03-27 02:00 成功 26分03秒 1,183,432 查看
2024-03-26 02:00 失败 18分42秒 - 查看
2024-03-25 02:00 成功 24分56秒 1,156,789 查看