首页 / 资讯中心 / 文章详情

数据采上来之后(上):原始数据的清洗、对齐与降采样聚合

数据采上来之后(上):原始数据的清洗、对齐与降采样聚合 ★ FEATURED ARTICLE
采集系统的价值不在"采到",而在"让数据变得可用"。先说一个真实的失效场景。某产线做了能耗采集,月底拿系统报表和电表台账对账,差了【6000】度。查了一圈:采集没断、数据库没丢、接口没报错。真正的原因在加工环节——电表是累计量,中间翻过一次表(累计值归零重新计数),程序把它当成一次正常读数,末值 - 初值算出一个巨大的负增量,后面的统计全被带偏。这类问题的共同特征是:系统全程健康,只有结果是错的。采集、传输、存储任何一个环节出错都会有报警,唯独加工环节算错了,什么都不会发生。一、地基:先让数据变"干净",再谈分析分析方法的正确性建立在数据质量之上。GIGO(Garbage In, Garbage Out)在工业数据上格外成立,因为工业数据的错误往往在合理值域内,肉眼根本看不出来。1.脏数据的四类类型典型表现来源质量位非 Good第三篇讲的 Bad / Uncertain通讯超时、传感器故障死值 / 卡值连续 N 个周期完全不变断线后保持末值、程序写死物理不可能值超量程、温度 −999、设备运行中电流为 0标定错、单位错、寄存器错位非物理跳变一帧内变化超出物理上限干扰、数据错位2. 异常值不要急着删很多人第一反应是"把异常值过滤掉"。这个动作本身没错,错在不分类、不标记、静默丢弃。正确做法是分三类处理:确认为故障(质量位 Bad、超量程、死值)→ 剔除,标记为"无效",不参与统计疑似工况变化(在量程内、变化率在物理可能范围内)→保留,这往往就是被测对象的真实行为无法判定→ 保留原值 + 打标,交给下游决定静默丢弃是最危险的做法。一天少了几百个点,平均值悄悄偏移 0.3%,没有人会发现,但这个数会被写进报表、写进考核。3. 两个容易被忽略的点① 无效率本身要当指标监控。无效点占比突然升高,通常意味着传感器故障或通讯劣化。这个信号的诊断价值高于数据本身——它能在数据彻底断掉之前就暴露问题。② 死值检测不能一概而论。窗口内max == min判为卡值,听起来合理,但液位在停产后本来就是恒定的。所以死值检测必须结合设备运行状态:只有"状态为运行 + 数值恒定"才判为卡值。没有运行状态信号时,退而求其次的做法是把判定时长拉长到"远超该量的正常变化周期"。三、时间对齐:多源数据先落到同一根时间轴分析很少只看单个测点。温度 30 秒、振动连续、能耗 5 分钟——三种周期的数据要放在同一张报表里,就得先对齐。1. 用哪个时刻对齐第三篇讲过三个时刻:计划时刻(Bucket)、实际采集时刻、设备侧时标。分析一律用计划时刻。原因是:实际采集时刻带调度抖动和采集耗时,用它对齐,不同测点的偏移各不相同,跨测点的相关性分析会失真;设备侧时标用于追溯单条数据的来源
阅读完成 · 觉得有帮助?
咨询建站