Late Point Tagger*¶
支持判断迟到数据,并对迟到数据点进行数据质量打标。具体计算逻辑如下:
对经过该算子的数据,以
timestamp字段作为标准,过滤迟到的 record 。如果某个 record 的timestamp比最新 record 的timestamp晚,则会被判断为 “late”。时间标准以
assetId:measurementId:timestamp为粒度,相同设备、相同点的 record 才会进行迟到点判断。如果某个设备的某个点第一次经过该算子,没有参考标准,则判断为 “not late”,并记录该
assetId:measurementId的timestamp,用作对后续 record 的处理和判断。因任何原因导致的失败重试,比如集群节点异常,不能保证计算结果幂等。
与旧数据格式不兼容,即无法按
ModelId::PointId进行数据过滤。
配置详情¶
该算子的配置包括 General,Basic,Input/Output,和 CacheConfig 的详细信息,各字段的配置如下:
General¶
名称 |
是否必须 |
描述 |
|---|---|---|
Name |
Yes |
算子名称 |
Description |
No |
算子描述 |
Stage Library |
Yes |
算子所属的库 |
Required Fields |
No |
数据必须包含的字段,如果未包含指定字段,则 record 将被过滤掉 |
Preconditions |
No |
数据必须满足的前提条件,如果不满足指定条件,则 record 将被过滤掉。例如: |
On Record Error |
Yes |
对错误数据的处理方式,可选:
|
Basic¶
名称 |
是否必须 |
描述 |
|---|---|---|
Quality Filter |
No |
根据数据质量过滤处理数据,只有符合质量条件的 record 才会进行此次处理 |
Input/Output¶
名称 |
是否必须 |
描述 |
|---|---|---|
Input Measurement |
Yes |
数据输入点,同一行的输入点和输出点之间的 MeasurementId 必须不同。 |
Output Measurement |
Yes |
数据输出点,同一行的输入点和输出点之间的 MeasurementId 必须不同。 |
CacheConfig¶
名称 |
是否必须 |
描述 |
|---|---|---|
Cache Type |
Yes |
选择缓存数据的类型,可选 Redis 存储或 Local 存储。
|
输出结果¶
经过该算子的 record 会被加上质量位。
输出示例¶
正常点
迟到点