配置指标质量和分析规则¶
对特定指标进行数据质量分析前,需要配置以下模板:
质量规则配置:指定各个指标的质量评估规则,包含指标标识符、规则适用的资产颗粒度与资产类型、规则模板以及具体规则配置等信息。
质量分析配置:指定目标指标关联的模型及测点信息,用于对指标的数据质量问题根因分析。
质量规则配置¶
指标规则配置用于指定各个指标的质量评估规则,从而判断指标的完整性和有效性。其中,质量规则配置分为质量评估基础规则和高级规则,基础规则默认对用户开放,可进行指标的缺失和越限问题检查,高级规则按需开放(如需该能力请联系产品经理开通),可进行指标相关性问题检查。
质量评估基础规则配置¶
质量评估基础规则通过以下步骤下载、配置并上传指标规则模板:
在应用门户的左侧导航栏中选择 数据质量 > 指标数据质量 > 指标规则配置。
在 质量规则配置 部分中选择 质量评估基础规则 卡片的下载模板。
打开已下载的模板文件,并配置以下字段。
字段
必需/可选
描述
Metric ID
必需
需要进行数据质量评估的指标的标识符。
支持输入已在 EnOS 指标管理中注册的派生指标或衍生指标的标识符。Domain
必需
此指标规则适用的资产类型。
支持输入wind(风电)、solar(光伏)、building(楼宇)、storage(储能) 或ark(碳管理)。Asset Granularity
必需
此指标规则适用的资产颗粒度。
支持输入site(场站)。Rule Template
必需
此指标规则应用的数据质量规则模板。
支持输入Out of Range(越限)。Rule Configuration
必需
用于评估指标数据质量的表达式。
支持的运算符:&&、||、<、<=、>=、+、-、*、/和()。
支持的参数:a[属性id]表示场站属性,m[指标id]表示指标,[target]表示指标数据。
例如[target]>100 && [target]<a[attr]*100表示当指标数据大于 100 且小于attr属性值的 100 倍时,此指标出现 Rule Template 中指定的数据质量问题。在 数据质量 > 指标数据质量 > 指标规则配置 的质量评估基础规则 卡片中选择 选择文件 并上传已配置的模板。
如需修改当前应用中已存在的指标规则配置,可在 数据质量 > 指标数据质量 > 指标规则配置 中的质量评估基础规则 卡片中选择 替换 并上传新模板。
质量评估高级规则配置¶
质量评估高级规则中,当前主要为指标相关性检测,属于指标有效性维度。支持以下问题检测场景:例如平均风速和利用小时,大致呈正相关关系,当平均风速较大,利用小时的值也应相对较大,当平均风速和利用小时都在合理阈值范围内时,可能会存在平均风速很小,但利用小时很大的异常情况,这种情况仅通过越限检查无法发现,所以需要通过指标相关性检查来发现此类问题。
通过领域知识沉淀,现支持的相关性检测模板包括:通用模板、风领域-平均风速与利用小时相关性检测模板、风领域-能量可利用率与风电场可利用率相关性检测模板
质量评估高级规则(指标相关性检测)通过以下步骤下载、配置并上传指标规则模板:
在应用门户的左侧导航栏中选择 数据质量 > 指标数据质量 > 指标规则配置。
在 质量规则配置 部分中选择 高级规则:相关性检测 卡片的 下载模板。
打开已下载的模板文件,并配置以下字段。
字段
必需/可选
描述
Domain
必需
此指标规则适用的资产类型。
支持输入wind(风电)、solar(光伏)、building(楼宇)、storage(储能) 或ark(碳管理)。Asset Granularity
必需
此指标规则适用的资产颗粒度。
支持输入site(场站)。Rule Template
必需
此指标规则应用的数据质量规则模板。
支持输入Correlation_generic(相关性检测通用模板)Correlation_wind(风领域相关性检测模板)。Rule Configuration
必需
用于评估指标数据相关性的表达式。
Correlation_generic(相关指标 ID-1, 相关指标 ID-2, 相关指标 ID-3,……)。Correlation_generic()方法中填入具有相关性的指标 ID,最多填入5个指标 ID,多个 ID 间用英文逗号(,)分隔,填入的指标均会进行相关性性检测(例如:Correlation(windspeed_m,hours_m),分别对风速和利用小时的月度指标进行相关性检测,检测结果会得到风速数据异常/利用小时数据异常)。
Correlation_wind[领域模板, (相关指标 ID-1, 相关指标 ID-2, 相关指标 ID-3,……)],Correlation_wind()方法中填入领域模板和具有相关性的指标 ID,其中领域模板有WS_EY和PBA_TBA,支持填入多个指标 ID,多个 ID 间用英文逗号(,)分隔,填入的指标均会进行相关性性检测(例如:Correlation_wind[WS_EY, (wind_speed_avg_m,equivalentyield_m)],使用 WS_EY 领域模板,分别对风速和利用小时的月度指标进行相关性检测,检测结果会得到风速数据异常/利用小时数据异常)。在 数据质量 > 指标数据质量 > 指标规则配置 的 高级规则:相关性检测 卡片中选择 选择文件 并上传已配置的模板。
如需修改当前应用中已存在的指标规则配置,可在 数据质量 > 指标数据质量 > 指标规则配置 中的 高级规则:相关性检测 卡片中选择 替换 并上传新模板。
质量分析配置¶
质量分析配置用于指定目标指标关联的模型及测点信息,用于对指标的数据质量问题根因分析。质量分析配置支持以下场景:
指定指标关联的测点。例如“日发电量”这一指标是由“风机基础”模型的“有功发电量总计”测点计算获得的,当“日发电量”有问题时,需要检查“有功发电量总计”测点是否存在质量问题,从而导致“日发电量”指标有问题。
指定指标关联的测点范围较大,需要进一步确定进行指标计算时真正用到的测点。例如计算光伏场站发电量时,“发电量”这一指标会根据场站的“总发电量计算源”属性值决定用于计算的测点。因此,为确保指标数据质量根因分析结果真实、准确,可利用质量评估配置指定用于计算目标指标的模型和关联测点,避免无关测点影响根因分析结果。该场景可使用
Attr(属性ID=枚举值)表达式。指定指标关联的指标,在进行根因分析时需要检查与指定指标相关联的指标。例如“月发电量”这一指标由“日发电量”数据汇总而成,因此在进行根因分析时,需要检查“日发电量”指标以及与“日发电量”指标相关联的原始测点,从而确保根因分析准确。该场景可使用
Metric(指标ID)(关联指标) 。
通过以下步骤下载、配置并上传指标质量分析模板:
在应用门户的左侧导航栏中选择 数据质量 > 指标数据质量 > 指标规则配置。
在 质量分析配置 部分中选择 下载模板。
打开已下载的模板文件,并配置以下字段。
字段
必需/可选
描述
Metric ID
必需
需要进行数据质量分析的指标的标识符。
支持输入已在质量规则配置中配置质量评估规则的指标。Model ID
可选
指标关联测点所属的模型。
支持输入存在于 EnOS 设备连接与管理(DCM)中的模型 ID。Point ID
可选
指标关联的测点。
支持输入 Model ID 中指定的模型下的测点。Additional Conditions
可选
用于指定与指标分析相关的属性过滤条件或其他关联指标的表达式。
支持输入Attr(场站属性ID=枚举值)(作为属性过滤条件)或Metric(指标ID)(指定关联指标)。备注
使用
Metric(指标ID)表达式时,应确保Model ID和Point ID为空且此指标 ID 存在于指标规则配置文件中。在 数据质量 > 指标数据质量 > 指标规则配置 的 质量分析配置 中选择 选择文件 并上传已配置的模板。
如需修改当前应用中已存在的质量分析配置,可在 数据质量 > 指标数据质量 > 指标分析配置 中选择 替换 并上传新模板。