企业数据平台¶
在 EnOS 2.2 Release 中,我们更新了部分产品的名称,同时在数据资产目录、数据联邦、时序数据管理、流数据处理、批数据处理等产品中,新增了多项功能。详细信息如下:
产品名称变更¶
从 EnOS 2.2 Release 发布起,企业数据平台 服务中的部分产品名称已变更。详细变更内容如下:
更新前 |
更新后 |
|---|---|
数据联邦 -> 通道管理 / Data Federation -> Channel Manager |
数据联邦 -> 联邦通道管理 / Data Federation -> Federation Channels |
时序数据管理 -> 存储策略 / Time Series Data Management -> Storage Policy |
时序数据管理 -> 存储策略 / Time Series Data Management -> Storage Policies |
流数据处理 -> 流开发 / Stream Processsing -> Stream Development |
流数据处理 -> 流开发 / Stream Processsing -> Pipeline Designer |
流数据处理 -> 流运维 / Stream Processsing -> Stream Operation |
流数据处理 -> 流运维 / Stream Processsing -> Pipeline Operation |
流数据处理 -> 包管理 / Stream Processsing -> Streamsets Libs |
流数据处理 -> 流运维 / Stream Processsing -> Pipeline Library |
批数据处理 -> 数据开发 / Batch Processing -> Data Development |
批数据处理 -> 任务流开发 / Batch Processing -> Workflow Development |
批数据处理 -> 任务资源 / Batch Processing -> Job Resource |
批数据处理 -> 任务资源 / Batch Processing -> Task Resources |
批数据处理 -> 任务运维 / Batch Processing -> Workflow Operation |
批数据处理 -> 任务流运维 / Batch Processing -> Workflow Operation |
数据资产目录(预览)¶
在 EnOS 2.2 Release 发布中,新增了数据资产元数据的检索和管理功能,实现对OU内的数据资产,包括测点、资产、Hive表、服务、文件、DTV Service等资产元数据的快速查询,并且可使用tag模板对数据资产进行快速打标,提升数据资产管理效率。
有关数据资产目录的更多信息,参见 数据资产目录。
流数据处理¶
在 EnOS 2.2 Release 发布中,新增了流任务运行高级参数配置、V0.2.0版本算子库、集群监控、模板版本升级等产品功能。详细信息如下:
流任务运行高级参数配置¶
在配置流数据处理任务的运行模式时,若以集群模式运行流数据处理任务,可选择配置集群模式高级参数,更好地控制集群运行流数据处理任务的效率。
更多信息,参考 集群模式高级参数。
算子库¶
新增了V0.2.0版本的底层封装算子,除了支持V0.1.0版本的所有功能外,新增了以下功能:
JavaScript算子支持更多函数
Internal HTTP Client算子支持Response解析
更多信息,参考 Calculator Library 0.2.0 参考文档。
集群监控¶
流数据处理服务新增了集群监控功能,提供可视化的集群资源监控界面。通过该功能,你可以查看流数据处理服务集群资源的实时使用情况,为资源申请提供参考。
更多信息,参考 监控集群资源。
模板版本升级¶
流数据处理服务新增了升级任务模板版本功能。当流数据处理服务发布新版算子库或算法模板后,你可以在线升级现有流数据处理任务使用的模板版本,提高流数据处理任务的运行效率。
更多信息,参考 升级流数据处理任务模板版本。
时序数据管理¶
在 EnOS 2.2 Release 发布中,新增了压缩存储数据、上传下载测点存储配置、和配置重复数据覆盖原数据属性等产品功能。详细信息如下:
压缩存储数据¶
时序数据管理新增了存储策略有损压缩配置功能。在配置测点数据存储策略时,可选择对存储的数据进行压缩后再存储,节省存储资源。
更多信息,参考 压缩存储数据。
上传下载测点存储配置¶
时序数据管理新增了上传和下载测点存储配置文件功能。若 OU 下已存在配置好的存储策略分组和数据存储类型,可分别下载各存储类型的测点存储配置,对配置文件进行必要的更新后,上传配置文件快速更新存储策略配置。
更多信息,参考 下载上传测点存储配置。
配置重复数据覆盖原数据属性¶
时序数据管理服务新增了配置重复数据覆盖原数据属性功能。如果业务需要已保存在TSDB中的数据不能被修改,可以在配置测点存储策略时,关闭测点重复数据覆盖已保存数据的功能。当有重复数据到来时,重复数据会被丢弃。
更多信息,参考 配置重复数据覆盖原数据属性。
数据联邦¶
在 EnOS 2.2 Release 发布中,新增了可视化联邦查询、联邦下载、和跨源分析等产品功能。详细信息如下:
联邦查询¶
数据联邦服务新增了联邦查询功能,提供可视化的数据查询界面。开发者可通过SQL语句查询各类数据源中的数据,进行应用调试及数据分析。
更多信息,参考 在线查询数据。
联邦下载¶
应用开发和数据分析人员可在可视化界面完成任务配置,通过授权的通道从数据源下载文件。
有关联邦下载的更多信息,参考 下载文件。
跨源分析¶
在开启读通道时,可选择是否开启跨源分析。开启跨源分析后,在使用联邦查询时,可使用统一的SQL语句对多数据源进行跨源查询。
有关跨源分析的更多信息,参考 启动通道。
数据订阅¶
在 EnOS 2.2 Release 发布中,数据订阅服务新增了订阅资产OTA事件数据功能,包括订阅与OTA固件文件和OTA任务事件相关的数据。
更多信息,参考 创建订阅任务。
数据同步¶
在 EnOS 2.2 Release 发布中,数据同步服务新增了数据匹配模式选择功能。当从 BLOB、FTP、SFTP、或 S3 同步数据到 EnOS Hive 时,可选择数据匹配模式(按列序匹配或按列名匹配)。按列名匹配模式适用于同步的文件有不定时新增字段的情况,所以上传的文件必须带有表头信息。
更多信息,参考 创建从外部数据库同步数据到 Hive 库的手动调度的任务。
批数据处理¶
在 EnOS 2.2 Release 发布中,批数据处理服务新增了脚本开发和监控任务节点功能。详细信息如下:
脚本开发¶
批数据处理服务新增了脚本开发功能,用户可以在线编辑和调试 Hive SQL 和 Spark SQL 脚本,以及管理脚本的版本。开发的脚本可在任务流中的 PYTHON 任务节点中调度使用。
更多信息,参考 脚本开发。
监控任务节点¶
批数据处理服务中的任务流运维新增了监控任务节点功能。通过监控任务节点的资源使用情况,可动态调整任务节点资源配置。
更多信息,参考 监控任务节点。