时序数据库 IoTDB 在中芯科技的主要应用

发布时间：2023-09-12 11:37:06 所属栏目：动态来源：

导读：工业物联网场景中，随着工厂设备日益自动化、复杂化，传统的人工抄表、人工记录等管理模式无法适应厂务设备管理需求，通过接入具有时序数据管理能力的数据库，构建针对厂务耗量数据的实时数据中心，有助于实现智能化

工业物联网场景中，随着工厂设备日益自动化、复杂化，传统的人工抄表、人工记录等管理模式无法适应厂务设备管理需求，通过接入具有时序数据管理能力的数据库，构建针对厂务耗量数据的实时数据中心，有助于实现智能化厂务耗量分析，进而及时处理生产异常事件、节省能耗成本、提高产线能效。

业务方向：智能厂务耗量分析

时序数据库 IoTDB 在中芯科技的主要应用方向为厂务，是为生产提供水、电、气、热、化学品等动力、材料供应，维持生产所需环境的保障、服务部门。同时也是执行环境保护政策、持续改善节能减排、处理生产时所产生的废水、废气、废液、部分固体废弃物的部门。

传统厂务完全依靠人（人工抄表，人工记录，报警人员通知等），厂务系统智能化是行业大趋势。传统发现能源消耗都是靠人的经验，通过事后总结发现问题，智能监控和耗量分析能及时发现问题。为在厂务层面提高生产效率、降低能源消耗、预判设备故障，需要寻求对于厂务部门产生的耗量时序数据更优的管理方案，以通过智能厂务耗量分析，实现降本增效。

中芯科技在智能厂务耗量分析的业务痛点如下：

人工抄表计算存在误差

中芯科技厂务部门在能源方面，主要是做人工抄表，通过抄表得到每一天不同的设备的能耗情况。这些能耗情况都会是通过人工去抄录并计算的，而这种抄录可能会存在一些时间上的不稳定，计算也可能会出现一些误差，影响实现精准的耗量管理。

存在能源浪费

当前中芯科技的厂务设备中，其实在某些环节会存在一些能源浪费，比如研磨液系统。然而通过目前中芯科技的厂务业务，无法明确知道哪些环节造成了浪费，进而也就无法准确做出工艺/环节改进措施，达到深入业务链路降本增效的目的。

经过数据库选型，中芯国际选择了时序数据库 IoTDB 支持厂务时序数据的写入、存储与计算。时序数据库 IoTDB 除了高吞吐、高压缩的底层性能表现能够完整的保留目前所有传感器的厂务数据，它还能够对于耗量数据进行实时计算、监控与分析，方便中芯国际实现后续的厂务流程优化。

解决方案：建立厂务耗量实时数据中心

FCMS 这一侧是数据的源头，采用了西门子服务器设备，数据的传送由这些设备发起。它们会采集不同设备上的传感器数据信息，然后通过 PLC 上报的方式上报给中央节点，然后将数据信息进行推送。推送的数据首先会经过数据隔离区，然后由代理 server 转发到在这里部署的数据采集服务。数据采集服务器共部署有两台，互为备份。

整个架构的思路是，上层将 PLC 数据按批次打包，通过 Rest API 收集上游的数据推送。然后，推送的数据首先会进入消息队列，原始数据会写入 Kafka 集群。接下来，在办公网络通过 Java 程序做消费监听处理，数据进入 Spring-Kafka 消费队列，点位排序后，消费的数据会组织成 tablet，写入 bitmap。最后，通过时序数据库 IoTDB 提供的 Session Pool 管理会话连接，并利用 IoTDB Tablet 进行批量写入。以数据平台为技术底座，并结合网关 API 负载均衡、数据转发等设置去解决负载压力，中芯国际在业务上，能够基于时序数据库 IoTDB 实现点位的信息查询、耗量的统计，以及实现了失败补偿的 schedule、任务。

时序数据处理难度包括数据量大、上报频次高、乱序/空值数据处理等多项难题，相比其他类型的数据库，时序数据库 IoTDB 的树形数据模型能够根据水电气等系统设备在工厂的真实关系进行映射，并达到高扩展性，有效减少了运维学习成本。同时，时序数据库 IoTDB 可达到毫秒级写入、10倍+无损压缩比的性能，也完全能够满足中芯国际的时序数据存储需求。目前，中芯国际共有上万个时间序列，并可实现在现有硬盘资源条件下，永久保存数据，存储成本可控；相比以前使用的写入方案，目前的方案单实例吞吐量提高 3 倍，2 实例运行吞吐量提高 6 倍。

在保障数据高通量写入、低成本存储的情况下，时序数据库 IoTDB 还内置了 70+ 个 UDF 函数，包括数学函数、趋势计算函数、降采样函数、区间查询函数等多类，对于实际生产过程中需要的基本运算需求和针对时间类属性的查询需求，都专门设置了算子，能够直接支持，进而能够实时查看数据趋势，准确判断能源耗量。并且，时序数据库 IoTDB 支持用户自定义计算函数，可保存至系统进行下一次运算。

时序数据库 IoTDB 这样的性能优势就保证了数据存储的实时性、计算的准确性、业务预判与改进的可能性，对于中芯科技的厂务业务可发挥明显的自动化、智能化作用。

（编辑：汽车网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!