今年能源行业有个热词是“泛在电力物联网”，这是国家电网公司推进“三型两网”建造的重要内容和关键环节。依照规划，到2021年开始建成泛在电力物联网，根本完结业务协同和数据贯穿；到2024年，全面完结业务协同、数据贯穿和统一物联办理，形成共建共治同享的能源互联网生态圈。


当前，业界纷纷展开对泛在电力物联网的研究和布置作业。百度结合边际核算、物联网、时序数据的技能特性，对泛在电力物联网的数据利用提出了一些看法，供业界参阅。

泛在电力物联网是什么？

依照业界通用解释，电网规划泛在电力物联网是指环绕电力系统各环节，充沛使用移动互联、人工智能等现代信息技能、先进通信技能，完结电力系统各环节万物互联、人机交互，具有状态全面感知、信息高效处理、使用便捷灵敏特征的才智服务系统，包括感知层、网络层、渠道层、使用层四层结构。

泛在电力物联网的呈现，不仅是技能的变革，更是办理思维的提高和办理理念的立异。泛在电力物联网将电力用户及其设备、电网企业及其设备、发电企业及其设备、供货商及其设备、以及人和物连接起来，发生同享数据，为用户、电网、供货商和其他社会机构供给服务。


一、怎么经过专门的时序数据处理系统应对激增的数据量？

未来泛在物联网使用之后，数据量会激增，需求更专业的基础数据组件来处理。


以智能电表为例，一般商业用电都收集96点数据：即每天收集96次数据，也便是15分钟发送一条记录到云端。以全国智能电表6亿台来核算，一天发生的数据条数就会高达576亿条。


以Hadoop系统为代表的互联网大数据解决方案，首要处理的是互联网领域的非结构化数据，比如微博数据、搜索记录、新闻热点、爬虫数据等，不足以完全应对泛在物联网的数据特色。


泛在物联网的数据与传统大数据有如下区别：

▷ 时刻序列特征明显，数据只有时刻戳和数值在改变。

▷ 数据量大，上报频率高，而且维度多。

▷ 写多读少，90%以上是写场景，10%是读场景。

▷ 读写正交，同一个时刻点写入多个维度数据，但一般会跨时刻范围来读取同一个维度。

▷ 聚合剖析，很多数据的聚合值更有意义。

 



针对泛在物联网数据的这些特色，对系统提出了更高的要求：

▷ 数据要紧缩存储以节省本钱。

▷ 高效的写入功能，且可横向扩展。

▷ 极高的查询功能，查询一段历史数据的聚合值要能秒级回来。

▷ 敞开交融，与大数据渠道生态交融以及标准SQL接口，便利集成各种大数据使用。


经过对泛在电力物联网时序数据的高功能存储和处理，  电力咨询让泛在物联的数据高效处理成为可能，为数据的有用利用打下基础。


二、时序数据办理怎么与传统数据办理交融？


在泛在物联网的背景下，很多时序数据的发生为传统数据办理也带来了新的思路。时序数据往往数据量大、价值分散，要充沛利用时序数据的特色和优势，来支撑企业全体的数据办理结构。


时刻序列数据大部分经过设备收集传输而得到。因为传感器设备及网络等原因，在收集、 传输等各个环节都可能会呈现问题，导致数据质量难以确保，加大了数据办理的难度。时刻序列数据ETL有反常检测、数据填充、数据质量判别几个方面，和传统数据比较多了时刻维度。

  

 

举三个典型的时序数据处理形式：


▷ 反常检测便是检测时刻序列数据中的反常数据。例如，在几秒范围内，温度传感器不会报告差异很大的温度读数，不会显示出温度的剧烈改变。

▷ 数据填充是对反常值和缺失值根据周期、趋势等进行填充。

▷ 数据质量判别是对上传时刻序列数据进行质量判别。数据质量过差时，能够及时让数据上传方修正问题（如更换传感器）。

经过对时序数据的办理和处理，给模型使用开发供给了条件，结合云端使用模型开发和物联网的边际核算，将开释物联网的强壮力气。


三、边际核算开释数据价值


以上两点对数据的处理只是基础。随着边际核算的开展，云端的模型使用现已具备在边际端运转的条件。设备上报数据到云端处理的传统物联网结构也正在慢慢向“边云交融”的架构交融开展。

为什么边际核算会在物联网的场景下发挥这么重要的价值呢，对于使用开发者来说，端上开发有以下几个难点：


1、端上的环境非常复杂，端上适配难。首要的通信芯片厂家有40多家，首要的操控芯片厂家有20多家，就算是最近刚兴起的AI芯片首要厂家也现已有10多家，与芯片适配的片上系统也非常复杂，所以端上适配模型就变得很困难。



2、办理海量设备和使用分发难。边际核算的场景，不仅仅是设备办理和上传数据，很多的使用都是在云端完结练习和开发，需求同时分发到各个边际侧，那就要有一个安稳的分发系统来保障。


经过“边”和“云”的协同，完结了“数据上行、常识下行”，完结更有层次的企业IT架构，特色如下。


►  “云上分发，边际履行”。边际核算的云上完结使用开发，  电力技术研发经过端云一体结构将使用分发到边际履行。边际核算现已成为物联网云渠道的一部分，经过边际核算，能够下降远传延迟、削减传输流量，而且能够允许数据暂时离线，完结数据私有化。


► “云上办理，海量边际”。在云端根据物联网来进行海量边际设备的办理，而且能够进行使用配置、使用分发和更新、使用运转监控等。


► “边云协同，数据闭环”。物联网设备的数据上传到云上以后，云上根据海量数据完结使用开发，经过多级使用分发将使用分发到本地运转；本地的使用运转监控又能够将数据传到云端，对使用进行主动调优，调优后的模型又能够主动分发到本地。完结数据与使用的闭环。

举个比如，面向电网巡检视频剖析场景，经过智能边际，将机器视觉模型放置在无人机上，能够辨认杆塔是否需求维护，经过端云一体，能够将可用样本回传到云端进行模型优化，而且长途升级优化。既下降了视频的远传带宽本钱，也削减了人作业业，保障作业人员安全。