1. 电力大数据

电力系统是实现电能生产、传输、分配和消费瞬时平衡的复杂大系统。智能电网需进一步实现各类新能源、分布式能源、各种储能系统、电动汽车和用户侧系统的接入，并借助信息通信系统对其进行集成，实施高效的管理和运行。风、光、海洋能等新能源发电的发展和电能生产受到国家政策、激励机制、地理环境和天气状况的影响;分布式能源和电动汽车的发展和接入运行、用户侧系统与电网的互动受社会环境、用户心理的影响;随着智能电网的发展，电网的复杂性和不确定性进一步加剧，不同环节的时空关联性更加密切，使电网的发展和运行受外部因素的影响加大。与此同时，社会对电力供应的经济、安全、可靠性和电能质量提出了更高的要求，智能电网中部署的WAMS系统、AMI系统、调度自动化系统、PMS系统、输变电设备监控系统等为认识电网特性、预测电网发展和可能的运行风险提供了依据。

2. 电力大数据包含哪些数据

借助大数据技术，对电网运行的实时数据和历史数据进行深层挖掘分析，可掌握电网的发展和运行规律，优化电网规划，实现对电网运行状态的全局掌控和对系统资源的优化控制，提高电网的经济性、安全性和可靠性。基于天气数据、环境数据、输变电设备监控数据，可实现动态定容、提高输电线路利用率，也可提高输变电设备运检效率与运维管理水平;基于WAMS数据、调度数据和仿真计算历史数据，分析电网安全稳定性的时空关联特性，建立电网知识库，在电网出现扰动后，快速预测电网的运行稳定性，并及时采取措施，可有效提高电网的安全稳定性。

电力设备状态大数据分析所需要的数据主要包括：设备台账、技术参数、巡检和试验数据、带电检测和在线监测数据、电网运行数据、故障和缺陷记录、气象信息等,涵盖能够直接和间接反映电力设备状态的信息。根据电力设备状态信息的更新频率,可以将上述不同来源的状态信息划分为3大类：静态数据、动态数据、准动态数据。静态数据主要包括设备台帐、技术参数、投运前试验数据、地理位置等;动态数据通常按分钟、小时或天为周期更新,是反映设备状态变化的关键数据,主要包括运行数据、巡视记录、带电检测数据、在线监测数据、环境气象等;准动态数据通常按月或年定期或不定期更新,主要包括检修试验数据、缺陷/故障/隐患记录、检修记录等。

电力设备状态数据具备典型大数据特征,传统的数据处理和分析技术无法满足要求,主要体现在：

1）数据来源多。数据分散于各业务应用系统,主要来源包括设备状态监测系统、生产管理系统（统(production management system,PMS)、能量管理系统（energy management system,EMS）、地理信息系统（geographic information system, GIS）、天气预报系统、雷电定位系统、山火/覆冰预警系统等,各系统相对独立、分散部署,数据模型、格式和接口各不相同;

2）数据体量大、增长快。电力设备类型多、数量庞大,与设备状态密切相关的智能巡检、在线监测、带电检测等设备状态信息以及电网运行、环境气象等信息数据量巨大且飞速增长;

3）数据类型异构多样。电力设备状态信息除了通常的结构化数据以外、还包括大量非结构化数据和半结构化数据,如红外图像、视频、局部放电图谱、检测波形、试验报告文本等,各类数据的采集频率和生命周期各不相同;

4）数据关联复杂。各类设备状态互相影响,在时间和空间上存在着复杂的关联关系。

3. 电力大数据抽取及清洗操作

数据抽取模块主要负责从原业务系统获得结构化和非结构化业务数据。通过在数据抽取工具中配置前端机器名称、端口号、加密用户名密码、数据表等信息，实现结构化数据的抽取工作。对于日志类文件由于在原服务运行期间日志文件是持续写入状态，因此必须在原系统设置，系统日志按时间节点分割，一般可按具体业务运行情况和日志产生量和产生大小进行设定，避免因日志文件过大或网络繁忙，在抽取时对业务造成影响。

格式清洗模块主要是对原始数据中多种不同配置格式进行统一，特别是对非结构化数据，需定义每个字段的含义和位置以及统一分隔符，同时还会去掉一些记录不完整的坏数据，保证数据的格式统一，信息完成。最后导入HDFS文件系统进行存储。

4. 电力大数据应用模式

可以根据数据来源，将电力大数据管理系统分成用户管理系统、电网运行管理系统、企业管理系统；相应地，电力大数据也有三种商业模式可以挖掘，即智能化节能产品、电力大数据服务平台和优化需求侧响应。