点击上方“深度学习大讲堂”可订阅哦！深度学习大讲堂致力于推送人工智能，深度学习方面的最新技术，产品以及活动。 近年来，计算机视觉领域中尤其是深度学习技术，在人脸识别、智能驾驶、场景分类等任务中获得了非常广泛的应用，也是各路英豪逐鹿之地。本期大讲堂则对另外一个虽鲜为人知，但时刻在我们身边，且极具价值与挑战性的场景：电力系统自动故障检测进行介绍，分享深度学习这一新兴技术与传统行业碰撞出的激情火花。 一、我们用图像处理与深度学习做什么 在特斯拉设想的大规模无线输电系统普及之前，目前我国的电力系统仍是由发电、输电、变电、配电等环节构成。其中保障输电线路的可靠性是智能电网建设的重要内容。而绝缘子是输电线路中极其重要且大量存在的部件(据不完全统计，截至2009年10月我国在线运行绝缘子共23亿片)，起到电气绝缘及机械支撑作用；同时又是故障多发元件，其表面污秽、裂纹、破损等表面缺陷严重威胁电网的安全运行。据统计，由绝缘子缺陷引起的事故目前已成为电力系统故障中所占比例最高的。因此对绝缘子表面缺陷进行智能检测，及时完成故障诊断尤为重要。下图是输电线路场景图像，左图是常见的高压电力输电线路杆塔， 右图是电力检修人员正在660kV线路上带电对绝缘子进行检修(图片来自国家电网公司)。 下图是基于直升机与无人机的输电线路巡检平台。空中飞行平台(如直升机、无人机等)巡线，由于其具有高效、准确和安全等特点，近几年已成为输电线路巡检的重要方式，利用平台上装载的摄像头获取了大量航拍图像，其包括了有效的绝缘子目标信息；若对这些海量视频数据采用工作人员肉眼判读而没有自动图像分析功能的话，易发生严重的检测误判或漏判情况，难以准确发现绝缘子存在的安全隐患，且极大地增加了检修成本。因此利用图像处理技术研究绝缘子表面缺陷的自动检测方法是非常必要的，可提高其检测的准确性，并使空中飞行平台巡线系统更为高效和智能。 基于航拍图像的绝缘子缺陷检测方法，目前仅有一些初步研究，很多是在实验室环境下进行，具有很大局限性，并没有考虑绝缘子图像的复杂背景等因素。来源于输电线路的航拍图像具有如下特点： ①绝缘子与导线、开关、杆塔、金具等相连，或相互遮挡； ②来自视频中的图像分辨率相对较低； ③图像背景十分复杂，经常包含森林、山川、田地、房屋、河流、道路等不同自然景物，且随着四季的更迭背景外观会随时改变； ④巡检过程中，目标物体的相对运动以及摄像设备的“振动”会引起图像的退化现象； 航拍绝缘子图像如下图所示，表示了不同传感器所获得的航拍图像，左图是可见光图像，右图是红外热像图像。 这些特点导致绝缘子目标在图像中不够突出，且增加了处理难度，很难获得具有适用性强的自动检测方法。所以直接用现有算法检测航拍图像中的绝缘子表面缺陷，不能获得满意的效果，必须结合绝缘子图像的特性，从理论体系和技术方法等方面对其自动检测方法进行更深入的探索和研究。 二、基于深度学习的绝缘子状态自动检测系统的构建 电力输电线路绝缘子状态检测任务可分为两大方面，首先为目标检测，即在图像中定位出绝缘子的目标，其中要克服背景复杂，图像分辨率低等不利因素；第二，就是对其状态进行分类，如表面污秽、裂缝、破损等状态。如何提取出能够充分辨别出故障的特征是目前研究的热点。一基于先验形状的绝缘子定位方法 从复杂背景航拍图像中定位出绝缘子串是对其表面缺陷检测的必要前提，我们在对大量航拍绝缘子图像进行实验分析的基础上，挖掘了绝缘子串的先验形状统计特性，提出了基于方向角检测与二值形状特征的定位方法(Localization of multiple insulators by orientation angle detection and binary shape prior knowledge)[1]，发表于：IEEE Transactions on Dielectrics and Electrical Insulation。绝缘子是由多个具有相似凹凸曲线轮廓的伞盘组成，以多条直线段近似绝缘子伞盘轮廓曲线，则多条直线段间仍保持相似性。直线段的交点可被提取为形状特征点。位于绝缘子伞盘上相对位置相同的形状特征点近似在一条直线上，且该直线与绝缘子主轴方向平行，即为共线原则。该原则可被用来提取绝缘子可能的主轴方向。 遍历所有的轮廓线后，得到所有可能的主轴方向，解决了航拍图像中不同主轴方向的多绝缘子的方向检测问题。紧接着利用我们所提出的三条绝缘子二值形状先验约束，对图像进行像素级去除与保留，因此完成了航拍图像中绝缘子的定位，实验过程与结果如下图所示：二基于中层特征构建的红外图像中绝缘子定位方法 由于红外图像成像机理的独特性，对于红外图像目标识别需要考虑其分辨率低，形状特性不显著的特性。我们提出了利用二进制鲁棒尺度不变特征点(Binary Robust Invariant Scalable Keypoints, BRISK)对绝缘子进行中层特征建模，构建更具有区分性的复杂特征描述。该工作(Representation of Binary Feature Pooling for Detection of Insulator Strings in Infrared Images)[2], 已录用于：IEEE Transactions on Dielectrics and Electrical Insulation。 利用局部不变特征，结合VLAD对描述子进行Aggregation可以得到一个较HOG, LBP等更具有不变性的特征表示。由于BRISK为二进制描述子，相比SIFT, SURF等浮点型描述子，采用Hamming距离进行计算可以大大节约计算资源。我们还构建了小规模的红外图像绝缘子的数据集，部分正负样本图像如下图所示。 利用所提出的特征构建方法，提取中层特征进而对线性SVM二分类器进行训练。并将训练得到的分类器嵌入多尺度滑动检测框架，从而可以实现对目标的定位。 以上所介绍的工作皆基于传统的CV方法，近年来，深度学习尤其是卷积神经网络(DCNN)在图像识别所取得的成果令人瞩目，我们也对深度学习进行了尝试。三基于深度特征的绝缘子状态检测方法 绝缘子定位方法能够精确定位绝缘子串，且误定位率低，耗时短。我们将定位后的绝缘子串分割为多个伞盘图像，因此可以判断每个伞盘的故障类型。由于我国幅员辽阔，南北气候差异大，不同环境、不同电压等级所采用的绝缘子类型也不同，如下图（不同材质的绝缘子，从左到右依次为复合型，玻璃型，陶瓷型）所示，各种绝缘子具有不同材质，形状。传统的手段就需要分别为其设计诊断算法，目前基于手工特征的绝缘子状态诊断方法鲁棒性差，计算复杂及处理的绝缘子故障类型单一。受到深度特征独特性的启发，我们率先将DCNN应用到输电线路绝缘子的故障诊断中，通过深度网络来发掘绝缘子故障的相应表达。 将定位后的绝缘子图像二值化，并按行扫描绝缘子图像，统计每行绝缘子图像的像素点数，如下图（绝缘子串分割）所示，以像素点数的波谷处为分割线，分割绝缘子图像为多个绝缘子伞盘图像。 我们以正常、破损、裂纹及污秽等多种绝缘子伞盘图像建立航拍绝缘子伞盘图像库。相比常见的人脸、场景等数据库，该数据库规模更小，无法满足训练或者fine-tuning的需求。因此利用ImageNet预训练的模型进行特征抽取再进行分类不失为一种简单可行的方案。 我们提出了一个简单的基于DCNN的绝缘子状态判别方法(Multi-patch Deep Features for Power Line Insulator Status Classification from Aerial Images)[3], (IJCNN 2016)。由于我们的数据库规模较小，因此采用pre-trained DCNN model作为特征提取工具，模型采用的是AlexNet。对于绝缘子定位仍采用之前的方法，利用提出的Orientation Angle Detection and Binary Shape Prior Knowledge (OAD-BSPK)[1] 对目标进行定位。然后进行深度特征提取，相比于直接利用一张图片进行forward 计算，我们在原图上随机生成10个patch，对每个patch进行forward 计算，并对得到的特征进行求均值操作。对于得到的multi-patch特征，训练SVM分类器。 整个方法流程如下图（航拍图像绝缘子定位、状态判别流程）所示，仅利用DCNN网络作为特征提取器，测试结果远远超过BoF等手工特征，故障分类准确率由91.83%提升至98.71%。 通过提取多个patch的特征进行pooling可以提高故障诊断的准确率，然而实际的绝缘子目标在输电线路中具有不同的角度，形状，对于仅仅利用fully connected layer中的特征并不能充分表达目标属性，我们最近也在中间卷积层中对特征进行理解与建模，充分利用深度模型多层之间的联系。我们可视化了一些中间结果，抽取不同卷积层的feature map进行分析，不同层中的神经元对于绝缘子目标有着不同的相应，神经元的激活响应表现出稀疏性与选择性，下图为conv4与conv5层部分feature map的可视化结果。 在故障诊断之前的目标定位仍采用形状等底层特征，对于此，我们也将利用深度学习来对绝缘子进行目标检测，然后再进行基于深度学习的故障分类，相关的工作也将在不久之后进行介绍。目前，将深度学习应用于电力，机械等传统工业领域仍有许多的问题需要解决，对于不同场景下数据分布之间的差异，深度模型的运行效率等问题仍需要进一步研究。 三、未来深度学习在电力系统智能检测中的应用前景 随着智能电网建设进一步深化，利用无人机、机器人等手段对输电线路进行智能巡检将得到更广泛的应用。由于电力行业的特殊性，对于智能化水平要求的进一步提高，这也对设备识别准确性与实时性提出了更高的要求，所以深度学习在电力系统自动故障检测中必大有可为。 相关文献[1] Zhenbing Zhao, Ning Liu, and Le Wang. "Localization of multiple insulators by orientation angle detection and binary shape prior knowledge." IEEE Transactions on Dielectrics and Electrical Insulation, 22 (6), 2015: 3421-3428.[2] Zhenbing Zhao, Guozhi Xu, and Yincheng Qi. "Representation of Binary Feature Pooling for Detection of Insulator Strings in Infrared Images." IEEE Transactions on Dielectrics and Electrical Insulation, Accepted 2016.[3] Zhenbing Zhao, Guozhi Xu, Yincheng Qi, Ning Liu, and Tiefeng Zhang. "Multi-patch Deep Features for Power Line Insulator Status Classification from Aerial Images." In IEEE International Joint Conference on Neural Networks (IJCNN), Oral 2016.致谢 在本文的撰写过程中，我的硕士研究生徐国智对深度学习的相关工作进行了整理归纳，我们进行了深入探讨，感谢深度学习大讲堂公众号所提供的交流平台。 该文章属于“深度学习大讲堂”原创，如需要转载，请联系loveholicguoguo。作者简介赵振兵工学博士。华北电力大学电力与电子工程学院副教授，硕士生导师。长期从事计算机视觉、图像处理、机器学习及其在智能电网中的应用研究。目前以第1作者出版专著1部、发表SCI或EI收录论文20余篇；主持国家自然科学基金1项(61401154)、河北省自然科学基金1项(F2016502101)、中央高校基本科研业务费专项资金3项(2015ZD20、12MS122、09QG10)；主持电力企业合作课题4项；以第1完成人获得国家专利授权11项。 Email：zhaozhenbing@ncepu.edu.cn欢迎关注我们！深度学习大讲堂致力于推送人工智能，深度学习的最新技术，产品和活动！ 深度学习大讲堂