2022年企业应用运维管理指标体系白皮书

原创艾瑞艾瑞咨询

运维管理丨研究洞察

导语：

IT运维对企业发展数字化业务、实现数字化转型具有重要意义。为了提升运维的投入产出比，并提升运维侧对业务侧的价值创造属性，企业的运维部门需要构建一套指标体系。本报告首先阐释了企业IT运维的内涵，以及在当前数字经济发展的大环境下企业IT运维工作在技术、战略、组织架构等方面面临的变化和问题，并展示了一种以业务和应用为着眼点的企业应用运维管理指标体系，对该体系的原理、设计和实践进行了详细说明。

本报告内容着眼于运维指标体系的构建，分为三个章节：第一章阐释了在当前数字经济发展的大环境下，企业IT运维工作在技术、战略、组织架构等方面面临的变化和问题；第二章展示了以业务和应用为着眼点的企业应用运维管理指标体系，从业务、用户端、应用端、网络、资源层、中间件、数据库七个层面，分别说明其运维价值和重要运维指标；第三章主要基于调研、验证、阈值、评价体系、闭环等五个步骤，对该指标体系的建设进行了说明。

企业IT运维概述

IT运维是企业对其所拥有和管理的IT软硬件资源设施进行监测、维护、优化的过程。企业的IT运维工作根据运维视角和对象的不同可以分为企业侧的基础设施运维、应用系统运维、网络通信运维以及用户侧的用户体验管理等。

随着互联网服务深入千行百业，数字化应用成为企业和机构为用户提供服务的重要形式，直接对用户体验环节进行监测和优化成为IT运维的新思路和途径，相较于传统的面向企业IT资源的运维，面向用户体验的IT运维方式更加聚焦于前端业务侧，能以更显而易见的方式提升各项服务的表现。随着互联网经济的发展，这一运维思路已在企业中得到了充分实践。

IT运维背景：企业的数字化基础设施和应用现状

国家政策引导数字化支撑企业经营发展

以数字化工具为代表的前沿科技已经成为企业经营发展的重要推动力以及社会重要生产力，一直以来国家政策对数字化建设保持着积极乐观的支持态度，近两个“五年规划”均提及了支持企业通过数字化转型升级提升经营能力和水平。在此环境下，各部委和地方政府也在不断出台鼓励政策，支持数字经济发展，推动数字能力向传统企业渗透，赋能传统提升经营效率。

云计算的普及形成了多样化的IT基础设施布局

近十年来基础云服务在国内企业间深度渗透，各行各业和不同规模的企业以不同的方式部署了基础云计算产品，大型集团企业或者具备系统性重要性的行业企业出于合规和数据安全考虑，更倾向于同时使用公有云和私有云，将不同类型的数字功能部署在不同位置，由此，混合云成为了金融、交通、政务等关键行业企业的普遍选择。多云和混合云使得企业的基础IT资源架构复杂化，提升了企业运维的洞察力要求。此外，基础云服务本身作为一种计算资源的获取方式，实际上是企业利用网络通信资源来代替本地化部署的计算资源。因此，企业为了保障基于云服务的数字应用质量，需要同时对网络通信的质量进行监控，构建全方位的IT资源监测和优化体系。

云原生带来了运维技术和理念的深刻变化

云原生已经迈过了概念期，在各行业得到了充分应用，未来还将进一步推广。云原生体现了云计算发展的下一阶段的模式：以容器技术以及微服务架构为基础，云原生模式下企业调用云资源的颗粒度和弹性都能够得到显著提升。同时，经微服务改造、运行在容器环境下的应用程序架构和管理也更加复杂，需要更具深度和洞察能力的运维工具对其进行透视，帮助企业监测云原生应用的运营状况。

除了给企业的IT基础架构以及运维手段带来改变，云原生也对企业运维部门的工作方式方法造成了深刻影响，典型代表是DevOps（开发运维一体化）理念和实践的推行。DevOps的首要作用在于通过云原生架构为开发和运维部门提供一致性的工作环境，使得开发人员能够便捷地参与运维工作，从而将原本割裂的两个部门体系打通，提升软件工程的整体效率。DevOps的推广与云原生架构的普及密切相关，因此，也可以认为云原生技术给企业运维部门的工作方式和流程带来了改变。

数字经济环境下IT运维的价值创造属性更加显著

除了IT基础设施形式及技术更迭之外，企业应用层的变化也在影响着运维部门的任务与长期价值。产业数字化和数字产业化在三次产业中的渗透率正在不断提升，其中尤其以第三产业最为突出。数字经济的深化发展使得企业经营活动的形态发生了显著的变化，以数字形态和互联网渠道发生的经营合管理活动越来越多，形式创新也在不断更迭。

企业经营活动的转型使得运维工作的密集度、重要性和战略价值都出现了提升，此前企业的IT系统主要面向内部使用，现在新增了大量面向客户提供服务的模块，从而使得企业的运维质量直接关系到客户的使用体验以及对企业的整体评价，进一步影响企业的市场形象和品牌价值。对于互联网娱乐、互联网金融等体验属性较强的业务而言，上述影响更加显著，这也使得这些企业对数字化环境中的IT运维建设格外看重。

数字化时代企业IT运维的战略部署

企业IT运维的全面战略价值

整体来看，IT运维工作能够为企业带来三方面的价值：通过更加精确的资源需求统计，帮助企业降低冗余的IT投入，从而带来直接的会计价值；企业在数字化环境下，运维部门通过业务大数据分析能够指导业务部门的产品改良或创新，由此有望为企业带来业务创收，这部分价值也应当纳入管理层对运维部门成本效益的考量；此外，由运维创新带来的企业服务质量的提升能够帮助企业提升市场形象，由此带来的品牌价值尽管无法估算，但对于企业的经营和发展仍然有着重要意义。

为了充分发挥上述价值，尤其是对业务部门和公司品牌的价值，运维部门需要在运维工作的开展方式上进行优化。传统视角下，运维部门着眼于归属企业的IT资产端，以保证在内部视角下IT系统稳定运行，但在数字化时代，运维工作更需要从用户视角出发，也就是从应用端着手，将提升应用端的高质量体验置于优先地位，“自上而下”地进行从应用端到资源端的穿透，从而为企业整体带来提升用户粘性和品牌声望的提升。

企业的IT运维组织架构革新

IT运维部门在企业中的组织架构关系也体现着运维的具体工作内容以及对企业的意义。运维部门通常隶属于CTO，与开发、集成等其他信息技术部门并列。在传统的企业架构中，IT运维属于不直接创造价值、仅仅为支撑前端业务运营而存在的“后台”部门，其支出也被理解为纯粹的费用，比较难以获得企业的主动投入和规模建设。随着企业数字化转型的开展，运维部门除了发挥固有的IT支撑作用之外，还开始通过业务系统数据洞察来帮助和指导企业的数字化业务创新，从而具备了一定的“中台”作用。

运维部门要充分发挥对业务侧以及企业整体的赋能价值，在配备具备大数据、智能分析等运维产品之外，也需要在组织架构方面进行改良。企业需要创设业务侧与运维部门的沟通渠道，并将之形成固有的制度体系，使得运维部门的建议能够传达到业务侧并有效落实——由于涉及到企业的组织架构调整，这可能是一个相对缓慢的过程，但对于企业IT能力的充分发挥至关重要。

企业IT运维的成本效益考量

从运维部门的成本投入上看，以运维服务器（如监测服务器、备份服务器等）为代表的运维硬件的购置成本和设备运行过程中产生的电力及损耗占据60-70%的比例，其他成本主要包括运维软件及IT人力投入。通过智能化、体系化的运维创新，企业能够减少占较大比重的运维硬件固定投入，并降低重复性的人力投入，将优秀的IT设备和人才资源投入到更具创造性的开发工作中去。

在新兴的智能运维领域，在提升可用性、稳定性之外，智能运维的重要价值就在于减少重复的人工投入，提升自动化水平，因此企业在评估智能运维成效的时候，也需要综合考虑智能运维的这一属性为企业带来的成本优化。对于运维数据体系建设较完善的企业，还应当将运维给业务部门带来的价值增量纳入考察范围，由于基线难以确认，又涉及企业组织架构间的协调，这一指标相对难以构建，但管理层仍然需要注重这一价值，以便正确衡量智能运维投入的性价比。

企业IT运维的需求和难点

数字化时代，企业更需要体系化的运维指导

前互联网经济时代，企业的运维体系是从内部视角出发构建的，现今需要向应用端视角转变，二者的根本目虽然是一致的，但在运维工作的方法上需要更新，企业随之产生了对新环境下的运维体系的方法论需求。结合下图中国内某头部厂商城商行的运维现状、问题和发展规划可见，要适应上述的基础架构和业务形式变化，企业需要系统化的方法论指导、明确的指标体系的引导。这些前期工作的积累和沉淀，能够为企业运维工作带来执行效率和管理效率的提升。

IT人才成本高企，企业运维需要系统性的知识沉淀

随着数字经济的发展及其创造的社会经济价值持续提升，我国的IT人才成本在市场需求的刺激下持续提升，国家统计局数据显示，IT行业（信息传输、计算机服务和软件业）的城镇就业人员年均薪酬在所有宏观大类行业中位居第一，保持较高的同比增速，且IT行业的平均薪酬自2016年首次超过金融行业以来就一直位居榜首位置，如果以8%的复合增长率计算，到2025年IT行业人才平均年薪将超过26万元。

IT人才成本的提高，给企业带来的直接影响是增加了聘请包含运维在内的员工的成本。另一方面，在社会分工细化和产业整合的大环境下，IT人才更可能向专业的信息科技企业流动，甲方企业更有可能面临人才缺乏和流失问题。对于企业而言，减少对人力和经验的依赖是应对上述问题的有效方法，而为了达成这一目标，企业需要为运维工作建设系统性的指标、流程和组织协作体系。

运维部门的战略转型需要疏通与其他部门的协作渠道

为了发挥企业运维侧的战略价值，企业需要自上而下地打通运维部门和其他部门之间的沟通渠道，形成合力，共同赋能于企业的数字化转型升级。下图展示了中国某头部互联网企业的运维发展状况和未来规划，对于互联网企业而言，基于数据的运维技术相较其他传统行业更加程度，但由于互联网业务的数字型，运维部门也承担着更贴近业务侧的职责，为了更好地赋能业务创新，运维部门不仅需要运维技术的迭代，也需要通过建立更完善的、能够持续赋能和迭代的运维指标体系的方式，来疏通和业务部门、管理层沟通的渠道，使运维部门能够充分发挥技术优势和创新能力，提升运维工作给企业都带来的价值，增加运维工作的投入产出比。

本报告第一章阐释了企业IT运维的内涵，以及在当前数字经济发展的大环境下企业IT运维工作在技术、战略、组织架构等方面面临的变化，并就企业IT运维的战略发展方向以及需要解决的需求和难点进行了列举。前文已经提及，企业IT运维正在经历从“后台”向“中台”的转变，进一步发挥其在企业中“降本增效”的效果。艾瑞咨询认为，为了提升运维的投入产出比并提升运维侧对业务侧的价值创造属性，企业的运维部门需要构建一套运维管理指标体系，这将帮助企业运维部门形成高效的工作流体系，提升日常运维工作的效率，减轻运维工作对人工和经验的依赖，并为基于大数据的智能运维应用的部署提供支持和引导。

上图以博睿数据的企业应用运维指标体系为例，展示了一种的全新的企IT运维指标体系，这一体系从业务视角切入，以业务场景为主题，以业务连续性为宗旨，通过直面业务场景、正向梳理IT调用链、逆向接入数据源等实施步骤，最终构建起具备概览所有业务场景健康度、俯瞰多维立体化IT指标等能力的资源指标管理体系。本章后文内容基于这一指标体系，以业务端-用户端-应用层-网络层-资源层-中间件-数据库的顺序展示了各版块主要的运维指标，并对各版块运维的价值、作用和实现方式进行了说明。

业务监测

业务数据价值

业务端是企业应用运维指标体系的首要关注点。对于企业来说，业务状况是企业管理者最关心的部分，也是企业所有决策的基础，而随着大数据和人工智能技术的发展，大量企业借助信息技术实现转型升级。下图展示了我们对业务端核心运维指标的分层以及实践中部分企业的对业务端运维指标的关注点，艾瑞咨询认为，业务数据指标能够为业务侧员工和管理者提供数据洞察，员工和管理者做决策时不再仅仅是按照经验“拍脑袋”，而是基于数据分析的结果进行战略调整及决策规划。

业务数据分析的作用

寻找优质渠道：发现高量级、高质量渠道、发现真正价值来源。

提升关键转化：探索发现用户关键行为，建立业务关键路径、提升用户转化效果、降低关键业务环节用户流失。

识别高价值用户：整合自有数据和第三方数据，掌握用户全景画像，识别高价值用户，并针对潜在购买人群进行产品升级营销、交叉营销、复购营销，提升用户粘性和全生命周期价值。

提升触达效果：整合推送、邮件、短信类的多渠道对用户进行全方位触达，并基于数据进行分群个性化触达，真正实现千人千面，做到精准投放。

提升营销效果：以推广页为起点进行转化分析，提升营销活动效果。针对未响应、未购买等人群，通过不同活动进行分层创意营销，提升活动效果和ROI4。

运营指标分类

运营指标是量化衡量标准、衡量目标的单位或方法，针对企业的Web、APP、小程序上的指标通常分为以下几种形式：

其它常见的指标类型如下图所示：

业务分析常见指标说明

转化率：转化率指在一个统计周期内，完成转化行为的次数占推广信息总点击次数的比率。计算公式为：转化率=（转化次数/点击量）×100%。例如10名用户看到某个搜索推广的结果，其中5名用户点击了某一推广结果并被跳转到目标URL上，之后其中的2名用户有了后续转化的行为。

点击率：“点击率”来自于英文“Click-through Rate”（点进率）以及“Clicks Ratio”（点击率），是指网站页面上某一内容被点击的次数与被显示次数之比，即clicks/views，能够反映网页上某一内容的受关注程度，经常用来衡量广告的吸引程度。

UV（Unique Visitor）独立访客：统计1天内访问某站点的用户数（以cookie为依据），通常将访问网站的一台电脑客户端计为一个访客，可以理解为访问某网站的电脑的数量。网站判断来访电脑的身份是通过来访电脑的cookies实现的。若更换了IP后但不清除cookies，再访问相同网站，该网站的统计中UV数不变。若用户不保存cookies访问、清除cookies或者更换设备访问，计数会加1。

（更多业务监测指标说明，请点击文末小程序查看完整报告。）

用户端体验监测

用户端体验监测价值

用户端（APP、小程序、网站等）是企业与用户的数字触点，同时也是企业获客、留客的重要途径。在互联网/数字化服务的整个链条上，客户需首要关注的是用户端体验及表现，从而使得用户端体验成为数字化经营中企业产品力和市场竞争力的重要组成部分。下图展示了用户端核心运维指标体系及部分企业的关注点，艾瑞咨询认为，以提升体验为核心的用户端运维质量会直接影响用户对企业的印象和评价，是企业开展运维工作良好的着力点。

用户端数据分析作用

分析客户端的性能及可用性表现，全面掌握不同终端、不同地域、不同运营商网络中的业务体验差异，快速定位问题成因是外部网络问题还是终端问题，确保业务在全国范围的终端侧可用。

用户端监测实现形式

用户端真实用户体验监测通用方案有两种：无侵入式模拟监测和代码注入式的体验监测。

无侵入式监测也称作模拟监测，采用分布在全国不同地区、不同运营商监测点，定时动态地访问网站服务及应用；代码注入式监测则是对全量用户数据的收集，通过SDK注入的方式全面掌握用户的感知和行为数据，不仅可以及时发现网页/APP/小程序上线后存在的应用性能不良、崩溃、卡顿等问题的原因，还可以真实反映用户的留存与操作情况，帮助开发者对APP进行优化，提高用户粘性。

用户端监测常见指标说明

可优化延时：衡量会话受可优化问题的影响的时间量，如果解决了相应的可优化问题，用户就可以在更短的时间内完成会话。使用投影法可以计算会话可优化延时。

体验评分：以百分制计算会话的综合体验评分。体验评分 =[(执行通过率/100%）舍尾取整]×(1-可用性)×100×[(1-可优化延时/会话整体耗时×权重A+(1-请求错误率)×权重B+(1-请求警示率)×权重C]，不可用或非100%通过的会话，会话体验评分为0。权重使用主客观综合赋权法确定，权重=0.8×主观权重+(1-0.8)×客观权重，0.8为初始权重参数。

首屏时间：用户访问网站时，页面第一屏的打开展现时间。

（更多用户端监测指标说明，请点击文末小程序查看完整报告。）

应用端监测

应用端监测意义

艾瑞咨询认为，用户端指标所反映的访问情况只是一个表象，用户端真正所访问到的其实是网站的后台应用，当前企业面临着日益激增的IT复杂性和业务需求的快速变化，IT应用在运行过程中发生性能下降或者服务不可用等故障的可能性大大增加，从而影响业务服务的正常运行。

下图展示了应用端核心运维指标体系及部分企业的关注点：企业的数字化业务正在不断增加，业务系统之间的关联性也在持续提升，同时，企业的IT系统的规模和架构的复杂度也在提升，传统企业可能缺乏专业的运维团队以及专业的业务应用监控工具来应对。由于虚拟化和云技术的高速发展、终端设备类型的增加和网络接入方式的多样化，如何更高效、智能地在应用容器中部署和管理探针，成为各大企业运维人员更加关心的问题，而有效地管理这些应用，保证业务的连续性和IT系统的稳定性是业务发展的迫切需要，企业需要对软件应用程序的可用性进行监视和管理。

应用监测价值

应用监测能够帮助企业快速定位问题和节约成本：通过应用监测，探针对慢请求进行深度分析，让企业能够在几秒钟内了解性能问题的根本原因，并深入到最小维度发掘特定调用的堆栈跟踪信息，只需几秒钟就能找出关于响应时间延迟的类目和方法；运维人员可以清晰地了解当前应用性能情况，例如是否是代码原因导致的应用用户体验下降，进一步导致客户的流失；针对业务工程的全部代码（包括用户级别代码）进行全程自动跟踪，且无需研发团队配合，既高效又节约了成本。

协助企业持续关注应用性能状态，并获取实时反馈：企业通过监测平台开始对应用进行检测后，系统会持续地接收所采集的样本数据，采集数据最小周期为1分钟，保证用户每次看到的报告数据都是最新的，真正做到对应用的实时跟踪。当监测平台发现潜在的服务器处理问题达到一定标准时，会以报警的形式第一时间通知运维人员，引起运维人员的重视，及时处理，从而最大限度降低损失。

助力企业应用容器化部署：对于采用应用容器化部署的公司来说，应用架构较为复杂，版本的迭代和功能更新频率较高。采用SmartAgent技术的应用监控，可自动对宿主机上所有目标应用进程进行自动识别和探针部署、配置，整个过程无需用户任何手工干预，实现服务端应用性能监测的探针自动化部署和配置。

应用监测常见功能

应用逻辑拓扑发现与可视化：以业务视角透视IT系统架构，通过应用拓扑完整展现IT系统架构，帮助用户掌握业务在各个环节的性能表现。

用户事务剖析：对指定的用户事务请求进行完整的追踪，包括在整个请求过程中调用的所有服务和组件。

应用组件深入钻取：支持对用户级代码进行分析，可呈现每一个类、每一个方法的执行效率，帮助研发团队了解业务性能表现的每一个细节。

应用监测常见指标说明

健康度：应用健康度的标示，展示应用当前是否有性能问题。常分为四个等级：正常、较慢、很慢、停滞。

Apdex：全称是Application Performance Index，是由Apdex联盟开发的用于评估应用性能的工业标准。Apdex标准从用户的角度出发，将对应用响应时间的表现，转为用户对于应用性能的可量化范围为0-1的满意度评价。

响应时间：应用的平均响应时间。

（更多应用端监测指标说明，请点击文末小程序查看完整报告。）

网络监测

网络监测价值

各个应用之间的调用通过网络来实现，各个企业IT建设的规模与复杂度与日俱增，需要通过网络监测对现有运维流程进行优化，不断提升管理和运维水平。下图展示了用户端核心运维指标体系及部分企业的关注点，艾瑞咨询认为，网络设施衔接着企业的IT基础资源和用户端的使用体验，也能够反映企业的客户数量、业务流量和业务的时间、地域等特征，在特殊场景下更牵涉数据安全等问题，能够在很大程度上帮助提升企业数字化服务的创新力和产品力。

网络监测常用实现方式

业内常用的网络性能分析通过自动采集网络中传输的数据包，提炼加工出网络侧的指标数据进行分析展示，具备数据回溯、定位故障、告警、分析报告等功能。

网络监测常见指标说明

流量：传输数据的总量(单位Byte)。

吞吐量：传输数据的速率（单位bps）。

建连成功率：建连成功次数占总请求次数的比率。

（更多网络监测指标说明，请点击文末小程序查看完整报告。）

资源层监测

资源层监测价值

网站所有服务均体现在基础资源层面，因此基础资源监控是所有监控中最底层的部分，也是实现AIOps不可或缺的一环。下图展示了资源层核心运维指标体系及部分企业的关注点，艾瑞咨询认为，针对基础IT资源的监控运维虽然是相对传统的运维内容，但仍然具备底层基础性地位。

资源层监测包含内容

主要针对容器监测，物联网监控，其监控对象为：物理服务器、操作系统、私有云、公有云。

资源层监测常用指标

CPU使用率：服务器运行的程序占用的CPU资源，表示服务器在某个时间点的运行程序的情况。

内存使用率：体现进程在服务器中所开销的内存使用率。

除此之外还有磁盘使用率及GPU使用率、当前进程打开文件数、过去5分钟系统平均负载、当前内核空间占用CPU百分比、GPU显存空闲量、磁盘每秒写入字节数等。

中间件监测

中间件价值

中间件是介于应用系统和系统软件之间的一类软件，位于客户机服务器的操作系统之上，管理计算资源和网络通信，衔接网络上应用系统的各个部分或不同的应用，从而实现资源共享、功能共享的目的。中间件是一类独立的系统软件服务程序，分布式应用软件借助中间件在不同的技术之间共享资源，根据链接的资源和功能的不同，中间件分为消息中间件、交易中间件和服务器中间件等种类。

随着计算机技术的快速发展，更多的应用软件需要在多种不同的网络协议、硬件以及网络平台环境中运行。这导致了软件开发者面临数据离散、操作困难、系统匹配程度低等问题，需要开发多种应用程序来实现管理和运营，而中间件技术的发展在很大程度上减轻了开发者的负担，使得网络的运行更有效率。

消息中间件常见指标

消息中间件利用高效可靠的消息传递机制进行数据交流，并基于数据通信来实现分布式系统的集成。只要有网络就会有数据传递，消息中间件的应用牵涉到数据传输的安全可靠，在任何网络环境下都具备较强的刚需属性。消息中间件包含老牌的ActiveMQ5、RabbitMQ以及炙手可热的Kafka，RocketMQ等。

消息中间件常见指标包括：消息订阅错误数、消息订阅数量、消息推送平均耗时、消息推送错误数、消息推送数量、消息订阅平拒绝耗时。

交易中间件常见指标

交易中间件是协助开发在线交易系统(OLTP)的C/S/S应用框架，其主要功能包括：1、支持大量客户端的链接和高并发交易的处理；2、便捷定制应用服务功能，实现服务器端的业务逻辑；3、对企业各个层次的IT资源均衡使用；4、提供一定程度的交易安全保证。交易中间件在金融、财税、运输、电力、电信等行业中具有广泛应用和推广。

交易中间件通常使用java来开发，所以在运维监测过程中需要关注JVM的使用情况，常见指标包括：

新生代内存的垃圾收集事件称为 Young GC10（又称 Minor GC），当 JVM 无法为新对象分配新生代内存空间时会触发 Young GC，需要关注其产生的平均数量和平均时间。

Full GC11：清理整个堆的GC事件，包括新生代、老年代、元空间等，需要关注指标的平均数量及平均时间。

一般情况下，新创建的对象都会被分配到Eden12区，为大多数对象分配内存的池，所以需要实时了解Eden区使用率及平均使用情况。

在新生代中经历了N次垃圾回收后仍然存活的对象，就会被放到老年代。需要关注老年代使用率指标，用于对老年代区域中数据进行整理及分析。

数据库监测

数据库价值

数据库是按照数据结构来组织、存储和管理数据的仓库，是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。下图展示了数据库领域的核心运维指标体系，艾瑞咨询认为，在数据成为企业重要的经营资产的环境下，对核心数据库的高效运维能够帮助企业从数据底层维护系统的问题和信息安全，同时，在湖仓一体等新型数据库构建模式不断渗透的条件下，面向数据库的运维也将迎来挑战和创新，需要企业投入更多的关注。