实战 | 大数据上云的思考

文 / 中国光大银行    侯强  冯帆  于树文

 图1    大数据平台逻辑架构

实现大数据业务的需求，需要有能承载海量数据的存储能力，和满足强大并行计算的算力输出。虽然大数据使用PC服务器作为基础硬件，但随着数据量的迅猛增长，为了满足数据的承载，必须使用物理服务器扩充到Hadoop集群中，新设备的计算资源并未得到充分发挥，导致了资源的浪费。物理设备的大量使用，也带来后期运维管理困难。急需用技术创新解决成本高和资源利用率低等问题。

大数据下的业务发展，对实时性的要求越来越高。不仅可以看到过往的历史数据，还应该可以使用刚刚产生的新数据，在突发的业务高峰时段，也可以响应实时查询和实时推荐等业务。当前的大数据架构的灵动性不够，不能完成及时响应业务部门的需求。物理服务器集群的扩容，需要从服务器的上架、系统安装、软件部署等环节，牵扯技术人员多、操作时间长等问题，需要有相应的基础设施，满足资源快速部署、在线的算力伸缩。

大数据后期的运维工作，主要使用半自动化手段响应业务的需求，需要较多的技术人员，共同完成资源的扩展和大数据软件的部署工作。技术人员的时间都花在了传统技术的操作上，无法投入更多的人力进行大数据的技术研究。

光大银行从2012年开始积极探索云计算技术，历经多年的持续建设，成功实施了基于全行资源池化管理的私有云建设、安全可控云管理平台建设、容器云PaaS平台建设，以及面向业务敏捷的缴费云、现金云、贸融云等一系列创新项目。建成了贯穿基础设施、技术中台、业务平台，覆盖全行的安沃云工程体系，实现了全行IT资源的集中运营，高效弹性的业务敏捷，加强了全行基础设施资源的整体管控能力，提升资源交付效率，优化灾备体系架构，缓解了科技人力资源不足的问题。

从安全域上划分，光大云可分为三朵云。全行生产云：分为3种资源池，总行资源池、分行一级资源池、分行二级资源池，其中总行资源池、分行一级资源池为多活部署方式，位于多个数据中心；分行二级资源池分布在各个分行本地。总行资源池位于北京石景山/香山/酒仙桥生产中心和武汉灾备中心；承载总行生产业务；分行一级资源池承载各分行应用系统的前置以及重要的、无特殊需求的关键应用，对“客”提供服务的应用都要使用一级资源池。二级资源池承载各个分行的IT系统如OA，特殊需求的应用（比如某个应用需要直连税务局）以及大带宽应用等。开发测试云：单中心部署，具备线下和试运行测试环境和准生产环境，满足全行版本测试和业务推广测试需求，生产云验收测试（架构模拟生产云），以及承载创新专项、联合创新之类应用，作为黑科技试验田。金融生态云（托管云）：多活生产中心，承载子公司等对外技术输出。

图2    光大云资源池

目前银行业的网络架构以传统网络域划分为主，通常云平台和大数据平台分别属于不同网络域独立建设。当云平台上的业务系统需要调用大数据平台海量数据时，云平台和大数据平台两个域之间存在大量网络访问流量。目前跨域防火墙的交换能力普遍为10Gb到40Gb带宽，不足以支撑跨域大流量交换。同时跨域访问依赖传统防火墙的安全管控，管控灵活性不足，因此云上金融业务无法充分利用现有大数据服务能力。

为了解决云、数相通的问题，我们考虑通过建立专线方式，将云平台和大数据平台打通，划入同一个网络域，从而避免跨域大规模网络流量问题，使得云平台上业务和大数据平台服务共同发展。

然而，如果只是将云平台与大数据平台在网络层面打通，则业务集群与大数据服务集群的管理相互割裂，业务集群部署在云平台，大数据服务由大数据平台提供。大数据系统的弹性扩容能力通常滞后于业务集群流量变化，无法满足快速增长的业务需求。大数据集群的粗粒度调度无法高效提升资源利用率，目前大数据平台的计算资源利用率普遍整体偏低。

为了让大数据平台充分使用到云平台资源敏捷交付的能力，我们考虑通过云平台与大数据平台深度融合，在大数据平台的原有服务器上部署云平台管理组件，将大数据平台底层资源纳入全栈云平台进行管理调度，大数据系统基于云平台资源灵活部署。然而，此方案对现有大数据平台改动较大，会影响机房、网络等物理资源布局，对已有大数据系统的服务稳定性与连续性提出挑战。同时大数据平台现有物理服务器配置能否能满足云平台的硬件约束，还需要进一步充分测试评估。

针对云平台纳管大数据平台物理服务器存在的问题，我们进一步考虑通过云原生方式解决大数据系统上云。然而，将大数据系统从传统生态架构迁移到云原生架构，同样会面临一些新的挑战：一是应用改造成本高，大数据服务需要进行容器化改造，大数据服务的资源申请方式需要改造；二是迁移风险高，云原生模式下大数据服务的运营运维需要更多专业人才支撑，已有大数据服务迁移成云原生方式，需要保障业务稳定性。

尽管云原生的大数据平台存在不少挑战，我们依然相信，大数据采用云原生方式上云是充分利用云基础设施来解决超大规模数据集的获取、管理、存储和分析问题，并在这个过程中实现成本降低和效率提升的最佳方案。通过PaaS化方式实现计算存储分离的大数据架构，支持Kafka、Spark、Flink等计算服务，支持大数据使用云平台分布式块存储、对象存储来保存数据，从而提供更加灵活高效的大数据服务。

图3    大数据使用云架构

同时，将容器技术引入到大数据当中，可以解决大数据弹性扩缩容能力无法满足快速增长的业务需求问题。特别是在实时计算场景中，业务的营销活动，会有数据的洪峰效应，而传统的扩容手段很难快速满足业务的需求。使用了容器化技术可以实现算力快速部署，同时部署手段相比物理服务的部署方式更快捷和标准。使用容器化部署，只需要拉取所需要的技术组件进入容器，并进行快速启动，节省了服务器和网络的部署时间，提升了服务交付效率的同时，降低了操作风险。再者，引入大数据业务引入新技术过程中，原有的技术架构不需要大的改动，新技术和现有平台也可以快速融合。

云平台敏捷能力，还可以将更多的人力资源从基础设备的部署中解放出来，投入到新技术的研究工作当中。

图4    数字光大

云计算是支撑银行场景及生态的底层技术，在云计算基础上，大数据、人工智能、区块链、信息安全等核心技术得以沉淀，形成数据中台，共同支撑起开放银行、开放平台、智慧经营、数字化管理等前台创新应用。