存储‘新常态’:人工智能与应用相结合
扫描二维码
随时随地手机看文章
2017年初,浙江省农村信用社联合社(以下简称浙江联社)网络金融核心平台正式上线,平台建设历时18个月,涉及范围之广、投入人数之多、实施周期之长,在浙江联社IT建设史从未有过。据了解,该平台采用分布式等先进互联网技术,在全面覆盖现有传统核心业务功能基础上,充分体现“互联网金融”特点,实现了客户服务渠道共享、线上线下协同、服务场景和流程创新等优势。
网络金融核心平台上线后,浙江联社IT建设形成“稳态+敏态”的双轮驱动模式。柜面核心平台继续保持“稳态”业务发展,基于传统技术和架构出发,注重业务连续性;网络金融核心平台采用“敏态”业务发展,基于分布式技术打造一个面向互联网的网络金融综合服务平台,强调合作、共享、开放、互联,支持金融产品的敏捷开发和创新。
作为新一代核心业务系统的重要组成部分,网络金融核心平台的构建对于浙江联社应对互联网金融冲击,实现转型发展、提升核心竞争力等意义不言而喻。同时,项目建设过程中,通过对分布式技术的合理运用实现业务整合,并为其他省份农信联社在互联网系统建设、学术分析以及信息化进程的推进方面提供了良好借鉴。
1四大挑战
作为全省81家农信系统金融机构的省级管理机构,浙江联社始终坚持服务“三农”和小微,不断优化管理手段,推动省内农信机构积极实现大跨越、大发展。截至2016年末,浙江联社存贷款总量居全省银行业第一,承担了浙江省二分之一的农户贷款和五分之一的小微企业贷款,支农支小贷款存量、历年增量、服务覆盖面均居全省银行业第一,已发展成为全省网点人员最多、服务范围最广、资金规模最大的地方性金融机构。
近年来,在新金融生态格局下,浙江联社面临巨大挑战,亟需转型升级。一是传统集中式IT架构弊端逐渐显现,已无法满足IT系统面向海量、提供高效全面的金融产品和服务需求;二是跨界竞争日趋激烈,互联网金融对银行核心业务领域造成了极大冲击,影响银行收入来源、增加吸储难度、分流客户群体等;三是业务需求的变化使得银行的客户结构、盈利模式、服务方式等随之发生了变化,生态圈金融、场景金融等新模式带来了业务场景和业务设计的变化,新生代客户广泛使用电子货币和移动支付技术,金融消费习惯的改变使得金融服务更加注重方便、快捷和客户体验;四是信息和资金安全成为金融科技创新的重中之重。
2分布式技术应用做出表率
为积极应对上述挑战,满足互联网金融业务快速创新发展要求,浙江联社于2016年初启动了基于分布式技术的网络金融平台建设,2017年4月上线至今,平台运行平稳、高效,系统建设达到了预期目标。
谈到技术路线的选择,浙江联社科技信息处开发中心副主任徐云飞指出,为满足秒杀、业务快速变化与创新等网络金融平台的典型业务场景需求,浙江联社明确了网络金融核心平台重点考虑的服务化、消息、缓存、分库分表、应用平台、自动运维等九大技术方向,要求技术具有高可用、可伸缩性、安全性、可移植性、高性能等特点。
“采用分布式技术并非偶然。银行业传统商用技术和架构逐渐向开放、开源、分布式系统架构转型,已成为一种必然趋势。从传统架构向分布架构转型也是银行生存和发展的迫切需求。生态化、场景化的金融服务对银行支付、征信、风险管理、理财等核心业务领域产生了极大冲击,互联网技术创造了平台经济、共享经济,也推动着金融服务模式的创新。银行不加快技术转型的步伐将面临被淘汰的命运。去IOE、自主可控的IT战略是我国金融安全的迫切要求,以x86、开源为特征的技术体系有利于改变我国银行业长期以来基础软硬件等核心技术完全依赖国外厂商的现状。”徐云飞介绍说。
实践表明,分布式系统已成为未来技术架构的重要方向。浙江联社在该技术的探索中走在了全国农信机构的前列。与其他商业银行相比,农信机构网络金融核心平台建设模式有何特点?
徐云飞表示,金融企业采用分布式架构构建核心系统,其难点在于如何使开源技术满足银行核心系统对高可靠、一致性、安全性的要求。为此,在分布式技术组件的选择上,浙江联社充分研究并采用了“开源+自主研发”相结合的技术策略。针对目前分布式开源软件DUBBO、AcTIvemq、缓存中间件、MySQL数据库等方面不足,浙江联社对底层源码进行了针对性设计、改造和封装,自主研发了流程引擎、序列及批量组件、管控及部署平台、应用性能管理平台,通过异步消息、异步冲正/补账等应用层面的补偿机制,满足数据的最终一致性,从而满足银行核心业务系统的高性能、高可用、一致性、可伸缩等目标。
农信机构IT系统建设的最大特点就是要满足多级法人的管理模式和产品创新需要。考虑到地区经济发展水平的差异和法人行社业务上的需求方向不同,浙江联社网络金融核心平台通过引入共享服务中心和产品工厂,实现了业务人员全程使用可视化界面,快速满足法人行社不同需求的产品包装、审核和发布,并可同时对多渠道产品进行集成,提供定制化的跨产品组装和销售,从而有效减少个性化产品的定制开发时间,产品推出周期较现有系统缩短了2/3。
徐云飞介绍说,现阶段,浙江联社传统核心系统主要服务于柜面渠道和存贷款业务,网络金融核心平台定位于面向互联网渠道,突破实体介质和地域时空限制,可提供账户、支付、资产、负债、生活缴费、电商、社区等金融和非金融功能一体化服务。在业务和功能设计上,网络金融核心平台具有互联开放,构建“以客户为中心”的服务体验管理平台,构建网络金融账户体系,构建支付创新平台,构建服务产品化平台,构建数字化运营管理平台,实施架构转型、采用云计算等技术,引入大数据技术、建立大数据服务体系等八大特色。
3技术保障“1+4+4+4”
浙江联社网络金融核心平台分为前端用户接入、后台服务处理、关联系统交互三大模块,其服务基于x86开放式的基础技术架构,涵盖分布式服务、消息中心、缓存中心、流程引擎等。
徐云飞概括了该平台的技术关键点,即一大核心保障、四大核心中间件、四大应用组件、四大运维利器。
高可靠数据库架构体系是一大核心保障。平台使用了与分布式架构体系融合度更高的MySQL数据库,并根据需要搭建了一套全新的数据库架构。传统的数据库架构更多基于主从模式,而浙江联社在MySQL集群部署中使用了两主两从的部署方式,通过在两台主数据库上同时写两份Binlog来实现。两台主服务器Master和Shadow通过其自主研发的qlink软件实现两台服务器日志的实时同步,当Master服务器出现问题时,Shadow服务器可通过Binlog快速恢复,保证对外服务的连续性。数据库架构中也使用了读写分离技术,Master服务器提供写服务,Shadow服务器与两台Slave服务器提供读服务,并可根据实际情况自由切换。
目前,该架构下的数据库集群已达到200并发用户下QPS读20万、写3万的实测数据。服务、消息、缓存、数据库四大核心中间件加强了数据库保障机制,构成了整个分布式技术核心。为便于应用快速开发,平台还建设了流程引擎、配置中心、序列组件、批量组件这四大应用组件。运维方面建设了管控平台、部署平台、日志平台、应用性能管理四大平台。
4“互联网+普惠金融”快速落地
网络金融核心平台在有效降低IT成本、提升开发效率和业务创新能力等方面成效显著。
一是促进IT架构优化及转型升级,IT建设成本明显降低,有效降低TCO。与传统集中式架构体系购置成本9500余万元相比,基于分布式架构体系的服务器购置成本仅为1200余万元。系统部署后,服务器设备减少,节约了中心机房物理空间,设备耗电量和制冷耗电量明显减少,中心机房UPS负载从52%降到20%。中心机房直接运行成本降低,其他间接支出,如机房改造成本、设备设施维护维修成本也相应降低。
二是平台架构庞大,业务覆盖广,应用场景多。平台分为21个子系统,可承载1500万的用户体量,初步形成了较完善的共享服务体系。截至目前,各系统之间的交互服务已达到2300多个。
三是提升产品组合与创新能力,构建全渠道运营能力和线上线下协同营销能力,产品推出周期比之前缩短了1/2。
四是平台建设达到高性能、高可用、可伸缩、可管理的目标,各系统性能均达到甚至超越预期,如客户系统TPS超过1.5万,数据库QPS达到20万、写达到3万。
徐云飞表示,在项目建设尤其是适应性改造过程中,项目组对分布式技术有了更全面、更深刻的理解,对发源于互联网应用的分布式技术如何适应银行业务的特点,以及分布式各组件的原理和使用有了更加深入的认识和体会。项目实施过程中,浙江联社培养了一支具有自主研发实力的科技队伍,制定了28套完善的应用标准和安全规范,这些都为其IT转型升级奠定了坚实基础。