新闻资讯


全面基于大数据技术的数据仓库建设

信息来源:

01厦门国际银行简介

厦门国际银行于1985年成立,是国内第一家中外合资银行,至今已有33年的时间,2013年改制为中资银行。2017年是厦门国际银行重要的一年,完成集友银行收购,香港国际化平台再上新台阶,其澳门附属机构澳门国际银行开设广州分行,成为第一家进军广东市场的澳门银行。目前总资产超过了8000亿,全行员工4000多人,境内外分支机构100多家。机构覆盖境内覆盖环渤海、长三角、珠三角、海西经济区四大发达区域,形成两岸三地国际化的战略部署。

厦门国际银行是一个多法人、国际化的银行,其科技管理采用的是集团化管理模式,因此在系统建设层面上,相对比较复杂,不仅要满足不同法人银行的业务发展要求,而且要满足不同三个地区的监管要求。正是在这样的背景下,厦门国际银行启动了大数据的规划,以解决多法人实体数据的数据采集、整合、存储、数据标准和数据质量、数据应用等问题。

02厦门国际银行大数据规划

2015年厦门国际银行就开始进行了大数据相关的规划,规划的内容涵盖了数据管理架构、技术架构规划、组织架构规划、应用发展规划等内容。最终我们归纳为三个板块的内容:基础平台的建设,数据治理,数据应用。

在具体的操作时,我们遵循整体规划、分步分块实施的策略。采取“小处着手”的方式,从银行内部“小数据”开始做。我们把我们银行内部的数据叫做“小数据”,银行的外部数据叫做大数据。行内数据包含客户、财务、交易信息等核心数据,除此之外还有日志、语音、影像等这些我们以前很少拿出来分析的内部数据。我们提出了一个口号,叫“小”修内功,“大”强外功,内外兼修。行内数据才是最有价值的数据,外部的数据主要是作为辅助作用。并不是所有的外部数据都是有价值的数据,有些外部数据反而会带来一些噪音,因此不要夸大外部数据作用。

建设的目标上面,我们提出要建设一个“大、智、惠”的大数据生态体系。大,顾名思义,指的是大数据基础平台。智,要通过把我们的数据实现标准化,产品化,主体化存储,搭配上我们智能决策的引擎,能够对外提供数据智能服务。惠,是希望可以和业务部门达成互惠共赢,让用户喜欢我们的数据,爱用我们的数据,能够从我们数据中得到实惠。

我们规划通过三个阶段的建设来逐步落地我们的大数据应用平台,当前处于第二个阶段。在大数据风控方面我们也是零基础开始起步,刚开始不会建模,只会做一些简单的数据分析。17年开始和外部合作,引入了第一个线上授信的场景,我称之为“爬”的阶段。

第二个阶段我称之为“走”的阶段,大数据基础平台建设基本完成,并搭建了我们的决策引擎,构建了智能决策平台。这时候我们就可以搭建我们的模型,在2018年我们完成了税享贷、薪金贷、个人自助质押贷等等线上的产品。

第三阶段我称之为“跑”的阶段,2018年下半年重点做了数据治理,在数据治理的层面成立专业数据管理团队。也逐步扩展了外部数据,包括工商、司法、税务等等。同时我们也在规划建设全面质量管理系统,目标是成为我们全行的风控大脑,能够感知全行的所有质量指标,能够智能的去做一些风险的识别和处置。在机器学习方面我们也在做一些尝试,包括在运维方面利用机器学习实现智慧运维。

第四个阶段我希望我们能“跳”出来,利用大数据平台,去做业务模式的创新,希望通过数据智能,提高科技创新的技术含量,把大数据的优势发挥出来。

03大数据整体架构

我们行大数据应用平台整体架构,和前面几位老师分享有一些相似,五层模型架构。不一样的地方是我们加了一个访问层,把我们底层的数据进行了统一的包装,应用不需要管数据从底层是怎样加工上来的,只要通过接口访问就可以拿到想要的数据。

在应用层推出 “国行I智慧”应用平台,作为统一的数据分析云平台,并推出慧决策、慧指标、慧数据、慧客户、慧洞察、慧管控等“慧”系列产品。在数据层,保留了五层模型架构,基础数据层落地整个金融数据服务模型的时候我们根据大数据的特点进行了一些改造。在多法人模型支持方面,我们采用“一套逻辑模型,多套物理模型”的方案,以满足不同法人的业务发展要求和不同的监管要求。

下面我大致介绍一下几个“慧”产品完成了哪些功能。国行I智慧其实就是大数据平台的统一应用门户,实现了整个平台用户认证和权限控制。

慧数据,谐音就是会数据,旨在希望所有的业务人员登录了我们的平台都会用数据,不管是报表的查询,还是自助分析的查询,只要你登录我平台的这个模块,就可以获取到你想要的数据。慧指标是对全行的指标体系进行了梳理,目前已经完成了1300多个指标在里面,消除了指标口径不一致的问题。慧管驾,是对手机端和PC端的一个管理驾驶舱。慧客户,是对不同的客户类型形成用户画像,对客户的行为进行分析。慧管控就是我们的三个数据管控平台,数据标准、数据质量、元数据管理平台。慧决策,是智能决策引擎。由于基于这个决策引擎部署的模型运行的结果,必须要有一个后期检验的一个过程。所以我们增加了慧洞察模块,专门把决策引擎运行的模型进行后期的监管,监控它运行的效果,为模型优化提供数据支持。

04大数据应用成果分享

接下来跟大家分享一下我们的大数据应用成果,主要是围绕国行I智慧在四个方向上:统一数据服务体系、完善的数据治理、产品化数据应用、深度的数据支撑。在平台上面我们实现了统一的数据采集,统一的数据采集分两块,一块是行内数据的采集,一块是外部数据的采集,建设了统一的外部数据管理平台。

统一平台是指我们全部的业务数据完全存放在星环的大数据平台上,没有再引进任何其他的mpp数据库。统一的调度,整个平台包括实时数据,批量数据,结构化和非结构化数据全部在统一的调度平台来进行监控。数据经过我们的包装之后可以实现统一的数据访问。完善的数据治理的体系,元数据管理、数据标准管理、数据质量管理、金融服务数据模型的搭建。产品化的数据应用-“慧”系列产品。应用支持方面:企业级反欺诈、RWA、ALM、CRM、智慧运维、营销信息地图等。

外部数据管理平台。在这个平台上我们集成从专线进来的,互联网进来的或是通过爬虫进来的,以及外部数据公司采购的数据。我们专门增加了一个计费管理的模块,这个模块非常重要,能够管理我们采购进来的数据调用了多少次,流量多少。以便于定期和数据厂商进行结算。还有接入层路由管理,可以看到外部数据的来源,去向,用法等内容。

数据管控平台的建设情况,其特别之处在与,数据标准参照了EAST数据标准,这是厦门国际银行在2017年上报银监科技风险课题获得三类成果奖。能够实现把数据从生产平台定期抽取之后,跟数据标准平台实现定期的同步,保证运行状态和标准平台是一致的。我们现在每天都会跑数据质量平台的检核规则,保证每天跑批完的数据都是经过检核过的,每天也会出一个数据质量的报告。

我们做的管理驾驶舱的一个首页界面,可以把我们一些关键指标进行展示。在手机端和PC端都有各自的展示界面。我们也会定期把银监的数据导入到平台中,与我们银行的一些运营指标进行比对,可以实现我们银行和我们对标银行不同指标的对比状态。以往有很多展示的内容是由专门人事整理出来的,以后都可以通过我们这个系统完成。

慧决策的平台,实现了模型的可视化管理,通过这个平台上面管理我们所有产品的模型,模型调用的所有规则集,包括评分卡里面的每一个权重设置都可以在这个页面上进行可视化的配置,这个工作由业务人员就可以实现。

慧客户是整合了我们所有行内行外相关的数据,对客户画像进行描绘。同时会对客户进行客户行为分析,例如客户点击我们APP相关的操作,我们进行了一些埋点工作,把这些行为数据采集下来,可以分析客户的活跃度,预测流失率,判断获客路径等内容。

营销信息地图可以在地图上清晰将我行客户和潜在客户的“鱼群分布”清晰地标识出来。标识后匹配我们的网点,形成客户抢单机制和客户轮耕机制。通过不同的维度分析所有潜在客户的转化率。同时利用GIS定位技术,对客户经理访问客户时候进行定位,管理人员可以检验所有客户经理拜访客户的情况,包括拜访频率和转化率的关系等。也可以预测哪些客户是短期就可以转化成忠实客户,哪些客户是需要长期投入精力才能取得效果的。最后形成存款拓展的作战沙盘,领导可以坐在办公室,观看前方作战实时情况。

智慧运维是今年我们上报的银监课题的一个项目, 构建以大数据技术为基础的智能化运维平台,探索各类机器学习算法,围绕质量保障、成本管理及效率提升等领域开展智能化运维探索工作,在系统健康分析、异常预警、安全攻击识别及性能容量预测场景等方面取得了一定的成效,为未来的智能化与无人化运维发展奠定了基础。

(1)系统健康分析:为系统运维工作提供了简洁、直观、全局的综合评分指标,能快速发现和定位系统异常,在现有复杂庞大的系统架构中帮助运维人员快速解决问题和隐患,为业务系统的正常运行增添保障;

(2)智能异常预警:突破传统监控产品阈值告警的桎梏,智能生成动态阈值,减少误告和漏告,精准捕获系统异常,提升告警准确性,帮助运维人员有效发现系统运行问题和隐患,保障系统稳定运行;

(3)智能安全识别:有效监测出绕过传统安全设备检测规则的攻击行为,智能识别攻击行为具体形态,帮助安全人员及时处理安全攻击,为新形势下的安全工作增加了新安全防御保障手段;

(4)性能预测规划:有效应对新形势下机器快速增长的运维资源管理要求,智能预测系统CPU、内存等资源使用时长,提供资源调整建议,为开展资源管理,提高资源使用率、节省银行IT资源投入提供了智能化支持。