银行业如何搭建自己的自服务数据平台？

时间：2024-02-05 22:50:01 | 来源：网站运营

时间：2024-02-05 22:50:01 来源：网站运营

银行业如何搭建自己的自服务数据平台？：提供一个浙江银行的大数据平台案例，和题主的需求十分相似。

传统来讲，银行定制一张报表，分析某个业务数据，主要通过业务部门提出需求，科技部门编写程序来实现。其中的问题，题主也说了，从提出需求到科技部最终开发完报表，中间存在反复的口径沟通、试验取数的过程。一张报表，从考虑排期问题，提出需求，到最终完成快则一两周，慢则几个月。

解决这个问题的有效办法是：

1、把明细宽表他们可理解的数据，给到业务部门，交由业务人员自助探索分析。

2、基础查询类报表：来自于基层业务和日常工作，功能作用于某一项具体的工作，比如销售业绩查询、商品库存查询、在途库存查询、采购订单查询等，形成固定类目的查询报表，用户在工作需要时，会通过查询此类报表，来得到自己想要的数据，以支撑自己的工作。

后者主要还是IT部门负责，前者IT部门可推动去做。这里着重讲讲前者。

BI平台选择

要解决业务自助取数，自助分析，这里需要一个BI平台。那市面上的BI工具FineBI支持快速灵活、交互式、探索性的数据查询和分析，浙江银行也是基于FineBI去开发的。

IT人员和业务人员共同定制好业务可理解的主题包（这里IT人员直接将数据按业务按主题准备在FineBI的业务包中），可以将数据由业务人员自行设计报表。通过这种方式进行统计分析，在定制数据包的基础上由业务人员自主查询数据，所见即所得，在数据查询、统计的过程中分析，可以大大提高工作效率。搭建这个系统之外，他们还做了一件事，就是在各个业务条线培养具有数据分析挖掘能力的人才，解决日常工作中的数据分析难题。

平台架构

1、大数据平台建设：

对于大体量内外部数据的高度自由的实时查询，需要有可靠的底层数据处理平台的支撑。从经济成本和未来数据的非线性增长趋势的角度分析。设计的架构时，传统的交易系统运用关系型数据库处理OLTP事务操作，产生的交易数据通过异构数据的批量复制方式或消息队列的准实时方式更新至Hadoop平台，Hadoop平台可以进行大体量数据的分析和挖掘，并提供基于大数据的应用系统实时检索的模式。

2、数据资源整合：

持续整合核心系统、信贷管理系统、信用卡系统、个贷系统等几十个业务的交易数据、账户数据和客户基础数据，建立数据标准和数据治理体系，开发风险数据集市、资产负债管理集市、监管报送集市等多个内部数据集市。行外引入包括监管部门的客户风险预警信息、人行客户征信报告数据、工商总局企业注册信息数据、企业纳税信息、海关进出口交易数据、法院客户涉诉信息、失信被执行人信息、环保不达标信息、欠税信息、工商处罚信息、公民身份证信息、个人学历学籍信息、公共媒体负面信息等19项外部数据源，几千项外部数据字段，并运用网络爬虫技术和命名实体识别技术，抓取公共网络媒体舆情信息，形成海量的外部数据集市；

通过在大数据平台上整合行内与行外数据，线上与线下数据，结构化与非结构化数据，有效解决了传统银行普遍面临的“信息孤岛”问题。在数据整合的基础上，利用智能化大数据分析工具进行各类数据的统计、分析、查询和建模成为可能。

3、工具选型：

调研了市场上各类数据挖掘和分析工具，针对不同需求不同数据分析能力的人集成了多种工具提供使用：

• 数据挖掘和建模人员：提供SAS和分布式R语言工具，可以使用专业的数据分析工具进行挖据和建模；
• 具有数据库操作能力的人员：提供类SQL方式的自定义快速报表开发工具，所有报表设计和菜单控件均通过浏览器可视化配置；
• 对于了解业务系统数据的业务人员：提供智能BI多维分析工具FineBI，通过拖拽方式即可实现各类复杂的统计和图表功能；
• 对于普通一线员工：可以方便的查询平台上已设计好的各类模板，并且可以使用客户关系图谱、互联网舆情分析等可视化查询工具。

最终效果

1、降低数据挖掘分析的门槛

BI平台的使用使得数据分析的门槛大为降低，数据分析工作可以下沉到最基层。不需要了解数据库，甚至不需要懂太多数理统计的专业知识，只要了解业务的人员，都可以根据自己的一个关注点自定义分析和挖掘，并可以分享给其他员工。

2、实现离散式管理

传统模式的报表开发维护和管理都集中在部分开发和管理人员身上，面对日益增长的数据分析需求，这种模式显露出响应能力的不足和资源的瓶颈。平台打破原来总行定制固定报表，分支机构只能查询的集中式管理模式，变为了人人都可以是报表开发员的离散式管理模式，实现千人千创意，让数据发挥最大价值。

3、数据安全和便捷的平衡

提升数据分析便捷性的同时，数据安全问题也是银行关注的重点。平台在权限管理中也需做到智能化。

首先，对敏感字段，如客户名称、地址、手机等，在定义报表的同时就可实现自动脱敏；

其次，数据权限有报表和机构两个维度，不同分支机构的用户，即使获得了同一张报表的权限，也仅能查看自己机构的数据，避免了数据的任意传播。

---

最后分享一些资源：