一、数据审计的发展 近年来，随着商业银行各类业务管理系统的建设及应用，各类业务行为都被记载于数据库中，相关数据反映的业务特征逐渐成为审计运用的重要资料。通过对数据的筛选分析及比对，发现疑点线索，继而锁定重点，深入核查，从而实现审计全覆盖、提高工作效率。因此，各商业银行审计部门也逐渐建立起专业技术团队，将业务数据分析研究、模型构建等审计信息化建设作为重点工作内容。 此项工作开展早期，审计部门引入了专业技术人员，利用如Sql Server、DB2等传统关系型数据库作为业务数据的汇总集市及分析工具，为数据审计工作的开展迈出了坚实的第一步。 随着商业银行业务的不断发展，风险控制管理不断从严，对审计工作的要求不断提高，传统关系型数据库本身的技术瓶颈也逐渐显现。 一是处理海量数据运算效率低。一家商业银行账户数量往往达到几千万乃至上亿，每年流水记录至少数亿条，在传统数据库环境下，一条语句命令的执行往往需要几十分钟。 二是只能展现提取日的业务数据状态。因为普通关系型数据库为二维数据存储模式，无法对每日的数据状态进行保存，无法实现与以前部分业务状态的比对以及对银行账户日均存量等信息的统计。 三是存储扩展性不强。随着数据提取范围及数据的积累，存储空间及运算能力逐渐接近饱和，解决运算和资源存储问题，往往只能采用更换硬件的方式。 四是无法存储非结构化数据。对非结构化数据进行智能分析，已逐渐成为审计技术人员研究的方向，但传统数据库不支持非结构化数据的存储。 二、Hadoop技术 随着信息化技术日新月异的发展，审计人员也在不断尝试探索新的数据审计技术手段以提高审计工作效率，扩展数据分析功能。继传统关系型数据库之后，基于Netezza或者Teradata平台的数据仓库技术，也一度成为数据审计集市的基础平台。但其高额的成本，也让一些中小型商业银行望而却步。 近年来，Hadoop作为基于分布式计算及存储的技术，以其高效、灵活扩展、高容错等特点，逐渐进入审计技术人员的视野。部分商业银行在建设审计系统方案中，已将Hadoop作为底层数据集市的应用平台。 （一）Hadoop技术架构 Hadoop提供了一个稳定的共享存储器和分析系统，存储由HDFS实现，分析由MapReduce实现。 HDFS（Hadoop Distribute File System）存储Hadoop集群中所有存储节点上的文件，逻辑上像一个传统的分级文件系统，存储在HDFS中的文件被分成数据块，复制到多个计算机中。该架构的优势在于数据可以在节点之间动态地移动，并保证各个节点的动态平衡，因而处理速度非常快，并且自动保存数据的多个副本，自动将失败的任务重新分配。 MapReduce是一种面向大数据并行处理的计算模型、框架和平台，其本质是并行运算原理，适合处理需要分析整个数据集的运算，以批处理的方式运行，将单个任务打碎，并将碎片任务发送至多个节点，之后再以单个数据集的形式加载处理。此外，MapReduce的另一优势是能够对非结构化数据进行处理。 （二）Hadoop技术优势 1.无容量和类型的限制。Hadoop的运算及存储资源可以由若干台并行的服务器提供，当资源不足时，只需将新的服务器并入资源池即可，资源池节点数量无上限，管理方便灵活。此外，实现了数据的并发运算及数据存储的多备份均衡分布。 2.统一的平台可运行多种分析处理引擎。传统的关系型数据库底层只有一个引擎，只处理关系型应用。而Hadoop在底层共用一份HDFS存储，上层有很多组件分别服务多种应用场景。如以Cloudera的Impala组件为代表的确定性数据分析，其突出优势是响应速度快；Search组件可实现探索性数据分析，实现对非结构化的数据分析；承担ETL的数据处理及转化引擎，负责IO吞吐率及可靠性。 3.相比传统商业数据平台具有成本优势。Hadoop技术应用环境为普通的PC Server群，不依赖某些品牌专用设备，在成本投入方面具有明显优势。此外，其开源性特点也降低了用户的投入成本。 4.开源模式加速了Hadoop的研发和普及。目前，很多机构提供基于Hadoop的技术服务，该产品代码的开源性，也为Hadoop技术的不断优化升级及推广应用创造了便利条件。目前，国外的Cloudera、IBM公司及我国的华为公司等都在进行基于Hadoop的技术研发，并为客户提供技术支持服务。 三、Hadoop技术在商业银行审计工作中的应用 近年来，商业银行大多建设了自己的审计系统，包括数据审计模块，但后台使用的数据支持平台各不相同。早期建设的审计系统也随着数据量的不断积累，开始出现运算效率下降、存储容量不足等问题。对于数据审计中数据存储的大容量、高效率、低成本需求，以及未来智能化分析处理等需求，Hadoop的技术优势逐渐得到一些商业银行技术部门的关注。 （一）商业银行审计系统建设 要实现Hadoop技术在商业银行审计系统的落地应用，应结合Hadoop的技术特点及商业银行审计系统的建设功能需求，进行整体规划设计。 以某商业银行审计系统的建设为例。建设目标包括以下方面：实现审计人员对常用业务数据进行灵活、快速的查询，对现场审计环节前的数据调研分析以及在审计过程中的数据补充提供支持；支持审计人员根据风险点特征及对应相关数据逻辑关系构建数据分析模型；实现本行重要业务系统数据的T+1自动增量采集，根据风险点在系统中设置预警模型，定制周期自动执行并提示预警，在系统中完成疑点线索的核查工作；实现各类现场检查工作流程的标准化系统线上处理；参考内外部规定，以内控五要素为基本结构，以风险点的形式嵌入系统中，指导检查工作的开展；实现审计条线内部信息及资料的系统线上管理。
