欢迎金融科技工作者积极投稿！

投稿邮箱：

——金融电子化

文 / 中国光大银行信息科技部 李成

近年来，机器学习和人工智能发展迅猛。在越来越多的业务系统中，都嵌入了数据智能型算法，这些算法被称作机器学习模型、人工智能模型等。与传统的专家模型相比，它们的特点是都运用了大规模的数据进行训练而得到。这些模型在反欺诈领域被广泛应用，在反洗钱领域被广泛应用，在营销领域被广泛应用，在运营领域被广泛应用，在外卖路线规划领域被广泛应用，在个性化推荐领域被广泛应用，在人脸识别领域被广泛应用，并被嵌入到业务系统中，以此提升业务效率效能。本文会从模型的定义开始阐述，接着阐述模型风险管理，然后阐述模型管理技术抓手，再阐述 IT 管理对模型风险管理的启示等方面。主要讨论机器学习、运筹优化、人工智能等这类基于大量数据而优化得到的数据智能模型，如何从科技的角度来进行风险管理。

模型、策略的定义

美联储在 2011 年 11 月印发的《模型风险管理指南》及附件中，对模型进行了定义。模型是一种定量方法，它会应用统计、经济、财务、数学理论、技术以及假设等，将输入数据处理为定量估计。中国银保监会 2020 年 10 月发布的《商业银行互联网贷款管理办法》中，没有对模型给出技术性定义，仅进行了描述性定义。此办法所称风险模型，指的是应用于互联网贷款业务全流程的各类模型，具体包括身份认证模型、反欺诈模型、反洗钱模型、合规模型、风险评价模型、风险定价模型、授信审批模型、风险预警模型等。

它们的共同点在于，都把面向产品的一整套策略以及数据运算称作模型。这类模型涵盖了具有较强解释性的内容，比如客群细分、按业务划分、按数据划分等；同时也包含复杂性较低、有明确操作结果的策略。此外，还有机器学习、运筹优化、深度学习等数据智能算法所产生的模型。现在的模型总集是由这些新型的机器学习模型、统计模型和专家模型共同组成的。

我们在此把模型分成两类，一类是依据专家经验形成的规则，像传统评分卡这类专家系统；另一类是基于样本，借助统计学习、机器学习、深度学习、运筹优化等优化方案而得到的数据智能类模型。它们的区别在于，是以专家规则在建模过程中占主导地位，还是样本数据在建模过程中占主导地位。本文主要对后者进行讨论。

这些数据智能模型，过去是由科学家进行人工操作的，而现在通常在生产系统中以非人工介入的方式运行。因为在运行过程中几乎没有人工参与，所以对于模型使用中出现的问题，发现的时间会更晚。正因如此，数据智能模型往往会带来更大的风险。从计算机科学的角度来看，模型是算法的一种新型且特殊的表现形式。在未来的时间里，它的数量会越来越多，并且会逐渐成为金融科技系统的重要组成部分。

模型风险管理综述

传统算法在 IT 系统中的应用依据规则，复杂度较低，运行时从输入到输出可进行解释。一旦运行结果未达预期，便能立刻定位问题所在。而数据智能算法是由数据“喂养”而成，通过优化算法逼近得到，其在数据输入假设、算法假设以及产出模型的黑盒性质方面，都蕴含着不确定性。同时，数据智能模型实现了“端到端”上线。在此之后，模型不再呈现为评分卡或 if-else 型的可知形态。这种变化进一步加深了模型的不确定性。

美联储在 2011 年 11 月印发的《模型风险管理指南》及附件（简称 SR11 - 7）中指出，模型风险有两大来源，其一为存在根本错误，其二为使用不当。同时建立了模型风险管理的组织，包括模型开发和使用者、自主验证者、内审。并且定义了 6 个环节，分别是模型清单（资产管理）、模型开发测试、模型实施和使用、模型验证、模型监控、文档要求。

在中国银保监会 2020 年 10 月发布的《商业银行互联网贷款管理办法》里，风险数据以及风险模型管理对开发、测试、评审、检测、退出等方面规定了相关规定。其中包括分工明确，要做到保密且禁止外包；要保证模型有效且稳定；需建立模型评审机制并独立开展相关工作；要建立日常监控体系；要建立退出机制；还要建立文档管理。

中国监管与美国监管要求相比较，在纵向上是一致的，那就是要对单个产品所使用的所有模型和策略进行管理；在横向上则有所不同，当前中国监管只是针对特定的产品（自动审批型网贷）提出了监管要求，而美国在原则上是对全部模型进行管理。

从数据智能或机器学习模型自身而言，它作为统计学的一种延伸，是通过大量使用优化类或统计类算法而得到的。它本身受到优化算法的限制，并且具备大量的假设与限制条件。所以，进行独立验证与评审以及持续监控是很有必要的。另外，在模型风险管理方面，把数据智能模型当作程序算法本身，我行依据多年的经验，整理出了一横一纵两条主线。

模型作为数据资产的一部分，属于典型的加工型资产。我行借助数据资产管理平台，对所有数据智能模型进行统一登记。登记内容包含模型开发者、开发日期、工程开发项目组、投产日期、有效期与重检日期等信息。同时还包括模型对应的业务产品、使用场景、预期效果、限制条件等。此外，还需登记输入、输出以及依赖的其他模型或组件，以及建模所使用的样本数据。以上皆需要以文档或文件形式进行有效管理。

生命周期管理，就是对模型清单管理所需要的内容进行管理。按照模型从建立到退出的流程来进行管理，并且需要按照要求进行评审，同时提交相关文档，只有这样才可以继续进行后续的操作。包括提交建模项目，比如对应业务产品、使用场景、预期效果等；提交模型结果以及相关的样本数据、算法说明、限制条件、模型基本假设；进行有效验证评审，由第三方独立验证并审批通过，验证评审报告要明确模型的限制条件、有效输入输出范围、选取的监控与后评价指标；用于工程开发以及模型上线后的监控、模型工程开发、模型投产前验证、模型投产评审，以确认工程化后的模型仍符合预期；进行模型投产，将评审通过的模型评价指标和输入输出稳定度监控同时上线；进行模型持续监控；进行模型重检或模型退出。

模型运行平台是模型风险管理的基础与抓手

模型运行如果不统一，就难以实现模型管理的真正落实。模型运行在模型管理方面具有抓手效应，具体体现在以下一些方面。并且，这也应当成为模型运行平台的一项功能，用以落实模型管理的制度要求。

模型上线流程需要进行审批，并且要落实相关的审计制度。这些审计制度涵盖了模型相关的文档、评审报告以及审批流等方面。

模型的生命周期方面，除了要进行审批流程外，还需系统把模型的后评价初始生效日期、定期日期以及模型退出记录等机制落实到位，并且通过邮件来触发审批流。与此同时，对于模型参数，像阈值调整这类情况，也需要触发审批与评审的流程。

模型监控是最重要的模型风险管理手段。在系统中需要明确模型的必须监控条件，并且将其作为必选项进行控制。

用数据来确保算法安全：模型的适用场景是由建模所使用的样本决定的。那些超出样本范围的数据，一旦被送入模型，就会得出预期之外的结果。所以，需要上传机器学习、人工智能模型的建模样本以及算法说明。要是调用三方库的话，就必须明确其版本和使用的超参数。一是要确保模型能够被有效复现；二是能够依据建模样本来确定数据的范围，在模型运行的工程环节实施输入范围的监控，一旦超出范围就可以进行拒绝服务。模型运行平台应当保证能够依据建模样本的 x 和 y 来计算 psi，并且要保证模型在工程化上线之后，依然能够在统计学的意义上与期望的输入输出分布保持一致。

模型上线时需将模型评审中制定的模型监控与后评价指标上线。比如有 PSI 稳定性监控指标。从模型后评价生效日期起，应具备后评价指标，像对于回归模型有 MSE、RMSE 后评价指标；对于分类模型有 ROC、PR 指标；对于模型区分度有 KS、GINI 等，要依据模型管理制度进行选取。

模型清单与报告定期生成。

综上，拥有统一的模型运行平台，能够有效地将管理规定通过技术手段予以落地，借助科技手段可以有效发现问题、识别风险，避免出现那种先射击后画靶子式的机器学习“神枪手”。

IT管理对模型风险管理的启发

数据智能模型属于 IT 系统中的一种新形式算法。上文已提及针对这种新型算法需增补的管理措施。因为数据智能模型最终会在 IT 系统中运行，所以我行金融 IT 领域的一些管理办法，像系统灾备级别等级保护制度、ITIL 运维管理制度、CMMI 研发体系等，对该模型的管理具有很强的借鉴意义。

模型进行分级分类：针对不同场景与用途的模型，依据其产生的影响，对模型实施分级分类管理。对于不同级别的模型，会运用不同的管理制度，并且对流程和监控进行相应的裁剪处理。

模型进行独立测试：有独立且权威的团队开展独立验证测试，其中包含白盒的模型复现，还有黑盒的独立数据集验证，同时会使用行内的标准特征集进行有效挑战。

独立的部门进行全面质量管理，其中包含对流程合规性的管理以及对文档合规性的管理等，这就是模型质量独立审计。

模型独立运维管理：最终的模型上线由运维进行最后一道把关。

结 论

从简单的规则进行判断，接着是复杂的专家规则评分卡，然后是统计学习评分卡；从依据信息论的 TF-IDF 开始，到基于深度神经网络的文本分析；众多基于专家的算法转变为统计学模型，又转变为数据智能模型。通过引入复杂的优化算法以及更多的输入，既实现了预测、判断效果的提升，也导致了模型的不可解释性。

模型在不断演进，并且在 IT 系统中得到应用，所以模型风险管理也需要跟得上时代的步伐。采用科技方法，把模型算法的运行本身当作“系统”去管理，把模型视为算法的特殊表现形式，从科技层面，借助技术手段对其进行管理，结合数据智能自身的独有特点，从模型算法原理、严格的评审制度、有效的监控等多个方面着手，能够最大程度地将模型风险降到最低。