- 银行信用风险计量实战
- 叶征
- 3451字
- 2025-02-26 14:39:00
非零售客户评级打分卡评估与验证的基本框架
通过审阅前期的开发文档和对总分行相关情况的调研，明晰客户评级打分卡开发的方法、策略和流程，对打分卡的检验以及推广和使用中的问题进行分析，掌握客户评级打分卡上线以来的评级情况，提出打分卡可以优化的领域，最终形成打分卡优化的建议书。
如何对低违约资产组合进行验证和评估，是目前业内的难点，也是监管机构对信用风险内部评级体系进行审查的重点内容。可参考国内外银行业对低违约资产组合验证的观点，按照监管要求，探索研究银行低违约资产组合的评估与验证方法，并选取合适、科学、合理的验证方法对银行现行打分卡进行定量验证和定性评估。评估与验证框架如图2-2所示。
图2-2 评估与验证框架
1.定量验证的方法
该验证确保模型能够按照债务人风险大小有效排序。模型区分能力采用两种以上的方法进行检验，包括监测累积准确曲线（cumulative accuracy profile,CAP）及其主要指数准确性比率（accuracy ratio,AR）、受试者工作特征曲线（receiver operating characteristic （ROC）curve）及AUC（area under curve）系数和K-S检验结果等。
CAP及AR主要用来检验模型对违约和非违约客户进行正确区分的能力。CAP曲线的原理是：首先自高风险至低风险排列模型的分数，即模型分数从低至高；横坐标X表示客户总数的累计百分比；纵坐标Y表示违约客户的累计百分比；横纵坐标的关系表现为在CAP曲线上，评级风险较高的X％客户占违约客户的Y％，即纵坐标描述了评级分数小于或等于（一般选取等于）相对应横坐标X的违约个数百分比。一个有效的模型应当在样本客户处于同一排除率的情况下，排除更高百分比的差客户。AR的定义为模型的CAP曲线和45°线间的区域面积，与介于45°线和最佳模型的区域面积的比率，这个值越接近1，表示模型的效果越好。应用CAP和AR，每一个验证期可得到一个CAP曲线图和一个AR比率。通常情况下，AR值越接近1越好，说明验证的模型对违约客户的区分能力很好。在业界，对于AR没有一个标准的衡量尺度。一般来说，AR值大于40%都是比较好的。图2-3为CAP曲线示意图。
图2-3 CAP曲线示意图
ROC曲线及AUC系数也可用来检验模型对违约和非违约客户进行正确区分的能力。ROC曲线描述了在一定累计好客户比例下的累计差客户的比例。其原理是通过选定的评分判断债务人在下一个期间是否违约，决策者通常使用的一种方法是设定临界值C，评分低于C的债务人为潜在的违约客户，高于C的债务人为非违约客户。在最佳模型中，无论临界值C的取值是多少，模型的命中率均为100％，因而最佳模型的ROC曲线是一条纵坐标为1的直线。在随机模型中，基于任一临界值C，其正确区分违约和非违约客户的概率是50％，故ROC曲线表现为45°的直线。待评级的预测模型的ROC曲线即分布在随机模型和最佳模型之间。待评级的预测模型的区分能力越强，ROC曲线越往左上角靠近。AUC系数表示ROC曲线下方的面积。AUC系数越大，模型的风险区分能力越强。ROC曲线越往左上，即ROC曲线下的面积越大，表示该模型的正确性越好。因此，ROC曲线下面积的大小可以作为模型预测正确性高低的评判标准。根据相关的研究，若曲线下的面积为0.5，则表示模型不具备区分能力；若曲线下的面积为0.7~0.8，表示模型的区分能力是可接受的；若曲线下的面积为0.8~0.9，表示模型有很好的区分能力；若曲线下的面积在0.9以上，则表示模型有相当强的区分能力。图2-4为ROC曲线示意图。
图2-4 ROC曲线示意图
K-S检验主要验证模型对违约对象的区分能力，通常是在模型预测全体样本的信用评分后，将全体样本按违约与非违约分为两部分，然后用K-S统计量来检验这两组样本信用评分的分布是否有显著差异。运用K-S检验来验证模型能否区分违约户与正常户，当两组样本的累计相对次数分配非常接近，且差异为随机的时，则两组样本的评级分配应一致；反之，当两组样本的评级分配不一致时，样本累计相对次数分配的差异会很显，如图2-5所示。
图2-5 K-S经验分布曲线
该验证采用两种以上的方法分析实际违约频率与违约概率估值的吻合程度，包括二项检验、卡方检验、正态检验等。
二项检验是验证内部评级体系各级别违约概率估值的一种有效方法，其前提是每个级别下违约事件是相互独立的，要注意每次只能应用一个评级级别。
卡方检验验证模型不同风险级别违约概率（probability of default,PD）与主标尺的匹配程度，可以一次同时对多个级别进行检验，但样本需要满足独立性（违约事件在风险级别之内和风险级别之间相互独立）以及正态分布的假设。卡方检验的P值可以用来估计违约概率的准确性，P值越接近0，准确性越差。
该验证检验违约概率估值在时间和客户群变动情景下是否具有稳定性。常用的方法包括转移矩阵法等。
转移矩阵法假设在最稳定的模型中，在其他条件不变的情况下，同一评级客户前后期的评级等级应当维持不变。因为只用一个转移矩阵无法给出评级模型效果的很多信息，所以需要比较在不同时间段的转移矩阵以衡量模型效果。将转移矩阵情况与宏观经济情况比较可以发现模型表现方面的问题，例如在经济增长时期却发现评级结果有向更差等级转移的趋势，说明模型本身可能存在问题。
2.定性评估的方法
定性评估的方法主要包括违约定义评估、打分卡开发数据评估、开发过程评估、评级结果评估等。定性评估的步骤如图2-6所示。
图2-6 定性评估的主要步骤
3.低违约资产组合的验证
根据《新资本协议》实施工作组的验证工作组（AIG-V）的研究
，银行资产组合是在低违约和高违约两类状态之间连续变化的。当银行内部数据系统包含较少的违约事件时，资产就更接近低违约状态，这对风险参数量化即风险计量和验证工作都构成了挑战。目前，业界的最大担忧是缺乏足够的统计数据，导致风险参数返回检验困难，使低违约资产组合（客户）难以运用内部评级法。基于业界的担忧，AIG-V在2005年9月发表了一份新闻公报，其中阐述了违约数据的缺乏并不能使低违约资产组合排除在应用内部评级法之外。
目前，对于低违约资产组合的验证，已有成熟的方法应用于国内外银行的实践。业界采用的主要验证方法如图2-7所示。
图2-7 低违约资产组合验证的方法
图2-7所列的验证方法中，内外部基准测试是低违约资产组合验证工作中最常运用的方法。基准测试（benchmarking）是内部评级的估计结果与内外部可观察信息（公开或非公开）之间的比较。对于内部评级体系来说，可观察的公开基准包括标准普尔公司、穆迪公司等评级机构给出的评级，这些评级机构对被评级公司给出的评级的详细信息可以从公开资料中得到，从而使检查和分析内部评级体系是可以实现的。非公开的基准是银行内部或监管部门采用的基准，一般不对外披露。
这里的外部基准被隐含地认为具有某种特殊的可信度，如内部评级的估计结果与外部基准有偏差，就应检查内部的估计值。在该方法下，外部基准用来对内部估计值进行校准或者验证。需要注意的是，由于确定绝对的基准很困难，因此使用基准时应谨慎。
针对低违约资产组合的验证步骤如图2-8所示。
图2-8 低违约资产组合验证的步骤
如果银行违约客户数量较少，那么传统模型评估的返回检验方法只能得出有限的结论，在这种情况下，基准测试可以检验低违约资产组合评级模型的区分能力。通过比较评级模型和基准模型对相同债务人评级结果的相关性进行验证。因此，如果银行的违约客户数量和数据质量不够理想，建议采用基准测试的方法对风险评估模板的区分能力进行验证。如果银行客户缺乏外部机构的评级数据，也缺乏可信度较高的市场数据，不易获得外部基准数据，建议采用内部专家基准测试的方法对风险评估模板的区分能力进行验证。具体验证步骤如下：
第一步，确定测试样本客户行业和清单。
根据银行提供的历史客户及现有客户的行业分布情况统计表，综合考虑各行业的客户数量占比和信贷余额占比情况，从中筛选出几个主要的行业，分别确定各行业的测试样本客户数量。
第二步，确定内部业务专家对客户信用水平的排序结果。
内部专家基准测试的方法对专家的要求较高，因此，选择业务经验丰富、熟悉市场环境、了解客户风险特征的业务专家，是确保基准测试结果合理性的关键。专家根据银行评级框架的评级定义，为测试样本客户进行主观认定评级，并按照主观认定评级结果对测试样本客户进行排序。上述排序结果作为内部专家基准测试的“专家基准”，在此基础上进行基准测试。
第三步，计算基准测试量化结果Spearman秩相关系数。
通过基准测试评估打分卡对债务人的评分结果与专家的排序结果的相关性，正相关性高代表风险评估模板对客户信用水平的排序能力良好，反之亦然。
根据定量验证与定性评估结果，选取评级结果表现不好且客户数量占比以及信贷余额占比较大的打分卡进行重点优化，提出优化建议。
想更全面地了解低违约资产组合验证的读者可参阅本书第11章。
[1]巴塞尔委员会第6期新闻公报，2005-09.