1、为什么要进行回溯测试
BASEL 的框架要求所有使用内部模型法计量市场风险必须要进行回溯测试。回溯测试可以：
1、用来检测风险度量模型的恰当性，包括参数设置合理性、数据完整性、计算模型合理性。
2、用来帮助确认升级风险衡量模型的必要性。对一些投资者而言，最开始计算 VaR 的模型可能比较简单，当进行新的资产类型和国家地区的投资时，原有模型可能无法覆盖相应的资产类型，或者没有相应的数据，此时可以用回溯测试来检验当前模型的合理性，是否有必要升级定价模型和购买更多数据。
2、回溯测试的对象
回溯测试主要用来估计 VaR 的准确性，更准确地说， VaR 是否反映了组合损益的波动性。所以回溯测试的对象主要是 VaR 和损益，它们的时间周期要保持一致，比如用下一天的损益测试当天的日 VaR ，用下一周的损益测试当天的周 VaR。
VaR 在这里没有歧义。但在操作层面上，损益却有不同的取法。具体而言有下面三种：
- 实际损益：指组合实际每天发生的盈亏金额，这个数据是最容易获取的，因为组合实际的盈亏数据肯定是每天都会被统计的。这里将组合在期间的交易变动、发生的税费、手续费和利息等收入支出都考虑在内。
- 模拟损益：指假设组合在当期保持不变，使用财务上的估值方法计算所发生的盈亏金额。
- 模型损益（只针对模拟法）：假设组合在当期保持不变，并且使用 VaR 模型里的估值模型计算组合的损益。模型损益和模拟损益的差异主要体现风险模型和财务上的估值差异。
3、回溯测试失败意味着什么
回溯测试通常使用假设检验的方法。没有通过假设检验，有可能是运气不好的原因。但还是需要注意以下问题：
3.1、VaR 计算模型问题
比如使用了错误的时间区间或者概率水平、对于风险因子的分布估计不合适等等。
如果 VaR 和模型损益没有通过回溯测试，由于这里已经使用的是模型给出的估值，只可能是 VaR 计算模型的问题。
3.2、准确性需要改进
问题通常出现在估值模型或基础数据的准确性上。如果资产的估值并没有考虑所有影响该资产估值的波动，那么就会低估其风险。一个简单的例子为，使用一条普通的利率曲线对现金流进行折现来获得债券的估值，但如果该债券的信用等级较低，利差波动较大，那么该债券的实际波动会比这种简单折现的估值方法计算出的 VaR 要大得多。
基础数据准确性和不一致也是造成 VaR 不准确的重要原因。在计算股票的 VaR 时，需要对停牌、派息除权、新股等很多基础数据进行整理，否则便会出现意外结果。
如果使用模拟损益和 VaR 通不过回溯测试，通常说明了这类原因。
3.3、日间交易
如果模拟损益和 VaR 能通过回溯测试，但实际损益和 VaR 通不过测试，那么情况出现在日间交易上。由于 VaR 通常以每天收盘时的持仓为基础，并未刻画日间交易产生的波动。这种情况下，可能需要改用更短的时间间隔，或者 VaR 这个参数可能不是最适合业务的风险刻画方式。
3.4、到底用哪个损益来进行回溯测试
在风险管理中需要控制的是组合的实际损益，受到监管机构的监督的真正盈亏，反应了实际交易回报的波动。而在这点上模拟损益和模型损益并无实际意义。所以如果要对整个 VaR 系统进行衡量，必须要进行实际损益和 VaR 的回溯测试。同时，实际损益数据也是最容易获得的。
而如果只想观察 VaR 本身是否计算准确，模拟损益是更公正的回测对象。如果样本观察时间相对较短，交易不频繁，模拟损益和实际损益相差不大。
当实际损益和 VaR 通不过回溯测试时，就可以进一步地测试模拟损益和模型损益。因为我们必须弄清楚到底是 VaR 计算有误，还是其它原因（比如日间交易产生的损益太大）。
在实际工作中，也通常使用模型损益，这是因为它们比较容易获取。大多数 VaR 计算软件会在计算 VaR 的过程中顺便把模型损益算出来。
4、回溯测试的方法
无论使用上面那一种损益，测试方法都是一样的。VaR 代表损益的某一特定分位点，我们将损失超过 VaR 称为一次「突破」事件，需要检验：「突破」是概率为 5%的独立事件，其一频率为 0.05 ，其二时间序列上的独立性。
在$ T$ 个样本中，定义$ N$ 为 VaR 突破事件的次数，$ N/T$ 为突破率。在理想情况下，$ N/T$ 应该随着样本量的增加而趋向于$ p=0.05$ 。根据 BIS 的要求，至少需要一年的样本数据。
4.1、巴塞尔规则
巴塞尔框架中对于回溯测试有明确的要求。它只对 99%的日 VaR 进行了限定，并使用一年的样本。一年的平均突破次数约 2.5 次，巴塞尔委员会可以接受最多 4 次突破。如果发生了 5 次或更多，则银行出于黄灯或者红灯区域，并对银行资本有更高的要求，体现在递增的增值因子上：
| 区域 | 突破事件次数N | 增值因子k |
| 绿 | 0 —— 4 | 0 |
| 黄 | 5 | 0.4 |
| 6 | 0.5 | |
| 7 | 0.65 | |
| 8 | 0.75 | |
| 9 | 0.85 | |
| 红 | 10+ | 1 |
注意巴塞尔规则并未对独立性进行限定。
4.2、频率检验
最简单的方法是构造统计量
利用中心极限定理，$ z$ 近似于正态分布，$ z\sim N(0,1)$ 。从而可以进行假设检验。
这种方法产生的第二类错误较大。Kupiec 在 1995 年定义了另外一种统计量:
在 T 较大时，该统计量符合自由度为 1 的$ X^2$ 分布。从而可以进行对应的假设检验。
4.3、独立性检验
按照 5%的概率，一年大约会发生 12 次突破事件，而我们不希望这些事件在短时间内接连发生。所以，除了频率检验之外，我们还可以对 VaR 突破事件进行独立性检验。
Christoffersen Test 是其中的方法之一。它事实上在测试，当天发生突破事件时，第二天发生突破事件的概率和当天不突破时，第二天发生突破的概率是否一样。也就是说， Christoffersen Test 只关心相邻两天是否独立。其效果一般。
如果「突破」事件是独立事件，那么「突破」事件发生的时间间隔是一个参数为$ 1/p$ 的指数分布。根据这个分布 Christoffersen 和 Pelletier 也建立了检验方法。
4.4、注意事项
VaR 回溯检验里所要求的样本量较大，特别是当 p=99%时。较低的样本量的检验结果极不准确，对独立性检验更是如此。在实际使用中，需要充分认识到假设检验方法的缺陷。
5、其它和一些参考文献
《Value at Risk》书中提到 2002 年的一份实证研究报告，报告中指出 VaR 的突破次数低于期望次数。原因可能是风险管理人员不愿意去解释 VaR 突破的原因。银行也倾向于报告较高的 VaR 值，避免监管部门的介入。
一些参考文献：
- supervisory framework for the use of baktesting in conjunction with the internal models approach to market risk capital requirments
- 雷曼的 backtesting procedure
Q. E. D.
