6.- back testing-2 · zante tal circunstancia, la herramienta más eficiente para vigilar el...

BacktestingModelos de Capital y Reservas

Mayo 2009

1. Antecedentes

2. Backtesting

3. Perspectivas

Contenido

Backtesting de los Modelos de Reservas y Capital

Nuevos esquemas regulatorios a nivel mundial, como Solvencia II, tienden a la utilización de modelos propios por parte de las compañías de seguros y bancos.

Dichos modelos idealmente habrían de medir las obligaciones de la compañía con base en las características y comportamiento propio de sus riesgos; sin embargo, ante la complejidad de éstos, no es posible determinar analíticamente si darán resultados congruentes con la realidad.

Adicionalmente, ante el comportamiento dinámico de los riesgos, existe la constante posibilidad de que el modelo se desajuste.

Ante tal circunstancia, la herramienta más eficiente para vigilar el desempeño de los modelos es la prueba retrospectiva llamada “Back Testing”.

México tiende a la adopción de un esquema regulatorio que contempla la aplicación de modelos propios, lo que obliga a implementar esquemas de Back Testing.

Antecedentes

1. Antecedentes

2. Backtesting

3. Perspectivas

Contenido

Backtesting de Reservas y Capital

El Backtesting es un procedimiento técnico que consiste en validar la precisión y validez de un modelo ideado para hacer estimaciones de un determinado valor contingente, mediante la comparación de las estimaciones hechas por el modelo respecto de los valores realesobservados en periodos anteriores.

No existe modelos únicos predefinidos de Backtesting, se debe crear la prueba dependiendo del tipo de modelos que se quieren validar.

No obstante, existen principios fundamentales para hacer el Backtesting.

• Un grado de tolerancia para la magnitud del error entre la estimación y la realidad.

• Una tolerancia para el número de veces que puede fallar el modelo.

Definición de Backtesting


En el contexto de Solvencia II, la adopción de modelos propios para estimar las reservas y capital de solvencia, pueden generar resultados que son susceptibles de diferir de la realidad en un grado de error producido por la variación natural del fenómeno o por que el modelo es erróneo.

Ante esto, resulta necesario definir esquemas de Backtesting para determinar la precisión y validez de los modelos adoptados por la compañías.

Tres cuestiones fundamentales deben definirse:

• ¿Cómo serán los modelos de Backtesting que deben aplicarse?

• ¿A qué modelos se le debe aplicar Backtesting?

• ¿Cuáles serán las tolerancias para el error de los modelos?

Utilidad la Prueba de Backtesting en el Contexto de Solvencia II


En el esquema regulatorio de Basilea II, se establece el Backtesting que deben aplicar las instituciones bancarias, al momento de calcular su capital de solvencia.

Consiste en analizar el número de veces que un modelo de estimación del capital, ajustado con un nivel del confianza del 99%, falla en un año, de 250 pruebas realizadas durante el periodo de un año.

1. Se dice que el modelo presenta una excepción, cuando se observa que el valor real de las pérdidas son superiores a la estimación dada por el modelo.

2. Dado que el modelo se supone ajustado al 99% de confianza, entonces se establece que la tolerancia es de una excepción por cada 100 ensayos (uno diario).

3. Cuando el modelo falla más de una vez en cada 100, se establecen esquemas de alerta que van de amarillo a rojo, dependiendo del número de veces que las excepciones han superado al parámetro de tolerancia. La máxima tolerancia es de 4 fallas en 100 veces (4%).

El Esquema de Basilea II, para Instituciones Bancarias

Función de Densidad de Pérdidas


En modelos de predicción, los valores que exceden la magnitud de la estimación son llamadas “excepciones” o “fracasos”.


Se presenta una excepción, cuando la realidad supera a la estimación hecha con el modelo (excedencia).


Dado que la estimación está determinada al 99% de confianza, se puede considerar un modelo binomial con probabilidad de éxito del 0.99 y probabilidad de fracaso del 0.01. Con base en este criterio se establece que en 100 observaciones o más, sólo habrá el 1% de excepciones. En Basilea II, se da una tolerancia máxima del 4%, es decir, cuatro excepciones en 100 ensayos.

La tolerancia del 4% se establece para evitar errores de tipo I y II. El error de tipo I consiste en rechazar un modelo que es adecuado, el error tipo II consiste en aceptar un modelo que es inadecuado.

Aun cuando un modelo sea adecuado, puede presentar excepciones por encima del número esperado, pero a medida que se desvía el número de excepciones, es más improbable que el modelo sea adecuado. Para ello se puede establecer el número de excepciones a partir de lo cual se rechaza la hipótesis de que el modelo sea adecuado, con un alto grado de confianza.

Este criterio ha sido criticado por no tomar en cuenta la magnitud de la excedencia que se genera en cada excepción.



A manera de ejemplo, tenemos la fórmula de Requerimiento de Capital para instituciones bancarias en Argentina:

El factor multiplicativo ha sido justificado mediante la desigualdad de Chebyshev, desigualdad que implica que las fronteras para un nivel de confianza del 99%, nunca estarán a más de 10 desviaciones de la media, independientemente de la distribución. En este sentido, cuando se desconoce la verdadera distribución, el factor se justifica.

La fórmula de Capital de Argentina

∗+= ∑

=−+

60

111 )3(,max

itttt VaRsVaRMRC


Se deben crear pruebas de Backtesting para los modelos propios de estimación de reservas. En este caso, se debe probar tanto el valor esperado del riesgo, como el margen de riesgo.

También se deben crear pruebas de Backtesting para modelos propios de capital.

Por otra parte, las técnicas de VaR no son apropiadas, debido a que el riesgo de seguros difiere de manera importante del riesgo financiero de instrumentos de inversión.

Las diferencias más relevantes son:

1. Las mediciones de pérdidas de seguros no son diarias, por lo que la serie estadística para el backtesting requiere un mayor periodo de observación.

2. Las variables de riesgo de seguros son dos (siniestros y tasa), por lo que se presenta la dificultad de tener variables aleatorias conjuntas, cuya función de distribución conjunta es difícil de obtener.

Qué debe hacerse en México?


Las reservas son el valor medio de las obligaciones. Lo anterior plantea la necesidad de elaborar un Backtesting para la media. La media es un valor que con un determinado grado de confianza su valor se encontrará en un determinado intervalo (intervalo de confianza).

Resulta natural realizar la prueba de Backtesting dando un intervalo de confianza para la variación de esa media, y determinar en función de ello, el número de excepciones que se realizarán en un determinado periodo, que deben corresponder a aquéllas que permiten eliminar errores del tipo I y II. Con base en el número de excepciones, se pueden definir zonas de aceptación (verde), advertencia (amarilla), y rechazo (roja).

Otro enfoque es crear un intervalo de confianza para el error de la media, con base en una estadística de errores observado en el mercado, definidos dichos errores como porcentaje de la media.

Se produce una excepción cuando el valor de la media real difiere del estimador en una cantidad que se ubica fuera del intervalo de confianza.

Un modelo de Backtesting para Reservas


Las reservas son el valor medio de las obligaciones. Lo anterior plantea la necesidad de elaborar un Backtesting para la media. La media es un valor que con un determinado grado de confianza su valor se encontrará en un determinado intervalo (intervalo de confianza).


Media 10

Varianza 1

Veces la desv. (k) 2.00

Intervalo aceptación 8.00

Prob. acumuladas 0.0228

Prob. intervalo 95.45%

Prob. excepción 4.55%

0.00

0.05

0.10

0.15

0.20

0.25

0 2 4 6 8 10 12 14 16 18 20

Prob intervaloDensidad

Zona de Excepciones



Media 10

Varianza 1

Veces la desv. (k) 2.00


Prob. excepción 4.55%

0.00

0.05

0.10

0.15

0.20

0.25

0 2 4 6 8 10 12 14 16 18 20

Prob intervaloDensidad

Excepciones Probabilidad0 18.70%1 50.80%2 77.58%3 92.04%4 97.73%5 99.47%6 99.90%7 99.98%8 100.00%9 100.00%10 100.00%11 100.00%12 100.00%13 100.00%14 100.00%15 100.00%16 100.00%17 100.00%18 100.00%19 100.00%20 100.00%

0

2

4

6

8

10

12

14

1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35

observaciones

limite inferior

media

limite superior



Excepciones Probabilidad0 18.70%1 50.80%2 77.58%3 92.04%4 97.73%5 99.47%6 99.90%7 99.98%8 100.00%9 100.00%10 100.00%11 100.00%12 100.00%13 100.00%14 100.00%15 100.00%16 100.00%17 100.00%18 100.00%19 100.00%20 100.00%

Con base en el número de excepciones, calculando la probabilidad del número excepciones mediante una binomial, cuya probabilidad de éxito es la probabilidad de excedencia de la estimación, en caso de pruebas de una cola o la probabilidad de caer fuera del intervalo de confianza en el caso de pruebas con intervalos de confianza, como es el caso.

El número de excepciones que puedan presentarse con a lo más el 95% de confianza definen la zona verde, en tanto que la zona amarilla es para número de excepciones que puedan presentarse con un grado de confianza superior al 95%, pero menor al 99.99% de confianza, definiendo la zona roja como aquella en donde el número de excepciones sólo puede ocurrir con una probabilidad muy pequeña, es decir que la probabilidad de que ese número de excepciones no ocurra es del 99.99%.



0.00

0.05

0.10

0.15

0.20

0.25

0 2 4 6 8 10 12 14 16 18 20

Prob intervalo

Densidad

Excepciones Probabilidad0 90.73%1 99.57%2 99.99%3 100.00%4 100.00%5 100.00%6 100.00%7 100.00%8 100.00%9 100.00%

10 100.00%11 100.00%12 100.00%13 100.00%14 100.00%15 100.00%16 100.00%17 100.00%18 100.00%19 100.00%20 100.00%

Media 10

Varianza 1

Veces la desv (k) 3.00


Prob. de excepción 0.27%

0

2

4

6

8

10

12

14

1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35

observaciones

limite inferior

media

limite superior



Adicionalmente, es necesario establecer una prueba que permita detectar un modelo que no obstante que se mantiene dentro del intervalo, “extrañamente” presente resultados siempre inferiores a la media.

En este caso, se puede aplicar una prueba binomial que nos indique la probabilidad de que una serie de valores aleatorios sea factible. Supongamos que se observó que de 30 ensayos, 25 veces estos se ubicaron debajo de la media. ¿Cuál es la probabilidad de tener 25 valores por debajo de la media en 30 ensayos?.

0

2

4

6

8

10

12

14

1 3 5 7 9 11 13 15 17 19 21 23 25 27 29

observaciones

limite inferior

media

limite superior



La probabilidad de que ese escenario ocurra es inferior a 0.005 por lo que el modelo se rechaza, con una probabilidad muy baja de que exista un error de tipo I o II.

000132719.021

21

2530

)Pr(525

=

=iE

0

2

4

6

8

10

12

14

1 3 5 7 9 11 13 15 17 19 21 23 25 27 29

observaciones

limite inferior

media

limite superior



No obstante, un modelo incorrecto podría pasar las dos pruebas ya que podría cumplir con la binomial pero estar “cargado” hacia abajo o hacia arriba.

Para estos caso, se probaría la diferencia de medias, determinando que el modelo es incorrecto cuando la media de los resultados del modelo, aún pasando las dos pruebas anteriores, sea inferior “representativamente a la media real”. Esta último caso se basaría en realizar una prueba de hipótesis sobre la media.

0

2

4

6

8

10

12

14

1 3 5 7 9 11 13 15 17 19 21 23 25 27 29

observacioneslimite inferiormedialimite superiorSerie5


Un modelo de Backtesting para Capital

El modelo de Backtesting para capital o para margen de riesgo, debe basarse en la probabilidad de exceder la estimación hecha al 99.5% de confianza, considerando excedencia a toda pérdida observada superior a la estimación.

Se debe considerar que el criterio coincide con el de VaR, sin embargo la función de distribución de pérdidas tiene un mayor grado de dificultad.

Función de Densidad de Pérdidas

Se presenta una excepción, cuando la realidad supera a la estimación hecha con el modelo (excedencia).

1. Antecedentes

2. Backtesting

3. Perspectivas

Contenido


Perspectivas

Es necesario idear modelos de Backtesting apropiados para cada modelo que se quiera probar, entre de los más importantes:

• Reservas de riesgos en curso

• Reserva de Siniestros ocurridos no reportados

• Requerimientos de Capital de Solvencia

• Modelos de estimación de pérdidas financieras VaR.

• Modelos de estimación de pérdidas por descalce

• Modelos de estimación de PML


Perspectivas

Estos modelos no existen, se deben idear !! de acuerdo a nuestras necesidades…..

BacktestingModelos de Capital y Reservas

Mayo 2009

6.- back testing-2 · zante tal circunstancia, la herramienta más eficiente para vigilar el...

Documents