la evaluación de las políticas públicas · 2021. 6. 14. · 14 evaluación de las políticas...

[en] initiative for socio-economic analysis and knowledge[es] iniciativa para el análisis y el conocimiento socioeconómico[eu] ikerketa eta ezagutza sozioekonomikorako ekimena

Gonzalo Romero

La evaluación de las políticas públicas

9/6/2021

WORKSHOP 3, Sesión II: Datos administrativos e introducción a la evaluación

II Ciclo de Workshops Observatorio de la Realidad Social

2

Evaluación de las políticas públicas

Índice

1

2

3

Los datos administrativos como materia prima en la evaluación

Introducción a la evaluación de impacto

Los principios de correlación y causalidad

Los datos administrativos como

materia prima en la evaluación

3

4


“El recurso más valioso del mundo ya no es el petróleo, sino los datos.”

The Economist, mayo de 2017

5


Vivimos en un mundo lleno de datos. ¿Para qué sirven?

Toma de decisiones basada

en la evidencia

Entender mejor la realidad

que nos rodea

Detectar problemas y

buscar soluciones

6



Sector privado Sector público

Banca y seguros

Logística

Medios de comunicación

Mejorar el servicio a la ciudadanía

Evaluación de políticas públicas

Gestión más eficiente

7



Sector privado Sector público

Banca y seguros

Logística

Medios de comunicación

Mejorar el servicio a la ciudadanía

Evaluación de políticas públicas

Gestión más eficiente

8


Recogida de información y

creación de bases de datos

Análisis de datos Open Data

Temas a tratar

9





Temas a tratar

10


Los datos administrativos

La Administración, a través de sus diferentes procedimientos, genera una gran cantidad de información.

Esta información ya se suele recoger en ficheros o en bases de datos administrativas, ya que es indispensable para la gestión.

Por lo tanto, no se puede hablar de falta de información.

11


Solicitud


PagosCambios en

ingresos del hogar

Cambios en composición del hogar

Renovación expediente

Extinción prestación

Ejemplo: Prestación de Renta Mínima

12



Por lo tanto, el objetivo debe ser recoger y almacenar esta información en unas bases de datos que, además de servir para gestionar, también sirvan para realizar análisis de datos.

Este proceso debe realizarse teniendo en cuenta una serie de criterios que hacen que una base de datos sea adecuada para un uso analítico.

13


Criterios a tener en cuenta

Facilidad para cruzar información con otras

bases de datos

La base de datos debe estar bien estructurada

y definida

La información debe presentarse de una manera detallada y

desagregada

14



La base de datos debe estar bien estructurada

y definida

La base de datos tiene que tener un propósito claro y definido.

Cada columna de la base de datos debe contener un único tipo de información (variable) y el tipo de dato debe ser consistente para cada columna.

Importancia de acompañar con documentos que expliquen la metodología y la estructura de la base de datos.

15



En ocasiones, el análisis puede requerir el uso de varias bases de datos de distinta procedencia.

Este criterio es vital para que se produzca una correcta colaboración entre AAPP.

Ejemplo: En el caso de las Rentas Mínimas, es interesante cruzar la información con bases de datos de empleo/desempleo y Seguridad Social.

Facilidad para cruzar información con otras

bases de datos

16



Cuanto más desagregados se presenten los datos, más detallado será el análisis que se pueda hacer con ellos.

Este criterio otorga a la base de datos una mayor flexibilidad analítica.

Ejemplo: Los pagos de una Renta Mínima se realizan de manera mensual, por lo que es más lógico presentar esta información de manera desagregada en vez de proporcionar un único dato con el total anual.

La información debe presentarse de una manera detallada y

desagregada

17


¿Cómo cumplir con estos criterios?

Uso de microdatos anonimizados

El concepto de microdato hace referencia a una información que se presenta a nivel individual (personas, hogares, empresas…) y de manera separada para cada observación.

Se contraponen a los datos agregados.

Ejemplo: Dato agregado → Edad media de las personas beneficiariasMicrodato → Edad de cada una de las personas beneficiarias

18



Evitar en la medida de lo posible que los datos estén en formato “texto”.

Las categorías y los códigos deben ser consistentes a lo largo del tiempo.

Ejemplo: Variable “sexo”Variables categorizadas y

codificadas de manera consistente

Númerica1 - 2

TextoHombre - Mujer

Hombres - MujeresH - M

19



Variables categorizadas y codificadas de manera

consistente

20



Variables categorizadas y codificadas de manera

consistente

21



Idealmente, la frecuencia de los datos debe ser la mayor posible, siendo preferible los datos diarios a los mensuales y los mensuales a los anuales.

Cuanto mayor sea la frecuencia, más sencillo resulta capturar cambios a lo largo del tiempo.

Ejemplo: Una persona beneficiaria de una Renta Mínima encuentra trabajo el 10 de noviembre de 2020.

Frecuencia de los datos

2019 2020

22



A la hora de realizar una evaluación, es fundamental analizar qué sucede con las personas a lo largo del tiempo.

Ejemplo: Una persona persona que sale del sistema de Renta Mínima y vuelve con el paso del tiempo.

¿Cuánto tiempo ha tardado en volver? ¿Qué ha sucedido mientras tanto? ¿Ha encontrado empleo?

Trazabilidad de los individuos

Abril Mayo Junio Julio

23



Al añadir nueva información, nunca se deben borrar los datos ya almacenados.

La información debe añadirse de manera consistente con los datos anteriores, para posibilitar el análisis longitudinal.

Actualización de información

24



“Reino Unido olvidó registrar casi 16.000 casos positivos porque su Excel no admitía más filas”

Software adecuado para crear bases de datos

A B C

25


Objetivo

1. Datos sin estructura analítica

26


1. Datos sin estructura analítica

2. Integración de información y creación de bases de datos

Objetivo

27


Gestión Análisis1. Datos sin estructura analítica

2. Integración de información y creación de bases de datos

3. Base de datos: Gestión y Análisis

Objetivo

28


Ejemplo de buenas prácticas

Dinamarca

Base de Datos Integrada para la Investigación del Mercado Laboral (IDA).

Acceso condicionado al cumplimiento de una serie de requisitos.

La riqueza de esta base de datos la ha convertido en un referente en el uso de microdatos.

29


¿Y en España?

Recientemente, cuatro instituciones han acordado comenzar a trabajar conjuntamente en el desarrollo de un sistema de acceso a sus bases de datos:

• Instituto Nacional de Estadística

• Agencia Estatal de Administración Tributaria

• Seguridad Social

• Banco de España

Acceso a la nota de prensa: https://www.ine.es/prensa/comunicado_13042021.pdf

https://www.ine.es/prensa/comunicado_13042021.pdf

30


Las encuestas como herramienta complementaria

A pesar de todo, es posible los datos administrativos no proporcionen toda la información necesaria para realizar un análisis o evaluación.

En estos casos, es interesante acudir a encuestas que puedan complementar la información disponible, tanto en una dimensión cuantitativa como cualitativa.

Además, se puede recurrir a otras herramientas que sean capaces de detectar competencias o valores intangibles, que tienen cada vez una mayor relevancia.

31





32


¿Cómo aprovechar los datos?

Software Capital humano

Análisis de datos

33


Tipos de análisis

Análisis interno Evaluaciones externas

Se trata de análisis o evaluaciones preliminares que se pueden realizar desde las propias AAPP.

Este tipo de análisis ofrece elementos que pueden ayudar a entender problemas, monitorizar procesos y realizar un primer diagnóstico sobre una determinada situación.

Se trata de un análisis más complejo y exigente en términos de tiempo y capital humano.

Se trata de una labor de acompañamiento, que puede servir para lograrlos objetivos propuestos de las políticas y evitar potenciales efectos no deseados.

Nunca debe entenderse como un ejercicio de fiscalización.

34


Tipos de análisis (ejemplos)

Análisis interno Evaluaciones externas

Informes periódicos sobre prestaciones basados en análisis descriptivo.

Obtener información siempre actualizada de manera rápida y precisa, que puede ser útil tanto a nivel administrativo como político.

Respuestas concretas para preguntas concretas (y complejas):

¿Cuánto reduce un sistema de Renta Mínima la pobreza?

¿Cobrar una prestación de este tipo reduce la probabilidad de encontrar un empleo?

35





36


¿Qué son los datos abiertos?

Acceso libre y gratuito

Sin restricciones de uso

Dirigido a un público amplio y diverso

37


¿Por qué son importantes?

Transparencia y buen gobierno

Aplicaciones y servicios

Formación y conocimiento

38


Navarra

https://opendata.pamplona.eshttps://gobiernoabierto.navarra.es/es/open-data

https://opendata.pamplona.es

https://gobiernoabierto.navarra.es/es/open-data

39


Ejemplo de iseakLab con pantalla o gif. También mencionaré otros ejemplos

iseakLab - Laboratorio Laboral de Euskadi

40



41



42


Dos aspectos fundamentales

Privacidad No “deshumanizar” la información

Los principios de correlación y causalidad

43

44


Variable A

Variable B

Correlación

Cuando hablamos de correlación, nos referimos a una medida estadística (expresada como un número que toma valores entre -1 y 1) que describe la relación entre dos variables, en términos de fuerza y dirección.

45


Correlación positiva

A B

A B

Correlación negativa

A B

A B

Sin correlación

A B

CorrelaciónVa

riabl

e B

Variable A

Varia

ble

B

Variable A

Varia

ble

B

Variable A

46


Causalidad

A B

Cuando hablamos de causalidad, nos referimos la existencia de una relación causa-efecto entre dos variables.

La correlación entre dos variables no indica por sí misma una relación de causalidad.

47


Cuantos menos piratas hay, más calor hace.

¿Causalidad o correlación?

Más ejemplos de correlaciones espurias: https://www.tylervigen.com/spurious-correlations

https://www.tylervigen.com/spurious-correlations

48



Ventas de helados Ventas de gafas de sol

Correlación

Causalidad CausalidadTemperatura

49



• Los resultados de PISA muestran que los colegios públicos obtienen peores resultados que los concertados.

50


Noticia: link

https://www.eldiario.es/sociedad/colegios-resultados-pisa-descontado-socioeconomico_1_1203968.html

51




• Las personas de etnia gitana presentan tasas de empleo más baja que el conjunto de la población.

52


Informe: link

Problema: estas dos poblaciones tienen características muy diferentes.

https://www.eldiario.es/sociedad/colegios-resultados-pisa-descontado-socioeconomico_1_1203968.html

53




• Las personas de etnia gitana presentan tasas de empleo más baja que el conjunto de la población.

• Las personas que reciben una renta mínima tienen una menor tasa de salida a un empleo. ¿Significa esto que este tipo de prestación retrasa la salida a un empleo? Presentación de un caso práctico para el caso de Euskadi en la siguiente sesión.

54



Introducción a la evaluación de impacto

55

56


En la evaluación de impacto se busca identificar la causalidad

57


La evaluación de impacto

HipótesisDatos,

metodología, supuestos

Estimación de impacto

En la evaluación de impacto, se utilizan los datos disponibles del programa para estudiar las hipótesis,

relacionadas con los objetivos iniciales. Con datos suficientes y adecuados, se podrá estimar el impacto

de la política (o se probará su ausencia de impacto).

58


• Impacto • Contrafactual • Microsimulaciones

• Coste-Beneficio

• Ejecución• Eficacia • Eficiencia

• Contexto• Pertinencia• Relevancia

Ex ante Intermedia Ex post

Contrafactuales

59

60


¿Qué es un contrafactual?

¿Qué habría pasado si…?

Factual

Lo que observamos

Contrafactual

Lo que no observamos

61


¿Qué es un contrafactual? - Ejemplo

El Gobierno aprueba una subida del salario mínimo. ¿Esta medida tiene un impacto en el desempleo?

Factual

Tasa de desempleo observada después de la subida

Contrafactual

Tasa de desempleo que se habría dado si la subida no se hubiese

aprobado

62


El contrafactual y los grupos de control

¿Cómo saber cuál hubiera sido el resultado sin la política en cuestión?

Construyendo grupos de tratamiento y control

Grupo potencial Grupo

tratamiento

Grupo control

63


El contrafactual y los grupos de control

Grupo control

Siguiendo con el ejemplo del salario mínimo…

Grupo tratamiento

Personas afectadas por la medida, con salarios inferiores al nuevo

salario mínimo aprobado.

Personas no afectadas por la medida, con un salario por encima

del nuevo salario mínimo+

Características similares a las personas afectadas

Microsimulaciones

64

65


¿Qué es una microsimulación?

Se trata de una metodología que sirve para medir el impacto de las transferencias monetarias.

En concreto, se comparan los ingresos antes y después de la transferencia.

Antes Después

66


Ejemplo de microsimulación

Supongamos que queremos medir el impacto de una renta mínima en la reducción de la pobreza.

Menos ingresos Más ingresos

67



Supongamos que queremos medir el impacto de una renta mínima en la reducción de la pobreza.

Pasos a seguir:

1. Identificar a los individuos perceptores de la prestación.


68


Ejemplo de microsimulaciónSupongamos que queremos medir el impacto de una renta mínima en la reducción de la pobreza.

Pasos a seguir:

1. Identificar a los individuos perceptores de la prestación.

2. Simular los ingresos de estos individuos en el caso de que la prestación no existiera.


69




Escenario simuladoMenos ingresos Más ingresos

Escenario real

70


Distribución de ingresos reales (con PCI)

Distribución de ingresos simulados (sin PCI)


71


Ejemplo de microsimulaciónUna vez que tenemos los dos escenarios, es posible calcular la tasa de pobreza en el escenario real y en el simulado. El impacto de la prestación en la reducción de la pobreza será la diferencia en la tasa de pobreza entre los dos escenarios.

Reducción de la tasa extrema pobreza en Euskadi

Fuente: Elaboración propia de ISEAK a partir de datos de la EPDS

Escenario real

Escenario simulado

Muchas gracias

72

73

initiative for socio-economic analysis and knowledge

www.iseak.eu

@iseak_eu

[email protected]

http://www.iseak.eu

la evaluación de las políticas públicas · 2021. 6. 14. · 14 evaluación de las políticas...

Documents