presentación de powerpoint · promover la internacionalización de las empresas ... análisis de...

DEPARTAMENTO DE EVALUACIÓN

La evaluación de los programas

de apoyo a la internacionalización Seminario organizado por el ICEX en el marco del

Consejo Interterritorial de Internacionalización (CII)

La experiencia del ICEX en la

evaluación de impacto de la política de

apoyo público a la internacionalización

Madrid, 3 de marzo de 2016

Departamento de Evaluación

ICEX ESPAÑA EXPORTACIÓN E INVERSIONES

«Nuestras ideas deben ser tan amplias

como la naturaleza si aspiran a

interpretarla»



Ministerio de Economía y Competitividad

Secretaría de Estado de Comercio

ICEX

El ICEX



Plan estratégico del ICEX

Transparencia

Eficacia

Eficiencia

Evaluación continua de la calidad y del impacto de

los programas

Valores



• ICEX España Exportación e Inversiones tiene como misión

promover la internacionalización de las empresas españolas

para contribuir a su competitividad y aportar valor a la

economía en su conjunto, así como atraer inversiones

exteriores a España.

Misión del ICEX

Promover es iniciar o impulsar una cosa o un proceso,

procurando su logro.



• Tras una reflexión llegamos a la conclusión de que la misión

del ICEX es en realidad ofrecer apoyo al proceso de

internacionalización de la empresa española.

Misión del ICEX



• Evaluaciones realizadas

Evaluaciones realizadas y en curso

• Evaluaciones en curso



Diseño de evaluación Empresa con potencial de internacionalización Beneficiario

Apoyo Tratamiento

Proceso de internacionalización

Resultado



Diseño de evaluación Empresa con potencial de internacionalización Beneficiario

Apoyo Tratamiento

Producto

Proceso de internacionalización

Resultado

Impacto



Diseño de evaluación Características de la empresa Beneficiario

Instrumentos de apoyo del ICEX Tratamiento

Servicio prestado o producto entregado (Cuestionario de calidad y satisfacción) Producto

Mejora de competitividad (mayor valor añadido de la oferta española)

Exportación

Inversión exterior

Cuenta de pérdidas y ganancias

Empleo de calidad

Resultado

Retorno de inversión pública vía impuestos Impacto



Beneficiarios

Tipología de empresa (clusterización)

Diferentes poblaciones por programa

Matriz de transiciones

Capacidad de internacionalización (indicador sintético calculado de forma

empírica)

¿Quiénes son?



• Años de experiencia en el mercado internacional

• Cifra de negocios

• Países con presencia comercial

• Países con implantación productiva

• Número de empleados

• Número de empleados dedicados a labores de I+D+i

Beneficiarios: datos



Beneficiarios: datos

• Certificados de calidad y de responsabilidad social de validez

internacional (ISO, Global Compact, etc.)

• Marcas internacionales

• Índice de solvencia

• Índice de reputación corporativa

• Cuota de exportación

• Estructura corporativa



Beneficiarios: clusterización

Tasas de respuesta

Mínima: 28%

Máxima: 60%

Tipologías coherentes con los logros mostrados (clústeres de

aprovechamiento)

Muestra Clasificación



Beneficiarios: modelo de clasificación

Población objetivo: Participantes en Ferias de Pabellón Oficial

Modelo de clasificación: Regresión logística

Variable objetivo: Clúster de aprovechamiento

Variables explicativas: Características de empresa



Beneficiarios: matriz de transición

• Matriz de transición P(clúster2014│clúster2013)

• Matriz de probabilidades inversas P(clúster2013│clúster2014)

Población objetivo: Participantes en Ferias de Pabellón Oficial



Tratamiento

¿En qué consiste?

¿Es un apoyo puntual o un acompañamiento

continuado?

¿Cómo nos usan las empresas?

¿Siguen alguna estrategia?

Apoyo público a la internacionalización Análisis secuencial



Tratamiento: efectividad

• ¿Tendrá el mismo resultado acudir a un seminario sobre el

calzado en Alemania que acudir 6 años seguidos a la feria más

importante de calzado en Alemania?



Tratamiento: datos

Beneficiarias

Tipo de actividad

Fecha de actividad

País de actividad

No elegibles (empresas que han solicitado apoyo pero no han

recibido tratamiento)

Proceso Posible contrafactual



Tratamiento: duración Datos: Participación en actividades de PGEN y PSEC

entre 2003 y 2013

Técnica: Test de diferencias de medias

Variable de estudio: Permanencia en Planes

Variable de clase: Clústeres de aprovechamiento



Probabilidad de mostrar un determinado grado de aprovechamiento para una permanencia de 7.12 años en

actividades de PGEN o PSEC según grupo de comparación.

Tratamiento: comparación para 7.12 años



Datos

Participación en programas ICEX

con apoyo económico entre 2003

y 2013 por NIF

Tamaño del fichero

582 345 registros

Total de secuencias

28 231 secuencias

Técnica

Análisis secuencial

Tratamiento: patrones genéricos



Programa central es PSEC

Programas con fuerte soporte son

Pipe y PGEN

Existe un ciclo PSEC-Pipe-PGEN,

con fuertes confianzas

Existe también relación individual

de PSEC con planes de empresa e

inversión, con fuerte confianza

Se aprecia relación, con confianza

débil, con formación y con

TRADING

Tratamiento: patrones para clúster PSEC 8



Tratamiento: secuencias para clúster PSEC 8

1 de cada 6 empresas tiene

secuencia de 5 años en FPA

1 de cada 8 tiene secuencia de 4

años sucesivos en MDir

1 de cada 4 hace programa Pipe y 1

de cada 8 hace también seguimiento

Hay secuencias combinadas de Pipe

con MDir y con FPA



Ciclo simple PSEC-PGEN, con

confianzas medias-altas, con

centralidad en PSEC.

Con gran confianza, algunas

empresas pasan a PSEC tras pasar

por programas de empresa

Tratamiento: patrones para clúster PSEC 9



Tratamiento: secuencias para clúster PSEC 9


secuencias de 10 años en FPA, y

casi 1 de cada 2 de 7 años


secuencias de 7 años en MDir

1 de cada 5 tiene una secuencia de

entrada en FPO, seguida de 7 años

sucesivos en FPA

1 de cada 3 hacen una secuencia de

2 años en FPO

Hay secuencias combinadas de FPA

y MDir con soportes altos



Producto

Asesoramiento

Información

Agenda de contactos

Intermediación

Servicio integral de logística

Alerta temprana

Apoyo económico

Calidad y satisfacción (Certificación ISO)

Valor añadido (cadena de valor pública)

¿Qué ofrecemos?



• Valoración clientes 2014

Producto: calidad y satisfacción



Producto: preferencias

Preferencias de apoyo para

superar barreras de mercado

¿Realmente piden lo que necesitan?

¿Qué nos piden? ¿Qué necesitan?



Producto: análisis de preferencias

Programa

Planes Sectoriales

Técnica

Escalamiento multidimensional

Variables

Preferencias de apoyo



Producto: análisis de necesidades Clúster: PSEC 8

Descripción: Ocasionales, sobre todo industriales, con

experiencia media, pero escasa proyección internacional

(pocos países, cuota baja…). Baja facturación, en general

estable, con ISO e I+D+i.

Diagnóstico: Potencial de crecimiento, si asumen la

exportación como su palanca de crecimiento.

Conclusiones y recomendaciones: Las preferencias de

clúster casan con el reconocimiento en adicionalidad, y

resulta significativo que sea el único clúster que aparece en

instrumentos de trading. La combinación de acciones

presenciales clásicas con instrumentos nuevos de operativa

comercial puede aportarles negocio y nuevas ideas.



Clúster: PSEC 9

Descripción: Consolidadas, industriales, con altísima

facturación y cuota, muy diversificadas, inversión empleo

en I+D+i e ISO. Facturación en crecimiento. Hay clara

correspondencia entre el crecimiento de la facturación con

una cuota de exportación superior al 60%.

Diagnóstico: un cliente VIP para alzarlo y seguir

avanzando hacia mayores tasas de crecimiento y fases

avanzadas de internacionalización (implantaciones).

Conclusiones y recomendaciones: Se trata de clientes

recurrentes en actividades de PSEC, donde la adicionalidad

y el beneficio se reconocen en mayor confianza y efecto en

pérdidas y ganancias. Patrones de uso claro y repetitivo de

instrumentos en empresas de mucha tradición y

experiencia.

Producto: análisis de necesidades



Producto: análisis de necesidades

Med

ia_d

iag

no

sti

co

Cap

acid

ad

_fi

na

ncie

ra

Cap

acid

ad

es_p

rod

uc

cio

n

Cu

ltu

ra_em

pre

sari

al

Pers

on

al_

cap

acit

acio

n

Pers

on

al_

em

ple

ad

os

Fa

cto

r_R

ecu

rso

s

Fa

cto

r_E

str

ate

gia

Med

ia_d

iag

no

sti

co

_co

d

C_fi

na

ncie

ra_co

d

C_p

rod

uc

cio

n_

co

d

Cu

ltu

ra_em

p_

co

d

Pers

_cap

acit

acio

n_

co

d

Pers

_em

ple

ad

os

_co

d

Fa

cto

r_O

po

sic

ion

_1

Fa

cto

r_O

po

sic

ion

_2

Cluster 1

Cluster 2

Cluster 3

Cluster 4

Cluster 5

p-valor (ANOVA multiv.) 0 0 0.01 0.02 0.05 0.06 0 0.01 0 0.01 0.1 0.01 0.08 0.33 0 0.11

Media total 3.86 3.6 3.9 4.25 4.06 3.48 -0 -0 0 -0.32 0.1 0.51 0.23 -0.53 0 0

Factor_Oposicion_1: ratio entre saber hacer y estructura de producción

Factor_Oposicion_2: ratio entre fuerza laboral y recursos financieros

Producto: Ferias de Pabellón Oficial (FPO)

Técnica: Test de rango múltiple de Duncan

Variables objetivo: Variables de diagnóstico tipificadas y sin tipificar

Variables de estratificación: Clúster de aprovechamiento

Color: Aceptabilidad según las escalas de Likert (var. no tipificadas) o desviación significativa respecto a la media (var. tipificadas)



Producto: análisis de necesidades Mejoras pre Mejoras in Mejoras post

INTERÉS Cap

acit

acio

n

Fo

rmacio

n

Ag

en

das

Info

rmacio

n

So

rteo

s

Co

mu

nic

acio

n

RR

PP

Lo

gis

tica_s

tan

d

Pre

scri

pto

res

Ag

en

da_re

serv

a_

sta

nd

_IC

EX

Even

tos_

sta

nd

_IC

EX

Cata

log

o_o

nli

ne

Pan

elista

Co

ncu

rso

s

Serv

icio

s_exp

ress

Tele

mati

co

WiF

i

Cate

rin

g

Mis

ion

_exp

osic

ion

Mis

ion

_d

irecta

Cu

esti

on

ari

os

Co

nsu

lto

res_d

es

tin

o

Seg

uim

ien

to

Cluster 1

Cluster 2

Cluster 3

Cluster 4

Cluster 5

Media total -3% -28% 66% 34% -41% 37% -28% 6% 3% -13% -17% -9% -46% -57% -14% -25% 145% 1% 12% 28% -16% -18% -18%

Mejoras pre Mejoras in Mejoras post

INTENCIÓN DE PRECIO Cap

acit

acio

n

Fo

rmacio

n

Ag

en

das

Info

rmacio

n

So

rteo

s

Co

mu

nic

acio

n

RR

PP

Lo

gis

tica_s

tan

d

Pre

scri

pto

res

Ag

en

da_re

serv

a_

sta

nd

_IC

EX

Even

tos_

sta

nd

_IC

EX

Cata

log

o_o

nli

ne

Pan

elista

Co

ncu

rso

s

Serv

icio

s_exp

ress

Tele

mati

co

WiF

i

Cate

rin

g

Mis

ion

_exp

osic

ion

_

po

st

Mis

ion

_d

irecta

_p

os

t

Cu

esti

on

ari

os_p

os

t

Co

nsu

lto

res_d

es

tin

o_

po

st

Seg

uim

ien

to_p

os

t

Cluster 1

Cluster 2

Cluster 3

Cluster 4

Cluster 5

Media total -18% -17% 97% 2% -29% -3% -26% -17% -14% -9% -21% -22% -34% -35% 3% -39% -13% -11% 115% 135% -42% 3% -3%

Producto: Ferias de

Pabellón Oficial (FPO)

Técnica: Análisis de

atípicos intragrupos

según colas de

distribución

Variables objetivo:

Valores tipificados de

interés e intención de

precio en propuestas

de mejora

Variables de

estratificación: Clúster

de aprovechamiento

Color: Valores atípicos



Resultado

Mejora de la competitividad

Consolidación del proceso de internacionalización

Exportación

Valor añadido

Mejor calidad en el empleo

Problema de la atribución

Necesidad de contrafactual

¿En qué incidimos? ¿Cómo lo medimos?



Resultado

• ¿La asistencia a un seminario sobre el mercado de Kazajistán

es la única causa del incremento de la exportación en ese año o

en el futuro en todo el mundo?

• ¿La participación puntual en una feria en México es la causa

única del total de la exportación de una empresa en ese mismo

año o en algún año posterior?

• Intervenciones puntuales y aisladas



Resultado

• No parece que tomando cada participación en un instrumento

de forma aislada permita inferir una relación causa-efecto

entre la participación en dicha actividad y los resultados

medidos.

• Acompañamiento continuado



Resultado: diseño de la evaluación

Programa

PIPE



Resultado: diseño cuasiexperimental

EMPRESA ANTES

Expectativas

PROGRAMA PIPE

Valor añadido:

Beneficios

Adicionalidad

EMPRESA DESPUÉS

Logros

Resultados

Impactos

Programa: PIPE

Contrafactual: Falso contrafactual (pregunta implícita)

Técnica de evaluación del impacto: Regresión logística sobre variables de impacto y resultado



Por clúster Por fase Por año de cierre Por valoración de la utilidad del club PIPE

TO

DA

S L

AS

EM

PR

ES

AS

Clú

ste

r 1

Clú

ste

r 2

Clú

ste

r 3

Clú

ste

r 4

Clú

ste

r 5

P. P

IPE

ce

rra

do

P. S

eg

uim

ien

to e

n c

urs

o

P. S

eg

uim

ien

to f

ina

liza

do

Tre

s a

ño

s d

es

pu

és

(2

00

9)

Do

s a

ño

s d

es

pu

és

(2

01

0)

Un

añ

o d

es

pu

és

(2

01

1)

No

lo

uti

liza

ron

En

na

da

Es

ca

sa

me

nte

De a

lgu

na

ma

ne

ra

Bas

tan

te

En

gra

n m

ed

ida

Fu

e d

ec

isiv

o

Cambios de comportamiento

Introduccion_mejoras X

Mayor_confianza X X X

Gasto_I_D X X

Dpto_Internacional

Cambio_cultura X X X X X

Nuevas habilidades

Nuevas_ideas

Estrategia_marketing X X X X X X

Habilidades_investigacion

Intangibles

Operativa comercial

Entrada_nuevos_mercados X X X X X X X

Cartera_clientes X X X X

Efecto_facturacion X

Efecto_personal X

Efecto_perdidas_ganancias

Logros

Diagnostico_L

Consultoria_L

Colaborador_L X

Promocion_L X X X X X X X X X

ClubPIPE_L X X

Instituciones_L X X X X X

Resultado: valor añadido

Adicionalidad: ¿El apoyo prestado por ICEX le ha permitido lograr

resultados que por sí solo no le hubiera sido posible conseguir?

Programa:

PIPE

Técnica:

Regresión logística

Variables explicativas:

Variables de impacto y resultado

Variable objetivo:

ADICIONALIDAD de la política pública



Por clúster Por fase Por año de cierre Por valoración de la utilidad del club PIPE

TO

DA

S L

AS

EM

PR

ES

AS

Clú

ste

r 1

Clú

ste

r 2

Clú

ste

r 3

Clú

ste

r 4

Clú

ste

r 5

P. P

IPE

ce

rra

do

P. S

eg

uim

ien

to e

n c

urs

o

P. S

eg

uim

ien

to f

ina

liza

do

Tre

s a

ño

s d

es

pu

és

(2

00

9)

Do

s a

ño

s d

es

pu

és

(2

01

0)

Un

añ

o d

es

pu

és

(2

01

1)

No

lo

uti

liza

ron

En

na

da

Es

ca

sa

me

nte

De a

lgu

na

ma

ne

ra

Bas

tan

te

En

gra

n m

ed

ida

Fu

e d

ec

isiv

os

Cambios de comportamiento

Introduccion_mejoras X X X


Gasto_I_D X X

Dpto_Internacional X X X

Cambio_cultura X

Nuevas habilidades

Nuevas_ideas X

Estrategia_marketing

Habilidades_investigacion

Intangibles

Operativa comercial

Entrada_nuevos_mercados X X X

Cartera_clientes X X X X X X

Efecto_facturacion X X X X X X

Efecto_personal X X X

Efecto_perdidas_ganancias X X X

Logros

Diagnostico_L X X X X X X X X X X X X

Consultoria_L X

Colaborador_L X X

Promocion_L X X X X X X X X X X X X X X

ClubPIPE_L X

Instituciones_L X X


Beneficios: Valore si los beneficios que le ha supuesto la participación en el

Programa PIPE son mayores al coste de su participación.

Programa:

PIPE

Técnica:




Variable objetivo:

BENEFICIOS de la política pública



Resultado: diseño de la evaluación

Programa

PGEN



Resultado: diseño cuasiexperimental

EMPRESA ANTES

Preferencias (supuestas constantes)

PROGRAMA PGEN

Valor añadido:

Beneficios

Adicionalidad

EMPRESA DESPUÉS

Acción colectiva y valoración PGEN

Resultados

Impactos

Programa: PGEN

Contrafactual: Falso contrafactual (pregunta implícita)

Técnica de evaluación del impacto: Regresión logística sobre variables de impacto y resultado



Por cluster de

aprovechamiento Por instrumento

Por año de

participación Por sector Por preferencia

TO

DA

S L

AS

EM

PR

ES

AS

Clu

ste

r 1

Clu

ste

r 2

Clu

ste

r 3

Clu

ste

r 4

Clu

ste

r 5

Cam

pañ

a d

e P

rom

oció

n

Mis

ión

Dir

ecta

Mis

ión

In

vers

a

Pab

elló

n O

ficia

l

Part

icip

ació

n A

gru

pad

a

Tre

s a

ño

s d

esp

ués (

2010)

Do

s a

ño

s d

esp

ués (

2011)

Un

añ

o d

esp

ués (

2012)

Ag

roalim

en

tari

os

Co

nsu

mo

Ind

ustr

iale

s

Serv

icio

s

Ap

oyo

_eco

no

mic

o

Info

rmacio

n_re

leva

nte

Acceso

_clien

tes

Perf

il_cre

dib

ilid

ad

Accio

nes_p

rom

oc

ion

Cam

pan

as_im

ag

en

Cambios de

comportamiento

Introduccion_mejoras X X

Mayor_confianza X X X X X X X X X X

Gasto_ID

Nuevas habilidades

Nuevas_ideas X X X

Estrategia_marketing X X X X X X X X X X

Intangibles X X X

Operativa comercial

Entrada_mercados X X X X X X X X X X X X

Cartera_clientes X X X X

Efecto_facturacion X X X

Efecto_personal X X X

Efecto_perdidas_ganancias X X

Acción colectiva

Grado_conocimiento X X X X

Clientes_potenciales X X X

Reforzamiento_imagen X X X X X X X X X X X X X X X X X X

Valoración PGEN

Mejora_imagen X X X X X X X X X X X X

Efecto_arrastre X X

Valoracion_comunicacion X X X X X

Valoracion_informacion X X X X X X X X X X X


Programa:

PGEN

Técnica:




Variable objetivo:

ADICIONALIDAD de la política pública

Adicionalidad: ¿El apoyo prestado por ICEX le ha permitido lograr

resultados que por sí solo no le hubiera sido posible conseguir?



Por cluster de

aprovechamiento Por instrumento

Por año de

participación Por sector Por preferencia

TO

DA

S L

AS

EM

PR

ES

AS

Clu

ste

r 1

Clu

ste

r 2

Clu

ste

r 3

Clu

ste

r 4

Clu

ste

r 5

Cam

pañ

a d

e P

rom

oció

n

Mis

ión

Dir

ecta

Mis

ión

In

vers

a

Pab

elló

n O

ficia

l

Part

icip

ació

n A

gru

pad

a

Tre

s a

ño

s d

esp

ués (

2010)

Do

s a

ño

s d

esp

ués (

2011)

Un

añ

o d

esp

ués (

2012)

Ag

roalim

en

tari

os

Co

nsu

mo

Ind

ustr

iale

s

Serv

icio

s

Ap

oyo

_eco

no

mic

o

Info

rmacio

n_re

leva

nte

Acceso

_clien

tes

Perf

il_cre

dib

ilid

ad

Accio

nes_p

rom

oc

ion

Cam

pan

as_im

ag

en

Cambios de

comportamiento

Introduccion_mejoras


Gasto_ID

Nuevas habilidades

Nuevas_ideas X X

Estrategia_marketing

Intangibles

Operativa comercial

Entrada_mercados X X X X X X X X X X X X

Cartera_clientes X

Efecto_facturacion X X X X X X X X X X X X X X X X X X

Efecto_personal X X

Efecto_perdidas_ganancias X X X X X X

Acción colectiva

Grado_conocimiento X X X X X X X

Clientes_potenciales

Reforzamiento_imagen X X X X X X X X X X X X X X X X X

Valoración PGEN

Mejora_imagen X

Efecto_arrastre X X X X X X X X X X X

Valoracion_comunicacion X X X X X X X X

Valoracion_informacion X


Beneficios: Valore si los beneficios que le ha supuesto la participación en

los Planes Generales (PGEN) son mayores al coste de su participación.

Programa:

PGEN

Técnica:




Variable objetivo:

BENEFICIOS de la política pública



Impacto

El impacto debe medirse en los propios beneficiarios.

Ver en qué hemos sido útiles para las empresas tres años después de realizada la intervención puede ser una primera apreciación del impacto de la política

pública.

¿Podemos refinar este enfoque?

Podemos y debemos

Cadena de valor pública



• Pensamos que el mejor indicador a largo plazo de las políticas

públicas en apoyo de la internacionalización de la empresa es

el retorno de la inversión pública vía impuestos asociado a

aquellos impactos de nuestro apoyo atribuidos a las empresas

mediante técnicas de evaluación.

Impacto a largo plazo



Planeamiento estratégico

Presupuesto por resultados

Características de las empresas

Actividades de promoción comercial (con o sin ICEX)

Cuenta de pérdidas y ganancias detallada

Exportación desglosada por TARIC y país

Inversión directa por tipo y país

Estructura corporativa

Fase de seguimiento

Fase de evaluación

Seguimiento y evaluación



Modelos de aprovechamiento para cada empresa

Tipología de empresa

Datos de posicionamiento internacional

Itinerarios de empresa

Calidad y satisfacción explícitos (encuestas)

Calidad y satisfacción implícitos (análisis de redes sociales) ¿Nos quedamos ahí?

Sistema de recomendación

Más allá de la evaluación




• Es posible el diseño e implementación de un sistema de

recomendación que proponga de manera anticipada las

actividades e instrumentos de apoyo (sean productos o

servicios) que la Secretaría de Estado esté llevando a cabo o

vaya a llevar a cabo y puedan ser de interés del cliente.




• El proyecto, todavía una mera propuesta en el ICEX, sería una

aplicación natural al poder analizar con técnicas de minería de

datos y de optimización matemática no lineal sujeta a análisis

de coste-beneficio el gran volumen de datos surgido de la

monitorización sistemática de todas las variables expuestas.

Joaquín María Núñez Varo

Analista del Departamento de Evaluación

ICEX España Exportación e Inversiones

[email protected]

¡Gracias por su atención!

902 349 000 www.icex.es

[email protected]

“Medir para conocer”

presentación de powerpoint · promover la internacionalización de las empresas ... análisis de...

Documents