el que no es pot mesurar no es pot avaluar i el que no es...

Servei de Programació. Àrea de Presidència 1/30Servei de Programació. Àrea de Presidència

16 d’octubre de 2018

El que no es pot mesurar no es pot avaluar

i el que no es pot avaluar no es pot millorar


1. Què són els Cercles de Comparació

Intermunicipals?

Indicadors

Mill

ora

con

tín

ua

Anàlisi

Compartir

Benchmarking

Serveis locals

Bones

prà

cti

ques

Tallers

Portal web

Metodologia

Aprendre

Ens locals

Rigor


Què són els Cercles de Cercles de Comparació?

Els Cercles de Comparació Intermunicipals són una eina de gestió i benchmarkingorientada a la millora del serveis municipals mitjançant l’anàlisi d’indicadors de serveis locals i l’intercanvi d’experiències.

DESTINATARIS

Responsables municipals serveis

PERIODICITAT

Dades anuals

COST SERVEI

Sense cost directe per als municipis

MISSIÓ

Cost efectiu: 1.136€/partic.

IDEA CLAU

“Comparar per millorar”


Les xifres dels Cercles

edicions

serveis

municipisparticipants

tallers

valoració tallers

143

16

19

870

42

8,6

7 fora BCN


Les fases del Cercle de Policia

FASE DE MESURA

- Recollida de dades

- Validació de dades(Febrer- març 2017)

FASE D’AVALUACIÓ

- Informes amb indicadors de gestió

(Abril-maig 2017)

FASE DE MILLORA- Taller de Millora

(Juny 2017)

FASE DE COMUNICACIÓ I IMPLEMENTACIÓ

- Comunicació de resultats- Pla de millora *- Implementació *

FASE DE DISSENY- Definició de la missió i objectius del servei- Consens d’indicadors- Consens de les variables de l’enquesta

* Tasques realitzades exclusivament pels municipis

2

34

5

1


Museus locals

Les xifres del Cercle de Museus Locals

3a edició

35 municipis participants

1 tallers l’ any

8,7/10 valoració

tallers


2. Els principis del model Cercles


INTEGRAL

SISTEMÀTIC

VALIDAT

COMPARTIT

COOPERATIU CONSENSUAT

Els principis del model Cercles (I)


INTEGRAL CONSENSUAT

Indicadors a tots els àmbits dels serveis: recursos econòmics, RRHH, activitats i resultats

Els indicadors sorgeixen dels municipis en base a les seves necessitats d’informació

Els principis del model Cercles (II)


SISTEMÀTIC VALIDAT

Estandardització en el càlcul i la recollida de dades, acompanyament als municipis

Validació conceptual i estadística dels resultats, amb col·laboració dels municipis

Els principis del model Cercles (III)

Visitants als museus per cada 1.000 habitants

Explicació de l’indicador: Aquest indicador mesura la relació entre el total de visitants al museu local i la població del municipi (en milers d’habitants). Aquesta ràtio és indicativa de l’impacte social assolit pel museu sobre la població municipal.

Fórmula de càlcul:

Visitants als museus del municipi

x 1.000 Nombre d’habitants

Variables emprades: ➢ Visitants als museus del municipi: Nombre total de persones físiques que accedeixen a les seus

i extensions del museu per fer ús de la seva oferta de serveis, ja sigui de les exposicions, les activitats organitzades pel museu, activitats escolars o els serveis museístics. Cada visitant es compta una sola vegada independentment del nombre d'usos que faci de l'oferta museística. INCLOU els participants en rutes i visites guiades fora del museu organitzades per aquest. NO INCLOU els visitants al museu per assistir exclusivament a activitats alienes al museu. NO INCLOU els visitants a l'edifici (persones que acudeixen al recinte museístic i no visiten exposicions, ni assisteixen a activitats culturals pròpies o alienes, ni fan ús de cap servei museístic (biblioteca, reserva, etc.)).Tampoc els que visiten el recinte del museu sense fer-ne cap altre ús, com els que vénen per una finalitat no museística (botiga, cafeteria, lavabos...). NO INCLOU visitants per fer consultes puntuals pròpies o no pròpies del museu (horaris, activitats, turisme,...) Font: Ajuntaments.

➢ Nombre d’habitants: Nombre de persones empadronades en el municipi a 1 de gener de l'any en estudi. Font: Idescat - INE.

Valor mitjà de l’indicador 2015: 319,3 Municipis participants: 13


COMPARTIT COOPERATIU

Transparència dins del Cercle: les dades es comparteixen entre tots els participants.

Idea clau: “Comparar per millorar”

Cooperar vs. competir. Els Cercles, espai per a l’intercanvi d’experiències i la millora

Els principis del model Cercles (IV)


3. L’anàlisi als Cercles de Comparació Intermunicipals

A. Portal d’Informació en línia

B. Tallers de millora

C. Informe final


✓ A cada indicador, s’observa el valor del municipi i la mitjana dels municipis escollits.

✓ Els valors significativament diferents de la mitjana, es mostren amb colors.

Eina de Business Intelligence per consultar, analitzar i comparar totes les dades.

A. Portal d’Informació en línia: què és


A. Portal d’Informació en línia: què permet

Accedir a un quadre de comandament del

servei

Analitzar l’evolució històrica de dades i

indicadors

Comparar amb diferents serveis del

propi municipi

Obtenir una anàlisi dels PF i OM amb relació a la

mitjana del grup triat

Descarregar les dades en format obert

Indicador a indicador i en bloc

Comparar seleccionant lliurement el grup:

dades a la carta

Què permet?


A. Portal d’Informació en línia: estructura


A. Portal d’Informació en línia: algunes xifres

01011101

01010111

993 usuaris amb accés

4,5 milions de dades

136 municipis amb dades

2.894 sessions iniciades (2016)

84% afirma que ha millorat l’accés a la informació

83% afirma que ha millorat la gestió de la informació

Policia Local: 102


A. Portal d’Informació en línia: impactes positius

Millora la qualitat de les dades perquè estan permanentment actualitzades

Millora l’autonomia dels/de les tècnics/ques municipals

Amplia les possibilitats d’anàlisi perquè agilitza l’explotació de les dades (totes les dades, disponibles en format obert)

Augmenta la transparència dins dels Cercles

1

2

3

4

✓


B. Tallers de millora: en què consisteixen

ANÀLISI QUALITATIVA RESULTATS amb el coneixement dels/les tècnics/ques

DIAGNOSI OPORTUNITATS DE MILLORA del servei analitzat

INTERCANVI D’EXPERIÈNCIES,Idees i problemàtiques

DEBAT I PRIORITZACIÓ D’ACCIONS DE MILLORA

1 2

3 4


B. Tallers de millora: metodologies

Oportunitats de Millora

Bones pràctiques

Evolució del servei

Actuacions d’Estalvi Econòmic

Matí i Tarda

Matí

Matí

Matí

Anàlisi de FortalesesMatí

Matí Anàlisi Comparativa

4A

4C

4B

4D

4E

4F

Matí Anàlisi Causal / Relacional (2 sessions)4G

Matí Mètode Kaizen4H

Matí Seminaris sobre temàtiques d’interès4I


C. Informe final: perspectives d’anàlisi

Anàlisi univariant✓ Indicadors un a un✓ Estat i evolució✓ Comparació altres serveis

Anàlisi bivariant✓ Segmentació per població✓ ANOVA (comp. mitjanes)✓ Correlacions Pearson

Anàlisi multivariant✓ Anàlisi Factorial de

Components Principals


L’anàlisi als Cercles és una anàlisi orientada a la millora dels serveis, que vol ser

útil per a la gestió diària per part dels responsables tècnics municipals

✓

L’avaluació als Cercles és... L’avaluació als Cercles NO és...

▪ Diagnosi de l’estat i avenç del servei

▪ Detecció de fortaleses i debilitats

▪ Comparació per millorar

▪ Identificació de causes i efectes

▪ Revisió de l’assoliment d’estàndards (legals o acordats)

▪ Fiscalització de l’activitat d’un servei

▪ Control de l’acompliment de les persones

▪ Justificació de la pròpia gestió

▪ Màrqueting sense fonaments

L’anàlisi als Cercles: què és i què no és


Enquesta als participants en els Cercles

de comparació intermunicipals


0,2% 0,6% 1,4% 2,6%

15,1%

35,6% 35,6%

8,9%

0,3% 1,0% 1,0%

13,2%

49,9%

28,1%

6,6%

Ns/Nc 0 1 2 3 4 5 6 7 8 9 10

2018 2011

4,0%

2,0%

50,7%

63,1%

44,5%

34,7%

2018

2011

Ns/Nc Valoració Insatisfactòria (0 a 4)

Valoració Acceptable (5 a 6)

Valoració Satisfactòria(7 a 8)

Valoració Molt Satisfactòria (9 a 10)

2018: 8,27 punts (n=502)

2011: 8,22 punts (n=395)

Satisfacció global

En relació amb el 2011, guanyen pes els participants molt satisfets (9-10): de 34,7% a 44,5%.

La satisfacció dels participants amb el projecte es manté estable respecte del 2011 (8,22 → 8,27)

Satisfacció global amb els Cercles(% participants)


0,2% 0,2% 0,2% 1,6% 1,0%

7,0%

21,3%

29,2%

39,4%

Ns/Nc 0 1 2 3 4 5 6 7 8 9 10

8,92(n: 502)

3,0% 28,2% 68,6%

Ns/Nc Detractors (0 a 6) Passius (7 a 8) Promotors (9 a 10)

89,9%

0,2% 0,2% 0,2% 1,2% 2,6%

7,6%

20,5%

28,2%

39,4%

Ns/Nc 0 1 2 3 4 5 6 7 8 9 10

4,2% 28,0% 67,6%

Ns/Nc Reacis (0 a 6) Neutrals (7 a 8) Favorables (9 a 10)

88,1%

8,88(n: 502)

Recomanació del cercle(% participants i mitjana 0-10)

Fidelització del cercle(% participants i mitjana 0-10)

Recomanació i fidelització

Els participants recomanarien els Cercles i tornarien a participar en el projecte amb una probabilitat molt elevada, de 9 sobre 10


0,2% 0,2% 1,6% 1,0%

7,0%

21,3%

29,3%

39,4%

0 1 2 3 4 5 6 7 8 9 10

n: 502

NPS Cercles:

+65,7%

0 1 2 3 4 5 7 8 9 106

Detractors Passius Promotors

% Promotors % DetractorsNet PromoterScore (NPS)

= -

3.0% 28.3% 68.7%

Net Promoter Score (NPS)

✓ L’índex de promotors nets (NPS) és un indicador que utilitzen moltes organitzacions públiques i privades per

mesurar la lleialtat de les persones usuàries envers un projecte o servei.

✓ Es calcula en base a una pregunta d’enquesta sobre la disposició dels participants a recomanar el projecte o servei

(en el nostre cas, els Cercles) a una altra persona o institució, en una escala 0-10.

✓ Els participants s’agrupen en 3 categories segons la seva predisposició a recomanar els Cercles i es calcula l’NPS:


97

77

75

66

61

50

47

30

28

24

-8

TESLA

STARBUCKS

PLAYSTATION

CERCLES

AMAZON

DISNEY

SAMSUNG

LIDL

WOLKSWAGEN

SPOTIFY

MCDONALD’S

NPS de diferents organitzacions


Preguntes obertes (I)

Què és el que més li agrada dels Cercles?

Què creu que és més important millorar?

!

En relació amb el 2011, disminueixen les mencions al punt de trobada, la metodologia, la informació obtinguda i l’organització

En relació amb el 2011, hi ha menys demanda d’unificar definicions de variables i en canvi es vol millorar la recollida de dades


Preguntes obertes (I)

Com definiria els Cercles en una

paraula?

Els Cercles es perceben com una oportunitat de millora dels serveis i com una font d’informació i coneixement.

El fet d’associar els Cercles sobretot amb una “Oportunitat de millora” es manté respecte de 2011


85,7%

9,1%5,2%

SíNoNS/NC

La participació en els Cercles de comparació en els darrers anys li ha

servit per millorar el seu servei?(% participants)

Utilitat i aplicació dels aprentatges

Fins a quin punt al seu municipi han aplicat els aprenentatges adquirits als

tallers?(Multiresposta. % participants)

Pregunta multiresposta. Percentatges calculats sobre el total de participants

32,8%

41,6%

21,1%

9,3%5,4%

Estanaplicats

Estan enprocés

d'aplicació

Estan enestudi

No es podenaplicar a curt

termini

NS/NCL’àmplia majoria afirma que els Cercles li han servit per millorar el servei al seu municipi.

Els contraris representen menys del 10% dels participants

Un % important dels municipis tenen alguna millora implantada o en procés d’aplicació. Només 1 de cada 10 afirma que no poden aplicar-se.

Diferències estadísticament significatives en la satisfacció global

SLO (97 %)Enllum. Públic (95 %)

Policia local (95 %)Esports (71 %)

Serveis culturals (67 %)

Cercles més destacats

n= 503c


Cercle de Comparació Intermunicipal de Museus locals

Juny de 2018

El que no es pot mesurar no es pot avaluar

i el que no es pot avaluar no es pot millorar

el que no es pot mesurar no es pot avaluar i el que no es...

Documents