SIMULACIÓ AVALUADORA: ACOEs

Dr. Javier ArizaDepartament de Ciències ClíniquesFacultat Medicina i Ciències de la SalutCampus Bellvitge, UB

METODES d’AVALUACIÓ • Validesa: mesura el que toca mesurar

• Fiabilitat: consistència amb la que el mètode mesura una variable

• Objectivitat: consens entre diferents observadors

• Practicabilitat: simplicitat en el seu ús

• Reproductibilitat: repetir-lo en situacions diverses

• Rellevància (validesa de contingut): relació entre que hauria de preguntar-se i que es fa

• Especificitat de contingut: proporció de continguts amb temari• Especificitat de contingut: proporció de continguts amb temari

• Poder de discriminació: capacitat de distingir bo de dolent

• Analitzar el nivell de competències adquirides

• Comparar resultats entre individus o grups

• Feed-back• Monitoritzar Facultats, regions,etc..

• Definir estàndards mínims Ian Hart 1937 - 2012

‘Teaching without

testing is like cooking

without tasting ‘

¿Per què serveixen els sistemes d’avaluació (el VALOR)?

ACOE • A- Avaluació• C- Clínica• O- Objectiva• E- Estructurada

• O- Objective• S- Structured• C- Clinical• E - Examination

QUÈ és una ACOE?QUÈ és una ACOE?

OSCE

• E- Estructurada • E - Examination

Harden R, Gleeson F. Assessment of clinical competence using an Objective

Structured Clinical Examination. Med Educ 1979;13:41-4

......i estandaritzada............

• Avaluació: és una prova de competència

• Clínica: avalua casos clínics; però es poden simular d’altres característiques professionals

• Objectiva: davant d’un mateix estímul (una pregunta, una exploració...) s’obté la mateixa resposta

• Estructurada: segueix la pauta d’una taula d’especificacions que defineix les competències que s’avaluen

ACOE: CARACTERÍSTIQUES?ACOE: CARACTERÍSTIQUES?

SUMMATIVE ASSESSMENTSUMMATIVE ASSESSMENTSUMMATIVE ASSESSMENTSUMMATIVE ASSESSMENT

Show how

Does

Miller’s Pyramide

ACOE

Knows

Knows how

Framework for clinical assessment

OSCEs. Publications (1975-2008); date first publication per continent (n = 1065).

COMpetència BELLvitge - 1992ACOEs: EXPERIÈNCIA GRUP COMBELL

� COMBELL-I 1993� COMBELL-II 1994� COMBELL III 1995� COMBELL-IV 1996� COMBELL-V 1997� ACOEs 1997 - 2017

(Semiologia /fi de grau)

Neo Colon Informe/PRC

Fiebre

Analítica/PRC

Prostatismo

Tacto rectalAVC/Informe

Cefalea

Cefalea/Informe

Vendaje funcional

RCP/ECG

12

3

4

5

616

17

18

19

20

Sutura

Precordialgia

Cólico nefrítico

RX/analítica/InformeTos i

asma

Disnea ICC

HTA

Lumbalgia

AVC

Josep Roma, DGPRS/UB

8

9

10

7

1112

14

15

13

• En cada estació - encontre clínic o una situació professional per resoldre

(casos amb malalts simulats-actors o maniquís)• En ocasions un mateix cas ocupa 2 estacions:

en la 2ªestació s’ha de fer un informe clínic orespondre a preguntes de resposta curta del cas amb informació addicional:analítica,Rx,etc.(14 casos/20 estacions-6 casos amb 2 estacions)

ACOE: CARACTERÍSTIQUES ACOE: CARACTERÍSTIQUES i MESURES de les ESTACIONS i MESURES de les ESTACIONS

Competències a avaluar

• Anamnesi• Exploració física• Comunicació

(14 casos/20 estacions-6 casos amb 2 estacions)

• Cada estació compta amb una avaluació objectiva (si/no) en base a check lists

• Paraules clau en els informes clínics sol·licitats

• Escala likert (0-10) en comunicació

• L’ACOE es complementa amb una prova escrita de preguntes d’elecció múltiple en base a casos clínics (es fa un altre dia)

• Judici Clínic• Relació interprofessional• Ético - Legals• Habilitats tècniques• Accions preventives

TAULA D'ESPECIFICACIONS ACOE PREGRAU 2010

FASE MULTIESTACIONS 1 2 3 12 13 4 16 7 14 15

CAS (codi) Anamnesi Exp Física Comunicació Coneixements Judici Clínic Habilitats Recerca Preventives Rel. Interprof. Eticolegals SUMA

CEFALEA (HIPERF.) 45 25 30 100

FEBRE 35 25 20 20 100

PROSTATISME (227) 35 20 20 5 15 5 100

SUTURA I IM (904) 80 10 10 100

MAL AL PIT - CARDIOPATIA 40 40 20 100

CÒLIC NEFRÍTIC (133) 32 28 20 6 14 100

TOS I ASMA(181) 20 55 25 100

DÍSPNEA / ICC / EDEMES (798) 40 50 10 100

35 50 15 100HIPERTENSIÓ 35 50 15 100

LUMBÀLGIA (329) 40 40 20 100

AVC - DISÀRTRIA (232) 27 30 20 3 20 100

CÀNCER DE CÒLON 32 20 28 20 100

EMBENATGE FUNCIONAL (901) 30 15 55 100

RCP / ECG (000) 15 75 10 100

1400

FASE ESCRITA 0 0 0 302 248 0 0 150 0 0 700

700

TOTAL 286 213 165 377 412 315 0 210 77 45 2100

% 13,62% 10,14% 7,86% 17,95% 19,62% 15,00% 0,00% 10,00% 3,67% 2,14% 100,00%

J.Roma, DGPRS/UB 2015

J.Roma, DGPRS/UB 2015

COMBELL I (alumnes) vs II (residents) 1999-2000

5054

5349

6870

Patient notes

Physical Examination

History taking

COMBELL II

5757

50

30 35 40 45 50 55 60 65 70

Clinical skills

Patient notes COMBELL II

COMBELL I

%

J.Roma, DGPRS/UB 2015

RAONS per POSAR en MARXA un SISTEMA d’AVALUACIÓ TIPUS ACOE en la ASSIGNATURA de SEMIOLOGIA GENERAL

RAONS per POSAR en MARXA un SISTEMA d’AVALUACIÓ TIPUS ACOE en la ASSIGNATURA de SEMIOLOGIA GENERAL

• Dificultats conegudes per l’avaluació pràctica dels alumnes

• Ponderació de l’avaluació pràctica –50% de la nota total condiciona l’interès i actitud dels alumnes per l’aprenentatge pràctic

• Experiència prèvia satisfactòria en les ACOEs de 6º de Medicina (“sense valoració en el curriculum”)(“sense valoració en el curriculum”)

• Fàcil aplicació als objectius propis de l’assignatura: anamnesi, exploraciófísica y proves complementàries

• Disposar de la col.laboració del IES

PROJECTE d’ INNOVACIÓ DOCENT

AVALUACIÓ de les PRÀCTIQUESde

SEMIOLOGIA GENERALi

PROPEDÈUTICA CLÍINICA

Mitjançant tècniques d’Avaluació de laCompetència Clínica (ACC)

1997-1998-1999-20001997-1998-1999-2000

Tercer Curs de MedicinaUD CSUB

UNIVERSITAT DE BARCELONA

Directors del Projecte: X. Ariza (UB), JM Gómez (UB), E. Kronfly (IES)Suport psicométric: S: Juncosa (GAFCC-IES)Col.laboradors: Tx. Arbizu, P.F: Viladrich, J: Mañá, F. Mitjavila, JM: Nolla, J: Roca, A: Vidaller

VALOR PORCENTUAL dels DIFERENTS COMPONENTS COMPETENCIALS

Prova pràctica “SGPC” (Unitat Docent Bellvitge 1997-2000)

VALOR PORCENTUAL dels DIFERENTS COMPONENTS COMPETENCIALS

Prova pràctica “SGPC” (Unitat Docent Bellvitge 1997-2000)

65%70%

64%

60%

70%

80%

90%

100%

Valo

r p

orc

entu

al

50%

17%25%22%

35%

10%13%14%15%

0%

10%

20%

30%

40%

50%

60%

1997 1998 1999 2000

Valo

r p

orc

entu

al

Anamnesis Expl.Física P. Complementarias

NOTES PROVA PRÀCTICA i TEÒRICA “SGPC”Unitat Docent Bellvitge 1997-2000

NOTES PROVA PRÀCTICA i TEÒRICA “SGPC”Unitat Docent Bellvitge 1997-2000

60

70

80

90

100

Nota

Pru

eba p

ráct

ica

60

70

80

90

100

Nota

Pru

eba t

eóri

ca

0

10

20

30

40

50

60

1997 1998 1999 2000

Nota

Pru

eba p

ráct

ica

Media Máxima Mínima

0

10

20

30

40

50

60

1997 1998 1999 2000N

ota

Pru

eba t

eóri

ca

Media Máxima Mínima

COMPARACIÓ MITJANA de les NOTES PROVA PRÀCTICA i TEÒRICA “SGPC”

Unitat Docent de Bellvitge 1997-2000

COMPARACIÓ MITJANA de les NOTES PROVA PRÀCTICA i TEÒRICA “SGPC”

Unitat Docent de Bellvitge 1997-2000

65,3

80,5

68

89,9

70

80

90

100

Práctica Teórica

65,3

48,2

29,4

0

10

20

30

40

50

60

70

Media Máxima Mínima

RECODIFICACIÓ SUSPENSOS NP SEGONS NOTA TEÒRICA (S / A) “SGPC”

Unitat Docent Bellvitge 1997-2000

RECODIFICACIÓ SUSPENSOS NP SEGONS NOTA TEÒRICA (S / A) “SGPC”

Unitat Docent Bellvitge 1997-2000

33,335

40

45

50

Suspenso NP global Suspenso NP (SNT) Suspenso NP (ANT)

17,9

7,25

21,4

26,3

17,4

33,3

15,3

19

3,3

0

5

10

15

20

25

30

35

1997 1998 1999 2000

% S

usp

en

sos

ACOE RESULTATS 2014/15CORRELACIÓ amb AVALUACIÓ CONEIXEMENTS (N – F)

El resultat d’aquesta prova ha estat rho=0.216 (p=0.047<0.05).Per tant existeix una relació positiva baixa entre les dues variables.

ACOEs de SEMIOLOGIA. CAMPUS BELLVITGE• Inici: curs 1995/96• Valor: 60% de l’examen pràctic• Alumnes examinats: 1.600

• Punts dèbils:• Manca de feed-back• Cost• Poder de discriminació baix• Seguretat ?

• Punts forts:• Estandardització• Validesa• Reproductibilitat• Practicabilitat

- Fe possible pes nota pràctica – 50%- Reforç de l’aprenentatge pràctic

Algunes reflexions respecte la seva aplicació

• ¿Sistema de mesura adequat als objectius docents?– Ha de garantir-se el procés docent pràctic– Disseny elaborat i rigorós de casos i items

• ¿Quina hauria de ser la correlació idònia amb la Nota Teòrica?• ¿Es pot aconseguir una major discriminació en la valoració del nivell

d’aprenentatge pràctic dels alumnes de Semiologia?• Respecto del sistema clàssic – pacients reals

– ¿es negatiu l’aspecte d’irrealitat?– La seva objectivitat podria ser major– Es econòmicament molt costós

OBJECTIUS I PERSPECTIVES ACTUALS i de FUTUR

OBJECTIUS I PERSPECTIVES ACTUALS i de FUTUR

• ACOEs Pràctiques Tutelades 6º curs Grau Medicina –Facultat de Medicina i Ciències de la Salut (GM-FMCS) i resta Facultats de Medicina de Catalunya CAMPUS de BELLVITGE

• ACOEs Semiologia General • ACOEs Semiologia General 3º curs (GM-FMCS) –seguiment, millora, innovació de la prova

• Possible implementació-aplicació del sistema a altres assignatures o ensenyament- COMISSIÓ INNOVACIÓ DOCENT CAMPUS de BELLVITGE