1

Desarrollando un estudio de usabilidad para sitios

gubernamentales mexicanos: Caso de estudio

del Portal del Empleo Mario A Moreno Rocha, Carlos A Martínez Sandoval (UTM)

Jesús Salvador Aguilar Bautista (Infotec) Heriberto López Ramírez (UNSIS)

Noviembre, 2014

El#Fondo#de#Información#y#Documentación#para#la#

Industria#(INFOTEC)#es#un#organismo#público,#adscrito#al#

Consejo#Nacional#de#Ciencia#y#Tecnología#(CONACYT)#de#

México.#

##

Es#un#centro#público#de#innovación#y#desarrollo#

tecnológico,#contribuimos#en#proyectos#de#

compeJJvidad#del#gobierno#y#de#insJtuciones#privadas#

a#través#del#uso#de#las#tecnologías#de#información#y#

comunicaciones#(TIC).#

#

Uno$de$nuestros$clientes$más$importantes$es$la$Secretaría$del$Trabajo$y$Previsión$Social.$$$Entre$los$proyectos$que$tenemos$con$la$secretaría,$destaca$el$Portal$del$Empleo.$$$Es$un$portal$y$una$aplicación$web$orientada$a$dos$@pos$de$usuario:$Candidatos)y)Empresas.)

El#portal#debe#vincular#a#candidatos#con#las#ofertas#de#empleo#de#empresas#a#través#de#un#buscador#de#ofertas#de#empleo.##Además#debe$ofrecer$servicios$y$programas$de$apoyo$como:#

•  Bolsa#de#trabajo#•  Becas#de#capacitación#•  Ferias#de#empleo#•  Fomento#al#empleo#

La#aplicación#empresarial#maneja#la#parte#transaccional#del#portal.#En#ella,#se#hacen#registros#de#empresas,#solicitantes#y#ofertas#de#empleo.#Además#cuenta#con#diversas#funcionalidades#para#encontrar#las#mejores#opciones#de#empleo.##Espacio#con#funcionalidades#para#candidatos#y#empresas:##

•  Buscadores#de#empleo#y#de#candidatos#•  Actualización#de#perfil#de#candidatos#•  Administración#de#ofertas#de#empleo#•  Administración#de#postulaciones#

Gran%can'dad%de%información%y%servicios%a%través%del%portal%por%la%obligación%de%ofrecer%servicios%y%programas.%%Se%amplió%el%público%obje'vo:%nivel%básico%hasta%nivel%de%posgrados.%%Solicitamos%al%UsaLab%de%la%UTM%que%nos%ayudara%a%realizar%una%evaluación%de%la%Experiencia%de%Usuario,%a%través%de%un%estudio(contextual(y(pruebas(de(usabilidad.%

¿Quiénes somos?

7

Nuestra propuesta Servicio de Evaluación de Experiencia de Usuario del Portal del Empleo

1. Análisis Experto 2. Estudio Contextual 3. Estudio de Usabilidad/UX 4. Rediseño de la Interface

8

Definición de usuarios

9

Candidatos con nivel licenciatura

Definición de usuarios

10

Candidatos sin nivel licenciatura

Definición de usuarios

11

Responsables de RH

Objetivos de las pruebas

12

1.Efectividad – entendida como la medida en la cual el usuario logra completar la(s) tarea(s) propuestas con el sistema para realizar su trabajo.

2.Eficiencia – entendida como la rapidez con la que el usuario logró realizar la(s) tarea(s) propuestas para realizar su trabajo, y

3.Satisfacción – entendida como la preferencia general y gusto del usuario por el sistema por características identificadas por él en el software.

Objetivos de las pruebas

13

• Valor de la información desplegada para el usuario. • Detectar la información o elementos que necesita el usuario

para realizar sus tareas específicas. • Identificar aciertos, deficiencias o errores de ubicación,

jerarquía, diseño gráfico, etiquetado, etc. de los elementos dispuestos en la página.

• Identificar elementos confusos, poco entendibles o innecesarios para el usuario.

Cuatro sedes

14

Cd de MéxicoGuadalajara

Monterrey

Villahermosa

Participantes

15

• Número total de participantes = 36 • Candidatos = 26 • Reclutadores = 10

FOTO DE USUARIOS

Ejemplo: Guadalajara

16

Guadalajara - 8 pruebas en total (+ 1 prueba piloto)

26 Noviembre, 2013

Candidatos (5 usuarios)

70% Hombres  30% Mujeres

Ed. Básica:         20% - 1 usuario

Ed. Técnica:       20% - 1 usuario

Ed. Profesional: 40% - 3 usuarios

Empresa (2 usuarios + extras)

Empresarios, reclutadores de personal, Licenciados en Administración, Psicología, Trabajo Social,

generalmente usuarios de computadoras.  Gerentes de Recursos Humanos y Dirección de grandes,

medianas y pequeñas empresas en el área metropolitana de Guadalajara.  No aceptan empleos en

vigilancia pero sí empleos de mostrador, ventas y buscan para personas con discapacidad.  

Escenarios

17

Iztapalapa

Iztapalapa

Iztapalapa

Guadalajara

Guadalajara

Monterrey

Monterrey

Villahermosa

Villahermosa

Resultados Cuantitativos:

Efectividad

27

Efectividad Candidatos

28

Notas:    

*  debido  a  problemas  en  la  infraestructura  tecnológica  del  lugar  

**  debido  a  que  algunos  par6cipantes  ya  estaban  registrados  a  través  de  Ferias  del  Empleo

Nombre  del  Escenario Tareas  realizada

s

Tareas  exitosa

s

Efec5vidad

1.  Home:  elementos  de  información  e  interacción

234 211 90.17%

2.  Búsquedas  específicas  Candidatos 115* 102 88.69%

3.  Registro  de  Candidatos 21** 19 90.47%

4.  Mi  Espacio 21* 21 100%

5.  Postulación  a  un  empleo 84* 82 97.61%

Efectividad Reclutadores

29

Notas:    

*  debido  a  problemas  en  la  infraestructura  tecnológica  del  lugar

Nombre  del  Escenario Tareas  realizadas

Tareas  exitosas

Efec5vidad

1.  Home:  elementos  de  información  e  interacción 30 30 100%

2.  Registro  de  empresa 8* 5 62.5%

3.  Mi  Espacio 8* 8 100%

4.  Crear  vacante  /  mejor  candidato 48* 30 62.5%

Efectividad Total

30

Estudio  realizado

Pruebas  realizadas

Tareas  realizadas

Tareas  exitosas

EfecQvidad  promedio

1 112 475 435 91.57%

Estudio  realizado

Pruebas  realizadas

Tareas  realizadas

Tareas  exitosas

EfecQvidad  promedio

1 34 94 73 77.65%

Candidatos

Reclutadores

Resultados Cuantitativos:

Eficiencia

31

Efectividad Candidatos y Reclutadores

32

Sede Usuario Mínimo Máximo Promedio

Cd  de  México Candidatos 0:26:10 0:51:41 0:37:46

Empresarios   0:56:36 1:02:15 1:00:00

Guadalajara Candidatos 0:29:10 0:46:43 0:38:03

Empresarios   1:02:56 1:08:01 1:05:29

Monterrey Candidatos 0:37:28 0:53:32 0:45:48

Empresarios   0:55:09 0:57:40 0:56:24

Villahermosa Candidatos 0:26:00 1:06:35 0:46:38

Empresarios   0:48:24 1:03:35 0:56:00

Resultados Cualitativos: Satisfacción

33

Candidatos

34

Reclutadores

35

Cuestionarios en Línea

36

37

Pregunta Totalmente en desacuerdo En desacuerdo De acuerdo Totalmente de

acuerdo

1. ¿Recomendaría este sitio a mis familiares y amigos? 7.7% 3.8% 34.6% 53.8%

2. ¿El Portal del Trabajo es fácil de usar? 3.8% 7.7% 53.8% 34.6%

3. ¿El Portal del Trabajo es fácil de entender? 3.8% 7.7% 57.7% 30.8%

4. ¿El Portal del Trabajo es fácil de aprender a usar? 3.8% 3.8% 50.0% 42.3%5. ¿Estoy optimista de que con el Portal del Trabajo podré encontrar un buen trabajo? 0.0% 11.5% 57.7% 30.8%6. ¿Creo que mis aptitudes computadora son suficientes Portal del Empleo de manera correcta? 3.8% 3.8% 23.1% 69.2%7. ¿Confío en que la información que me proporciona el Portal del Empleo es verídica y útil? 7.7% 0.0% 42.3% 50.0%8. ¿Creo que el diseño gráfico del Portal del Empleo es atractivo? 0.0% 19.2% 38.5% 42.3%9. ¿Creo que los procesos de búsqueda del portal son los correctos? 0.0% 19.2% 38.5% 42.3%

10. ¿Creo que la información mostrada es valiosa? 0.0% 7.7% 34.6% 57.7%

CuestionarioCandidatos

38

Pregunta Totalmente en desacuerdo En desacuerdo De acuerdo Totalmente de

acuerdo

1. ¿Recomendaría este sitio a mis familiares y amigos? 0.0% 0.0% 30.0% 70.0%

2. ¿El Portal del Trabajo es fácil de usar? 0.0% 10.0% 60.0% 30.0%

3. ¿El Portal del Trabajo es fácil de entender? 0.0% 30.0% 50.0% 20.0%

4. ¿El Portal del Trabajo es fácil de aprender a usar? 0.0% 0.0% 50.0% 50.0%5. Estoy optimista de que con el Portal del Trabajo podré encontrar buenos candidatos para mi empresa

0.0% 0.0% 50.0% 50.0%6. ¿Creo que mis aptitudes computadora son suficientes para Portal del Empleo de manera correcta? 0.0% 0.0% 20.0% 80.0%7. ¿Confío en que la información que me proporciona el Portal del Empleo es verídica y útil? 0.0% 0.0% 60.0% 40.0%8. ¿Creo que el diseño gráfico del Portal del Empleo es atractivo? 10.0% 10.0% 50.0% 30.0%9. ¿Creo que los procesos de búsqueda del portal son los correctos? 0.0% 20.0% 60.0% 20.0%

10. ¿Creo que la información mostrada es valiosa? 0.0% 0.0% 50.0% 50.0%

CuestionarioReclutadores

Satisfacción Total

39

Promedio Candidatos: 8.58

Promedio Reclutadores: 8.50

Terrible, pésimo sistema 1 2 3 4 5 6 7 8 9 10 Excelente

sistema

0% 0% 0% 0% 0% 3.8% 11.5% 19.2% 53.8% 11.5%

0 0 0 0 0 1 3 5 14 3

Terrible, pésimo sistema 1 2 3 4 5 6 7 8 9 10 Excelente

sistema

0% 0% 0% 0% 0% 0% 20.0% 20.0% 50.0% 10.0%

0 0 0 0 0 0 2 2 5 1

Principales mejoras y recomendaciones

40

Candidatos Búsquedas específicas de empleo

1. Buscador semántico: la más fácil 2. Búsqueda específica: casi ninguno de los candidatos tuvo

resultados en esta búsqueda. 3. Ofertas de empleo: búsqueda restringida por el usuario o

automáticamente 4. Otras bolsas de empleo: usuarios pensaron que tendrían

que pagar

41

Reclutadores Registro de empresa

1. Correo y contraseña: pocos usuarios quisieron dar sus datos reales por seguridad.

2. Tipo de empresa: hubo mucha controversia en los elementos aquí listados, así como el Sector, Subsector y Rama.

3. Teléfono de la empresa: el proceso de agregar un nuevo teléfono no fue entendido.

42

Recomendaciones Generales 1. Uniformizar mensajes de error: así como su posición en el

centro de la pantalla. 2. Tamaño de letra muy pequeño: fue la queja constante de los

usuarios. 3. Organización de los contenidos: el portal se beneficiaría de una

re organización de los elementos de captura del registro. 4. Elementos gráficos en los resultados de búsqueda: como logos,

fotografías de la empresa fueron solicitudes muy repetidas por los usuarios.

5. Mejorar el tiempo de respuesta y disponibilidad del portal

43

Rediseño

44

Rediseño

45

Finalmente Efectividad

Candidatos: 91.57% Reclutadores: 77.65%

Eficiencia

Candidatos: 1.06’ (Máx, GDL), 0.26’ (Min, VH), 0.38’ (Prom) Reclutadores: 1.08’ (Máx, GDL), 0.48’ (Min, VH), 1.00‘(Prom)

Satisfacción

Candidatos: 8.58 Reclutadores: 8.50

46

47

Trabajando con el gobierno 1. Trabajar con el gobierno es una experiencia

diferente 2. Consideran UX como innecesario y muy caro 3. Demandan un calendario ajustado pero es casi

imposible 4. Inicialmente, los usuarios están escépticos, pero

después fueron cálidos y muy amables 5. Tomar en cuenta las diferencias culturales de

nuestros usuarios

48

Desarrollando un estudio de usabilidad para sitios

gubernamentales mexicanos: Caso de estudio

del Portal del Empleo Mario A Moreno Rocha, Carlos A Martínez Sandoval (UTM)

Jesús Salvador Aguilar Bautista (Infotec) Heriberto López Ramírez (UNSIS)

Noviembre, 2014