experiencias en investigación con usuarios. aprender de los errores
DESCRIPTION
Charla dada en UXSpain 2013 (Valladolid)TRANSCRIPT
![Page 1: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/1.jpg)
Os voy a contar lo que nunca se cuentaEspero que os sirva
Experiencias en investigación
con usuariosAprender de los errores
Mari-Carmen Marcos
Universitat Pompeu Fabra
mcmarcos.com
@mcmarcos
![Page 2: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/2.jpg)
¡Ah, eres investigadora ¿Y qué investigas?
Estudio el comportamiento de las personas con la tecnología con el fin de proponer mejoras en sus interfaces.
![Page 3: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/3.jpg)
¿En serio? ¿Eso se estudia?
Interacción Persona-Ordenador (HCI)
Arquitectura de la información
Usabilidad
…
Mejorar la Experiencia de Usuario
¡Claro! Forma parte de la disciplina llamada HCI, y hay muchos profesionales que se dedican a ello
![Page 4: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/4.jpg)
¿Y cómo se puede saber cómo se comportan las personas
Hay distintas técnicas:
• Observacionales: sin manipulación de las
variables
Ej. Estudios etnográficos
• Experimentales: controlamos todas las
variables
Ej. Tests entornos médicos
• Quasi-experimentales: controlamos las
variables dependientes pero no todas las
independientes
Ej. Estudios de usabilidad
![Page 5: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/5.jpg)
¿Y hay que saber muchas matemáticas para hacer esos estudios?
Depende del tipo de datos que recojas y de lo que pretendas hacer con ellos
Cualitativos
• No implican cálculos estadísticos
• Requieren tiempo
• A menudo son exploratorios, como
base de un estudio cuantitativo
Cuantitativos
• Responden a preguntas muy concretas
• Aplican cálculos estadísticos
• Requieren un alto control en el diseño
del experimento
![Page 6: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/6.jpg)
No sé si lo he entendido…
Cualitativos Cuantitativos
HeurísticaRec. Cognit.
Encuesta
Test de usuarios
Analítica (Logs)
EntrevistaFocus groupObserv. Etnogr.
Mejor te hago un esquema
![Page 7: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/7.jpg)
¿Y cuál es tu técnica preferida?
Cualitativos Cuantitativos
HeurísticaRec. Cognit.
Encuesta
Test de usuarios
Analítica (Logs)
EntrevistaFocus groupObserv. Etnogr.
+ Eye tracking
No sé si preferida, pero la que más he utilizado es el test de usuarios.
Y de eso voy a hablar
![Page 8: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/8.jpg)
Bueno… yo me he equivocado muchas veces… de hecho eso es lo que hoy os voy a contar.
¿Y hacer estos tests con usuarios es difícil?
![Page 9: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/9.jpg)
¡Buenos días!
Experiencias en investigación
con usuarios
Aprender de los errores
![Page 10: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/10.jpg)
Fases de investigación
• Planificación
• Preparación
• Ejecución
• Análisis
• Publicación
• Presentación
Las posibilidades de equivocarnos están en cada paso de la investigación
![Page 11: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/11.jpg)
Planificar bien el estudio es básico.
Lo que ahora se haga mal, repercutirá en los resultados
Planificación
![Page 12: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/12.jpg)
Planificación
1. Centrarse en el foco, simplificar el
estudio
![Page 13: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/13.jpg)
Planificación
1. Centrarse en el foco, simplificar el
estudio
Test Google Barcelona-Dubai
1. Cultura de los
usuarios
2. Tipos de resultados
3. Tipos de snippets
4. Posición
5. Relevancia
6. Temática
7. Éxito
![Page 14: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/14.jpg)
Planificación
1. Centrarse en el foco, simplificar el
estudio
Test Google Barcelona/Dubai
![Page 15: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/15.jpg)
Planificación
1. Centrarse en el foco, simplificar el
estudio
Test Google Barcelona/Dubai
¿Hacían falta tantas
variables?
![Page 16: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/16.jpg)
Planificación
2. Objetos de estudio comparables
![Page 17: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/17.jpg)
Planificación
2. Objetos de estudio comparables
Test Google Barcelona-Dubai
Idioma de la interfaz
¡Testear en inglés en Barcelona!
![Page 18: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/18.jpg)
Planificación
3. Muestra comparable
Test Google Barcelona-Dubai
![Page 19: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/19.jpg)
Planificación
3. Muestra comparable
Test Google Barcelona-Dubai
Hombres / Mujeres
¡Ampliar la muestra de
hombres en Dubai!
![Page 20: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/20.jpg)
Planificación
4. Aleatoriedad y/o rotación
![Page 21: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/21.jpg)
Planificación
4. Aleatoriedad y/o rotación
Test Legibilidad
Texto Inicio Texto Final
![Page 22: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/22.jpg)
Planificación
4. Aleatoriedad y/o rotación
Test Legibilidad
Texto Inicio Texto Final
Rotar las tareas
¡La atención decae!
![Page 23: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/23.jpg)
Planificación
4. Aleatoriedad y/o rotación
Test Legibilidad y layout
![Page 24: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/24.jpg)
Planificación
4. Aleatoriedad y/o rotación
Test Legibilidad y layout
Orden de variables en cada
página
¡Repetir los tests!
![Page 25: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/25.jpg)
Planificación
5. Redacción de las tareas
![Page 26: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/26.jpg)
Planificación
5. Redacción de las tareas
![Page 27: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/27.jpg)
Planificación
6. Recursos técnicos necesarios
Test TV Conectada
La planificación del test requiere un gran control de todo en el laboratorio
No podemos arriesgarnos a perder usuarios
![Page 28: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/28.jpg)
Planificación
6. Recursos técnicos necesarios
Test TV Conectada
El campus no tiene antenaTV
¡Comprar antena exterior!
![Page 29: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/29.jpg)
Planificación
7. Imprevistos en la tecnología
Test TV Conectada
![Page 30: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/30.jpg)
Planificación
7. Imprevistos en la tecnología
Test TV Conectada
Infrarrojos interfieren
¡Aislar los rayos!
![Page 31: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/31.jpg)
Planificación
8. Usuarios que nos dejan plantados
Usuarios en reserva
Tareas: revisar, pasar a limpio,
backup…
![Page 32: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/32.jpg)
AnálisisEl análisis de los datos recogidos es un momento clave que requiere rigurosidad y meticulosidad para que los resultados sean válidos científicamente.
![Page 33: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/33.jpg)
Análisis
1. Requerimientos técnicos
Test TV Conectada
- Tarjeta gráfica
- Disco duro
- RAM
![Page 34: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/34.jpg)
Análisis
2. Calcular el tiempo
Test TV Conectada
Ficheros pesados Marcado
manual
…
![Page 35: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/35.jpg)
Análisis
3. Escoger el test estadístico apropiado
![Page 36: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/36.jpg)
Análisis
3. Escoger el test estadístico apropiado
¿Cómo son los datos? Frecuencias o valores
- Frecuencias: ej. tasa de éxito en resolver una
tarea (eficacia)
- Valores: tiempo invertido para terminar la
tarea (eficiencia)
![Page 37: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/37.jpg)
Análisis
3. Escoger el test estadístico apropiado
¿Cuántas variables manejas? 1, 2 o más
![Page 38: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/38.jpg)
Análisis
3. Escoger el test estadístico apropiado
¿Qué diseño has aplicado? Correlacional o
Experimental
- Correlacional: cuando una variable aumenta
la otra también o al revés, ej. Tiempo en
SERP y ratio de éxito
- Experimental: testear dos condiciones, ej.
iOS y Android
![Page 39: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/39.jpg)
Análisis
3. Escoger el test estadístico apropiado
¿Los datos siguen una distribución normal?
Paramétricos o no
![Page 40: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/40.jpg)
Análisis
3. Escoger el test estadístico apropiado
¿Los mismos usuarios están sometidos a dos
entornos? Medidas repetidas o independientes
- Repetidas: el mismo usuario hace el test en
PC y en móvil
- Independientes: unos usuarios hacen el test
con PC y otros con móvil
![Page 41: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/41.jpg)
Análisis
3. Escoger el test estadístico apropiado
Jeff Sauro
- http://www.measuringusability.com/
- A Practical Guide to Measuring Usability
(2010)
- Calculadora Excel
Jeff Sauro y Jim Lewis
- Quantifying the User Experience: Practical
Statistics for User Research (2012)
![Page 42: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/42.jpg)
Publicación y presentación
Finalmente, la forma de presentar el estudio debe ser adecuada al público al que se dirige
![Page 43: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/43.jpg)
Publicación y presentación
1. Estilo adecuado al medio y al público
Test TV Conectada
- Workshop sobre Eye tracking
- Workshop sobre UX y TV
- Seminario UPF metodologías
- Artículo de revista
- Blog
![Page 44: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/44.jpg)
Presentación y difusión
2. Escritura adaptada
Test TV Conectada
![Page 45: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/45.jpg)
Presentación y difusión
2. Escritura adaptada
![Page 46: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/46.jpg)
Y estos son los errores que me han hecho aprender…
Equivocarse es de sabios ¿no? Incluso los grandes se equivocan
![Page 47: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/47.jpg)
Y estos son los errores que me han hecho aprender…
Equivocarse es de sabios ¿no? Incluso los grandes se equivocan
![Page 48: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/48.jpg)
¿Y puedo leer algunos de estos estudios?
Sí, claro, te paso los últimos, de 2010 a 2013. Casi todos están en mi web
![Page 49: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/49.jpg)
MULTICULTURALIDAD• Marcos, Mari-Carmen; García-Gavilanes, Ruth; Bataineh, Emad; Pasarin, Lara. Using Eye Tracking to Identify Cultural
Differences in Information Seeking Behavior. Workshop “Many People, Many Eyes”. CHI'13, April 27-May 2, 2013, Paris, France.
LEGIBILIDAD• Rello, Luz; Marcos, Mari-Carmen. An Eye Tracking Study on Text Customization for User Performance and Preference.
LA-Web 2012 (Cartagena, Colombia, October 2012).
TV CONECTADA• Marcos, Mari-Carmen; Mansilla, Verónica. Video on Demand: Usability Challenges for Connected TV. Workshop Living
Room Experience: Exploring and Enhancing the User Experience for Television. CHI'13, April 27-May 2, 2013, Paris, France.
• Marcos, Mari-Carmen. Connected TV needs to improve: an eye tracking study. EyeTrackUX 2012 - Tobii Eye Tracking Conference on User Experience (Barcelona, 25-26 April 2012).
• Mansilla, Verónica; Marcos, Mari-Carmen. User experience en Televisión Conectada: un estudio con usuarios. El Profesional de la Información, 22:2, marzo-abril 2013.
BUSCADORES• Marcos, Mari-Carmen; Nettleton, David; Sáez, Diego. Evaluation of User Search Behaviour using a Web Search Log and
Eye Tracking data. Proceedings of the BCS HCI 2012, People & Computers XXVI (Birmingham, UK), 262-267.• Marcos, Mari-Carmen. An Eye Tracking Study on Interaction in Search Engines. EyeTrackUX 2011 - Tobii Eye Tracking
Conference on User Experience (Londres, 9-10 Julio 2011). Abstract (full paper non-published)• González-Caro, Cristina; Marcos, Mari-Carmen. Different Users and Intents: An Eye-tracking Analysis of Web Search. In:
King, Irwin; Nejdl, Wolfgang; Li, Hang. WSDM'11 Fourth ACM International Conference on Web Search and Data Mining(Kowloon, Hong Kong, February 09 - 12, 2011). New York: ACM, 2011. (Disponible online en la web de Yahoo! Research)
• Marcos, Mari-Carmen; González-Caro, Cristina. El comportamiento de los usuarios en la página de resultados de los buscadores: un estudio basado en la técnica de eye tracking. El Profesional de la Información, 19:4, julio-agosto 2010, 348-358.
![Page 50: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/50.jpg)
¿Preguntas?
![Page 51: Experiencias en investigación con usuarios. Aprender de los errores](https://reader033.vdocuments.co/reader033/viewer/2022042816/5597e64a1a28ab9f4c8b45b8/html5/thumbnails/51.jpg)
¡Muchas gracias!
Mari-Carmen Marcos
Universitat Pompeu Fabramcmarcos.com
@mcmarcos