evaluación e integración de toma de decisiones en los...

Evaluación e Integración de Toma de Decisiones en Sistemas de Recomendación

Autor: Rus María Mesas Jávega Tutor: Alejandro Bellogín Kouki

Índice

Introducción

Estado del Arte

Evaluación de Algoritmos que Toman Decisiones

Experimentos y Resultados

Conclusiones y Trabajo Futuro

Toma de Decisiones en Algoritmos de Recomendación

2

1. Introducción - Motivación

Interacciones Pasadas de los Usuarios

Recomendaciones

Sistema de Recomendación

3

1. Introducción - Hipótesis

4

Es mejor no recomendar que fallar

1. Introducción - Objetivos

Introducir la toma de decisión en algoritmos de recomendación

Analizar cómo influye la toma de decisión en diferentes dimensiones

Estudiar cómo evaluar los nuevos sistemas y proponer nuevas métricas

1

2

3

5

2. Estado del Arte

Sistemas de Recomendación

Filtrado Colaborativo

Basado en Contenido

Híbridos

K Vecinos Próximos

Factorización de Matrices

Basado en Usuarios

Variational Bayesian

6

2. Estado del Arte – Evaluación


Precisión

Cobertura

Diversidad Novedad

Serendipia

Confianza

Eficiencia Robustez

7

3. Toma de Decisión en Algoritmos de Recomendación

Estimaciones

Interacciones Pasadas de los Usuarios

Estimaciones


8


Taxonomía de Técnicas de Toma de Decisión

Independiente del Modelo

Según el Soporte de la Predicción

Según la Incertidumbre de la Predicción

KNN Basado en Usuarios



9


Independiente del modelo

IDEA: Recomendar ítem cuyo valor de rating sea mayor que un umbral

Aplicable a cualquier algoritmo de recomendación

Estimación

10


Según el Soporte de la Predicción IDEA: Cuantas más opiniones se conocen sobre un ítem más confianza genera la estimación final

Aplicable a KNN

¿El ítem ha sido votado por al menos n de los k

vecinos del usuario?

Estimación aplicando KNN

basado en usuarios

11


Según la Incertidumbre IDEA: La desviación típica es sinónimo de incertidumbre. A mayor desviación típica mayor incertidumbre en la estimación y menor confianza en ella.

Aplicable algoritmo que proporcionan fórmula para σ

Estimación

12


Según la Incertidumbre

K Vecinos Próximos (KNN)


Media Ponderada

13

Toma de Decisión

2,5 3,1 4, 5

4,5 3,1 3, 5

4,1 2,1 3, 7 4,1 3,7

Lista Recomendación @2

3,5

4. Evaluación de Algoritmos que Toman Decisiones

Precisión vs Cobertura

HIPÓTESIS:

Integración Toma de Decisión

PRECISIÓN

COBERTURA

P@N

USC

Usuario sin recomendación

Usuario lista incompleta

Usuario lista completa


Precisión vs Cobertura

Combinar P@N y USC

F-score:

G-score: 15

HIPÓTESIS:

Integración Toma de Decisión

PRECISIÓN

COBERTURA

P@N

USC


Métricas Correctness IDEA: Crear una métrica que premie no recomendar a fallar

P@N = TP/N NR/N

P@N

R@N

Para la lista de recomendación de cada usuario calculamos:

16


Métricas Correctness IDEA: Aplicar la misma idea pero desde el punto de vista de ítem

Para cada ítem calculamos: TP/|U| NR/|U|

17

5. Experimentos y Resultados - Implementación

RankSys

Rival RankSys

Implementación Evaluación

Implementación Algoritmos

Modificaciones KNN

Implementación completa y modificaciones Variational Bayesian

18

5. Experimentos y Resultados - Datasets

943 1,7K 100K 1,33% [1, 5] ML100K

6,0K 3,9K 1M 4,26% [1, 5] ML1M

59,1K 150 1,7M 1,33% [-10, 10] Jester

Dataset Usuarios Ítems Ratings Densidad Rango

Se han utilizado diferentes conjuntos de distintos dominios para poder obtener conclusiones consistentes de los algoritmos sin depender del conjunto que se haya usado

19

5. Experimentos y Resultados

20

Experimentos realizados

Independiente del Modelo

Según el Soporte de la Predicción

Según la Incertidumbre de la Predicción







Según la incertidumbre de la predicción Variational Bayesian

Precisión vs Cobertura de Usuario

21

Estimación

5. Experimentos y Resultados Según la incertidumbre de la predicción Variational Bayesian

Detalle evaluación ML100K

Mejora del 250%

22


Novedad y Diversidad

23


24

Var

iati

on

al B

ayes

ian

K

Vec

ino

s P

róxi

mo

s

25

5. Experimentos y Resultados Según el soporte de la predicción (KNN)


26

¿El ítem ha sido votado por al menos n de los k vecinos del

usuario?

Estimación


Mejora del 562%

27



28

6. Conclusiones y Trabajo Futuro

Propuesta de taxonomía de técnicas para incorporar la toma de decisión. Con mejoras en P@N de hasta el 560% disminuyendo cobertura, novedad y diversidad.

Propuesta de cómo combinar P@10 y USC a través de métricas parametrizables.

Creación de métricas Correctness: UC, RUC, IC y RIC. Métricas que premian no contestar frente a fallar y que no necesitan parametrización

29

6. Conclusiones y Trabajo Futuro

Ampliar experimentos con nuevos datasets y métricas

Estudiar nuevas formas de incorporar la toma de decisión en nuevos algoritmos de recomendación

Realizar estudios con usuarios

Estudiar cómo combinar otras métricas

30


Métricas Correctness EJEMPLO

5. Experimentos y Resultados Independiente del modelo KNN



34

Independiente del modelo KNN



35

Independiente del modelo KNN

5. Experimentos y Resultados Independiente del modelo Variational Bayesian




38

Independiente del modelo Variational Bayesian


39

Según la incertidumbre de la predicción KNN


40


Mejora del 95%

Mejora del 322%


41



evaluación e integración de toma de decisiones en los...

Documents