nicol´as torres - pontificia universidad católica de...

Matrix factorization

Nicolas Torres

IIC 3633 - Sistemas RecomendadoresPontificia Universidad Catolica de Chile

24 de septiembre de 2015

Nicolas Torres Matrix factorization 24 de septiembre de 2015 1 / 27

Bibliografıa

Esta presentacion se basa en las siguientes publicaciones

Xia Ning and George Karypis.Sparse linear methods with side information for top-nrecommendations.In Proceedings of the Sixth ACM Conference on RecommenderSystems, RecSys ’12, pages 155–162. ACM, 2012.

S. Zhang, W. Wang, J. Ford, and F. Makedon.Learning from incomplete ratings using non-negative matrixfactorization.In Proceedings of the 6TH SIAM Conference on Data Mining, pages549–553, 2006.

Nicolas Torres Matrix factorization 24 de septiembre de 2015 2 / 27

Tabla de Contenidos

1 NMFModeloRatings IncompletosExperimentosEjemplo

2 SLIMModeloExperimentos

Nicolas Torres Matrix factorization 24 de septiembre de 2015 3 / 27

NMF

La matriz de ratings V : m× n, se descompone en dos matrices de menorrango, no negativas de la forma

V ≈WH, (1)

donde W : n× k y H : k ×m. En la practica, el rango de factorizacion esescogido, tal que, k � mın(m,n).

Nicolas Torres Matrix factorization 24 de septiembre de 2015 4 / 27

NMF

La matriz V se obtiene encontrando las matrices no-negativas W (n× k) yH(k ×m) que optimizan

mın ||A−WH||2F (2)

∼ max logPr(A|V ) (3)

Este problema puede ser resuelto utilizando el metodo de losmultiplicadores de Lagrange.

Nicolas Torres Matrix factorization 24 de septiembre de 2015 5 / 27

Learning From Incomplete Ratings

Cuando la matriz de ratings esta incompleta se debe optimizar el problema

max logPr(A◦|V ), (4)

donde A◦ son los datos observados.Se proponen dos algoritmos para maximizar esta funcion objetivo

EM procedureWeighted NMF

Nicolas Torres Matrix factorization 24 de septiembre de 2015 6 / 27

Expectation-Maximization (EM)

El algoritmo EM se usa para encontrar estimadores de maximaverosimilitud de parametros en modelos donde los datos estanincompletos.

ExpectationMaximization

Nicolas Torres Matrix factorization 24 de septiembre de 2015 7 / 27

Expectation

Calcula la expresion esperada para la maxima verosimilitud de V conrespecto a datos desconocidos (Au) dado un conjunto de datos observados(A◦) y un parametro estimado V (t−1), esto es

Q(V, V (t−1)) = E[logPr(A◦, Au|V )|A◦, V (t−1)] (5)

Nicolas Torres Matrix factorization 24 de septiembre de 2015 8 / 27

Maximization

Encuentra el parametro V (t) que maximiza la esperanza calculadaanteriormente Q(V, V (t−1)), esto es

V (t) = argv maxQ(V, V (t−1)) (6)

Nicolas Torres Matrix factorization 24 de septiembre de 2015 9 / 27

WNMF

Es una variacion del anterior

mın∑ij

Pij(Aij − (WH)ij)2, (7)

donde Pij es igual a 1 si Aij es un dato observado y 0 en otro caso.

Nicolas Torres Matrix factorization 24 de septiembre de 2015 10 / 27

EM procedure vs. WNMF

EM procedure converge bien empiricamente y es menos susceptible alas condiciones iniciales.WNMF es mucho mas eficiente computacionalmente.Hybrid NMF puede ser mas efectivo.

a EM b WNMF

Figura 1: NMAE of the EM and WNMF approaches on MovieLens.

Nicolas Torres Matrix factorization 24 de septiembre de 2015 11 / 27

Experimentos

La Tabla 1 muestra los resultados de los algoritmos basados en NMF sobreel data set de MovieLens.

Pearson SVD EM NMF EM Hybrid NMFNMAE 0.1707 0.1629 0.1623 0.1634ROC-4 0.7471 0.7682 0.7723 0.7691

Tabla 1: Desempeno de los algoritmos en MovieLens

Nicolas Torres Matrix factorization 24 de septiembre de 2015 12 / 27

Experimentos

La Tabla 2 muestra los resultados de los algoritmos basados en NMF sobreel data set de Jester.

Pearson SVD EM NMF EM Hybrid NMFNMAE 0.1634 0.1605 0.1599 0.1599ROC-4 0.7539 0.7588 0.7612 0.7608

Tabla 2: Desempeno de los algoritmos en Jester

Nicolas Torres Matrix factorization 24 de septiembre de 2015 13 / 27

Ejemplo

Demostracion de la factorizacion NMF en R.

install.packages("NMF")library(NMF)data(MovieLense)NMF <- nmf(MovieLense, 10)W <- basis(NMF)H <- coef(NMF)basismap(NMF)coefmap(NMF)

Nicolas Torres Matrix factorization 24 de septiembre de 2015 14 / 27

Ejemplo

La Figura 2 exhibe las matrices W y H originadas de la descomposicionNMF de rango 10, sobre el data set de MovieLens 100k.

8 1 6 7 9 10 5 2 3 4

0

0.2

0.4

0.6

0.8

1

a Matriz W

4

3

2

9

5

8

10

7

1

6

0

0.2

0.4

0.6

0.8

1

b Matriz H

Figura 2: Matrices W y H de la descomposicion NMF (rango 10)

Nicolas Torres Matrix factorization 24 de septiembre de 2015 15 / 27

Ejemplo

Interview w

ith the Vam

pire (1994)

Nightm

are on Elm

Street, A

(1984)

Carrie (1976)

Shining, T

he (1980)

Psycho (1960)

True Lies (1994)

Die H

ard 2 (1990)

Under S

iege (1992)

Die H

ard: With a V

engeance (1995)

Fantasia (1940)

Pinocchio (1940)

Cinderella (1950)

Beauty and the B

east (1991)

Aladdin (1992)

5

7

1

9

3

4

2

10

8

6

0

0.2

0.4

0.6

0.8

Figura 3: Items mas representativos de las comunidades 1, 5 y 7

Nicolas Torres Matrix factorization 24 de septiembre de 2015 16 / 27

SLIM

Sparse LInear Method (SLIM) [Ning and Karypis(2012)].SLIM se centra en recomendacion top N.Capaz de realizar recomendaciones de alta calidad y con gran rapidez.

Nicolas Torres Matrix factorization 24 de septiembre de 2015 17 / 27

SLIM

El modelo utilizado por SLIM puede ser presentado como

A = AW, (8)

donde A : m× n es la matriz de ratings y W : n× n es una matriz sparsede coeficientes.

Nicolas Torres Matrix factorization 24 de septiembre de 2015 18 / 27

SLIM

La matriz W se obtiene minimizando el siguiente problema deoptimizacion regularizado:

mınW

12 ||A−AW ||

2F + β

2 ||W ||2F + λ||W ||1 (9)

sujeto a W ≥ 0, diag(W ) = 0.

Nicolas Torres Matrix factorization 24 de septiembre de 2015 19 / 27

Computing W

Como las columnas de W son independientes, el problema de optimizacionse puede descomponer en el conjunto

mınwj

12 ||aj −Awj ||22 + β

2 ||wj ||22 + λ||wj ||1 (10)

sujeto a wj ≥ 0, wj,j = 0.

Nicolas Torres Matrix factorization 24 de septiembre de 2015 20 / 27

SLIM with Feature Selection

fsSLIM Antes de calcular wj se pueden usar metodos de seleccion decaracterısticas para reducir el numero de variables independientes. Estodisminuye sustancialmente el tiempo de construccion del modelo.

Nicolas Torres Matrix factorization 24 de septiembre de 2015 21 / 27

EXPERIMENTOS

Figura 4: The Datasets Used in Evaluation.

Nicolas Torres Matrix factorization 24 de septiembre de 2015 22 / 27

Metodologıa de Evaluacion y Metricas

Hit Rate (HR) y Average Reciprocal Hit-Rank (ARHR)

HR = #hits#users

(11)

ARHR = 1#users

#hits∑i=1

1pi

(12)

donde #hits: TP

Nicolas Torres Matrix factorization 24 de septiembre de 2015 23 / 27

Top-N Recommendation Performance

Figura 5: Comparison of Top-N Recommendation Algorithms.

Nicolas Torres Matrix factorization 24 de septiembre de 2015 24 / 27

Top-N Recommendation Performance

Figura 6: Comparison of Top-N Recommendation Algorithms.

Nicolas Torres Matrix factorization 24 de septiembre de 2015 25 / 27

SLIM for the Long-Tail Distribution

Figura 7: Performance on the Long Tail of ML10M. 1 % most popular items areeliminated from ML10M. Params have same meanings as those in Figura 6.

Nicolas Torres Matrix factorization 24 de septiembre de 2015 26 / 27

Recommendation for Different Top-N

Figura 8: Performance Difference on Top-N Recommendations. Columnscorresponding to N shows the performance (in terms of HR) difference betweenSLIM and the best of the rest methods on corresponding top-N recommendatons.

Nicolas Torres Matrix factorization 24 de septiembre de 2015 27 / 27