curso de minería de datos luis pelayo guerra velasco josé maría peña sánchez víctor robles...
TRANSCRIPT
Curso de Minería de datos
Luis Pelayo Guerra Velasco
José María Peña Sánchez
Víctor Robles Forcada
Facultad de Informática, UPM
Mayo de 2008
Índice
Introducción
Preprocesado
Modelos descriptivos
Modelos predictivos
Validación
Índice
Introducción
Preprocesado
Modelos descriptivos
Modelos predictivos
Validación
Aproximación
Una visión simplificada de la minería de datos
Los “modelos” son el producto de la minería de datos...
...y dan soporte a las estrategias de decisión que se tomen
ModelosMinería de datosDatos
Datos y Modelos => Conocimiento
Los datos se obtienen de:
Bases de datos (relacionales,
espaciales, temporales,
documentales, multimedia,
etc)
World Wide Web
Modelos descriptivos: identifican
patrones que explican o resumen los datos
Reglas de asociación: expresan patrones de
comportamiento en los datos
Clustering: agrupación de casos homogéneos
Modelos predictivos: estiman valores de
variables de interés (a predecir) a partir de
valores de otras variables (predictoras)
Regresión: Variable a predecir continua
Clasificación supervisada: Variable a
predecir discreta
Definiciones
Data Mining (Minería de datos)
Proceso de extraer conocimiento util y comprensible, previamente
desconocido, desde grandes cantidades de datos almacenados en
distintos formatos (Witten and Frank, 2000)
Knowledge Discovery in Databases - KDD (Descubrimiento
de Conocimiento en Bases de Datos)
Proceso no trivial de identificar patrones válidos, novedosos,
potencialmente útiles y, en última instancia, comprensibles, a partir de
los datos (Fayyad y col. 1996)
Estadística vs Minería de datos
Es tadis tica Mineria de datos
Const rucción d em od elos
Ceñ id o a p rem is as y t eorem asMayor liber tad en la cons trucción ,
in terp retab le
Score Veros im ilitud d e los d a tos d ad o el m od elo Más d irecto, PBC p or ejem p lo
Búsqued a Tes t d e la raz ón d e la veros im ilitud Metaheur ís t icos
Transp arencia Más com p licad os d e in terp retar Más cla ros y s encillos
Valid ación No Sí
Selección d evar iab les
Filter Wrap p er
OLAP vs Minería de datos
OLAP (On Line Analytical Processing) o FASMI (Fast Analysis of
Shared Multidimensional Information)
OLAP Mine ría de datos
¿Cu ál es la p rop orción m ed ia d e accid en t es en t refu m ad ores y n o fu m ad ores?
¿Cu ál es la m ejor p red icción p ara accid en t es?
¿Cu ál es la fact u ra t elefón ica m ed ia d e m is clien t es yd e los q u e h an d ejad o la com p añ ia?
¿Dejara X la com p añ ia? ¿Qu é fact ores afect an a losab an d on ad os?
¿Cu án t o es la com p ra m ed ia d iar ia d e t ar jet asrob ad as y legít im as?
¿Cu áles son los p at ron es d e com p ra asociad os con elfrau d e d e t ar jet as?
Aplicaciones
Financieras
Comercio
Seguros
Educación
Medicina
Bioinformática
Otras áreas
Ejemplo (I)
Agente comercial: ¿Debo conceder una hipoteca a un cliente?
Datos:
Modelo generado:
Minería de datos
If Defaulter-accounts > 0 then Returns-credit = no
If Defaulter-accounts = 0 and [(Salary > 2500) or (Credit-p > 10)] then Returns-credit = yes
Ejemplo (II)
Supermercado: ¿Cuándo los clientes compran huevos, también compran
aceite?
Datos:
Modelo generado:
Minería de datos
Eggs -> Oil: Confianza = 75%, Soporte = 37%
Ejemplo (III)Gestión de personal de una empresa: ¿Qué clases de empleados hay
contratados?
Datos:
Modelo generado:
Minería de datos
Grupo 1: Sin niños y en una casa alquilada. Bajo número de uniones. Muchos días enfermos
Grupo 2: Sin niños y con coche. Alto número de uniones. Pocos días enfermos. Más mujeres y en una casa alquilada
Grupo 3: Con niños, casados y con coche. Más hombres y normalmente propietarios de casa. Bajo número de uniones
Ejemplo (IV)
Tienda de TV: ¿Cuántas televisiones planas se venderán el
próximo mes?
Datos:
Modelo generado:
Minería de datos
Modelo lineal: número de televisiones para el próximo mes
V(month)flatTV = 0.62 V(Month-1)flat-TV + 0.33 V(Month-2)flat-TV + 0.12 V(Month-1)DVD-Recorder – 0.05
CRISP-DM
KDD
La minería de datos se encuadra dentro de un proceso
mucho mayor conocido como KDD (Knowledge Discovery
from Databases)
Fases del proceso iterativo e interactivo
1. Integración y recopilación de datos
2. Selección, limpieza y transformación
3. Minería de datos
4. Evaluación e interpretación
5. Difusión y uso
KDD – Knowledge Discovery in Databases
Fase 1
Integración y recopilación de datos
Decisiones estratégicas basadas en el análisis, la planificación y la predicción: datos en varios departamentos
Cada fuente de datos distintos formatos de registro, diferentes grados de agregación, diferentes claves primarias, ....
Integración de múltiples bases de datos: almacenes de datos (data warehousing)
Almacén de datos aconsejable cuando el volumen de información es grande. No estrictamente necesario (archivos de texto, hojas de cálculo, ...)
Fase 2
Selección, limpieza y transformación Calidad del conocimiento descubierto depende (además del algoritmo de
minería) de la calidad de los datos analizados Presencia de datos que no se ajustan al comportamiento general de los datos
(outliers) Presencia de datos perdidos (missing values) Selección de variables relevantes (feature subset selection) Selección de casos aleatoria en bases de datos de tamaño ingente Construcción de nuevas variables que faciliten el proceso de minería de datos Discretización de variables continuas
Fase 3
Minería de datos
Modelos descriptivos Reglas de asociación
Clustering
Modelos predictivos
Regresión: regresión lineal, regresión logística Clasificación supervisada: clasificadores Bayesianos, redes
neuronales, árboles de clasificación, inducción de reglas, K-
NN, combinación de clasificadores
Fase 4
Evaluación e interpretación Técnicas de evaluación: validación simple (training + test),
validación cruzada con k-fold, bootstrap Reglas de asociación: cobertura (soporte), confianza Clustering: variabilidad intra y entre Regresión: error cuadrático medio Clasificación supervisada: porcentaje de bien clasificados, matriz
de confusión, análisis ROC Modelos precisos, comprensibles (inteligibles) e interesantes
(útiles y novedosos)
Fase 5
Difusión y uso
Difusión: necesario distribuir, comunicar a los posibles usuarios, integrarlo en el know-how de la organización
Medir la evolución del modelo a lo largo del tiempo (patrones tipo pueden cambiar)
Modelo debe cada cierto tiempo de ser: Reevaluado Reentrenado Reconstruido
Herramientas
Weka, Clementine, etc.
Knime. KoNstanz Information MinEr
Flujo de datos utilizando nodos
Conexión con otras aplicaciones
Ampliación de nodos
Knime
Índice
Introducción
Preprocesado
Modelos descriptivos
Modelos predictivos
Validación
Datos
La parte más importante de la minería de datos, son
precisamente, los datos
Además de su obtención, uno de los pasos más
importantes es el preprocesado
Diversas técnicas según la necesidad
Obtención de datos en Knime
Representación de datos en Knime
Missing values
Es posible que los métodos a utilizar no traten bien
los campos con valores faltantes (missing values)
Hay que detectarlos y tratarlos
Ignorar, eliminar columna, filtrar fila, reemplazar el
valor, etc.
Missing values en Knime
Discretización
Consiste en la conversión de un valor numérico en
un valor nominal ordenado que representa un
intervalo
En ciertas técnicas de clasificación es necesario que
todos los datos sean discretos
Discretización en Knime
Numerización
Es el proceso inverso a la discretización
Pasar valores nominales a numéricos
Es menos común
Hay dos tipos:
Numerización 1 a n
Numerización 1 a 1
Numerización en Knime
Índice
Introducción
Preprocesado
Modelos descriptivos
Modelos predictivos
Validación
Tareas descriptivas
Agrupamiento (clustering)
Correlaciones y factorizaciones
Reglas de asociación
Dependencias funcionales
Detección de valores e instancias anómalas
Tabla de métodos
Nom breDESCRIPTIVO
Agru p am ien to Reglas de as ociación Correlaciones / Facto riz aciones
Re des neu ronales X
Árbo les de decis ión ID3 , C4 .5 , C5 .0
Árbo les de decis ión CART
Otros árbo les de decis ión X X
Re des de Kohonen X
Regres ión lineal y logarítm ica X
Regres ión logís t ica X
Km eans X
Aprio ri X
Naive Bayes
Vecim os m ás p róxim os X
Anális is facto rial y de com p .p r incip ales
X
Twos tep , Cobweb X
Algoritm os genét icos y evo lu t ivos X X X
Máqu in as de vecto res s opo rte X
CN2 ru les (cobertu ra) X
Anális is d is cr im in a n te m u lt ivar ia n te
Clasificación no supervisada
Datos: parte de un conjunto de datos u objetos cada
uno caracterizado por varias variables
Se trata de obtener grupos de objetos
Clustering
Dados unos datos sin etiquetar, el objetivo es
encontrar grupos naturales de instancias
a) Particional b) Jerárquico
Tipos de clustering
Clustering particional
Partición de los objetos en grupos o clusters. Todos los objetos
pertenecen a alguno de los k clusters, los cuales son disjuntos.
Problema => elección de k
Clustering ascendente jerárquico
Crear un dendograma, es decir, crear un conjunto de agrupaciones
anidadas hasta construir un árbol jerárquico
K-medias
Método más utilizado de clustering particional
La idea es situar los prototipos o centros en el espacio, de forma
que los datos pertenecientes al mismo prototipo tengan
características similares
Los datos se asignan a cada centro según la menor distancia,
normalmente usando la distancia euclídea
Una vez introducidos todos los datos, se desplazan los prototipos
hasta el centro de masas de su nuevo conjunto, esto se repite
hasta que no se desplazan más.
K-medias en Knime
Jerárquico
Dependiendo de la manera de construir el árbol:
Aglomerativos: hojas -> raíz
Divisivos: raíz -> hojas
Dependiendo de cómo se calcule la distancia de enlace entre
grupos:
Enlace simple
Enlace completo
Enlace en la media
Clustering jerárquico en Knime
Índice
Introducción
Preprocesado
Modelos descriptivos
Modelos predictivos
Validación
Tareas predictivas
Clasificación
Clasificación suave
Estimación de probabilidad de clasificación
Categorización
Preferencia o priorización
Regresión
Tabla de métodos
Nom breDESCRIPTIVO
Clas ificación Regres ión
Redes neu ronales X X
Árboles de decis ión ID3 , C4 .5 , C5 .0 X
Árboles de decis ión CART X X
Otros árboles de decis ión X X
Redes de Kohonen
Regres ión lineal y logar ítm ica X
Regres ión logís t ica X
Km eans
Apr ior i
Naive Bayes X
Vecim os m ás p róxim os X X
Anális is factor ial y de com p . p r incipales
Twostep , Cobweb
Algor itm os genét icos y evolu t ivos X X
Máqu inas de vector es sopor te X X
CN2 ru les (cober tu r a) X
Anális is d iscr im inan te m u lt ivar ian te X
Clasificación supervisada
Datos: N objetos con n+1 variables (n predictoras + clase)
Inducir automaticamente un modelo clasificatorio
Paradigmas de clasificación supervisada
Arboles de clasificacion (Quinlan, 1986; Breiman y col. 1984)
Clasificadores k–NN (Covert y Hart, 1967; Dasarathy, 1991)
Regresion logística (Hosmer y Lemeshow, 1989)
Métodos Bayesianos (Mitchell, 1997)
Sistemas clasificadores (Holland, 1975)
Redes neuronales (McCulloch y Pitts, 1943)
Inducción de reglas (Clark y Nibblet, 1989; Cohen, 1995; Holte, 1993)
Máquinas de soporte vectorial (Cristianini y Shawe–Taylor, 2000)
Análisis discriminante (Fisher, 1936)
Árboles de clasificación
Método más facil de utilizar y de entender
Conjunto de condiciones organizadas en una
estructura jerárquica
Las opciones posibles a partir de una condición son
excluyentes
ID3, C4.5, C5.0, CART, etc.
Métodos bayesianos
Basados en la teoría de la probabilidad (teorema de
Bayes)
Naïve Bayes es el clasificador principal
Uso de redes bayesianas
Se usan en tareas descriptivas y predictivas
Clasificadores k-NN
Se asigna la clase mayoritaria entre los k vecinos
más proximos
Se utiliza una función distancia
Problema: Establecer un valor de k adecuado
Cuando se asigna la clase del ejemplo más próximo
solamente, es 1-NN
Clasificación en Knime
Índice
Introducción
Preprocesado
Modelos descriptivos
Modelos predictivos
Validación
Tipos de validación
Validación interna
Es en la que se aprende, clasifica y valida con los datos
de un mismo conjunto
Validación externa
Se aprende un modelo con un conjunto de datos, y se
valida con unos datos que no han sido empleados en el
aprendizaje
Hold-out
Separar los datos disponibles en dos subconjuntos de datos:
training set (para aprender un modelo) y test set (el resto de los
datos)
Se calcula la accuracy sobre el test set para estimar el error del
modelo obtenido con el training set
K-fold-Cross-Validation
Se particiona aleatoriamente en k subconjuntos el conjunto de datos
disponible.
Para cada uno de los subconjuntos obtenidos, se utilizará de test set para
evaluar el modelo obtenido con el resto de subconjuntos
Se realiza la media de las evaluaciones realizadas para obtener el
resultado final
Leave one out
Se deja una instancia de los datos como test set y se aprende
con el resto del conjunto
Este proceso se repite para cada instancia
Se obtiene el resultado final realizando la media de todas las
ejecuciones
0.632 Bootstrap Se divide en dos partes
Se aprende y se valida con el mismo conjunto de datos
N iteraciones de:
Se seleccionan con reemplazo el mismo número de instancias que se tengan del conjunto de
datos inicial
Se utiliza el conjunto de datos creado como training set y se evalua con el conjunto formado
por las instancias que no han sido seleccionadas en el paso anterior
Se obtiene la media de las N iteraciones
Resultado final: e = 0.632xEresubstitution
+ 0.368xEiteraciones
Validación en Knime
Bootstrap en Knime