Inteligencia de negocios

PROYECTO

MINERÍA DE DATOS SECUENCIALES

Guevara Diego - Jaramillo Marilyn – Landacay Katty

Objetivos: ▫ Buscar información teórica de lo que abarca, describe y

caracteriza a una Minería de datos secuenciales

▫ Ampliar nuestros conocimientos, mediante el entendimiento de toda esta información encontrada acerca de nuestro tema

▫ A partir de la presente investigación poder entender los pro y contra que nos ofrece este tipo de minería de datos

▫ Tener claro todos los conceptos teóricos básicos para poder entender las aplicaciones de los patrones secuenciales.

Resumen:

• En este trabajo se presenta una breve introducción de lo que es la minería de datos en forma general, y luego enfocándonos a la minería de datos secuenciales. La finalidad es tener un conocimiento claro de los conceptos que abarca este tipo de técnica de minería de datos como es la de patrones secuenciales, mismos que utilizaremos en las siguientes fases de nuestro proyecto.

 • Iniciamos la presente fase, con una descripción de lo que es

minería de datos, tipos y técnicas, luego nos enfocamos en minería de datos secuenciales, concepto, características, problemas que nos permite resolver, así como las ventajas y desventajas que nos ofrece.

Introducción:

• La minería de datos puede definirse como la extracción no trivial de información implícita, previamente desconocida y potencialmente útil a partir de los datos, es decir es el “descubrimiento eficiente de información valiosa, no-obvia de una gran colección de datos”. Se la considera como una técnica de descubrimiento de conocimiento que, a su vez, hace uso de diferentes tecnologías para conseguirlo como: agrupamiento automático, predicción, clasificación, asociación de atributos, detección de patrones secuenciales, etc.

Introducción:

▫ En el siguiente gráfico podemos observar la clasificación de Minería de Datos (DM) en dos grupos: tareas descriptivas y predictivas, nosotros nos enfocamos en las descriptivas específicamente en el grupo de Asociación (color verde en el grafico), y dentro de este en Patrones secuenciales

Introducción:

▫ Las tareas o métodos descriptivos o también llamados no supervisados son utilizados cuando una aplicación no es lo suficientemente madura y no tiene el potencial necesario para una solución predictiva, descubriendo patrones y tendencias en los datos actuales (no utilizan datos históricos), que permitan explorar las propiedades de los datos examinados, no para predecir nuevos datos, sino para llevar acciones y obtener beneficio (científico o de negocio) de ellas

▫ El descubrimiento de patrones secuenciales es muy utilizado en la industria ventas al por menor, y también en el dominio de la medicina. El resultado de esta técnica se presenta como una lista de transacciones.

▫ Los algoritmos de patrones secuenciales son muy útiles a la hora de descubrir la tendencia de los datos como: El número de revistas deportivas vendidas a clientes con N° de crédito

Desarrollo:

• Definición de Minería de Datos secuenciales.-

▫ Es la extracción de patrones frecuentes relacionados con el tiempo u otro tipo de secuencia

▫ Es una clase especial de dependencia en las que el orden de acontecimientos es considerado. En un análisis de cesta de compras, las asociaciones describen dependencias entre artículos en un tiempo dado. El patrón secuencial describe el modelo que hace compras de un cliente particular o un grupo de clientes relacionando las distintas transacciones efectuadas por el o ellos a lo largo del tiempo.

▫ Son eventos que se enlazan con el paso del tiempo, por ejemplo si se compra una casa, 65% de las veces se comprará un refrigerador dentro de las siguientes dos semanas.

Patrones Secuenciales:

• Se trata de buscar asociaciones de la forma: "si sucede el evento X en el instante de tiempo t entonces sucederá el evento Y en el instante t+n“.

• El objetivo de la tarea es poder describir de forma concisa relaciones temporales que existen entre los valores de los atributos del conjunto de ejemplos.

• Utiliza reglas de asociación secuenciales.- reglas que expresan patrones de comportamiento secuencial, es decir, que se dan en instantes distintos en el tiempo.

Características:

▫ El orden importa▫ Objetivo: encontrar patrones en secuencia ▫ Una secuencia es una lista ordenada de itemsets, donde

cada itemset es un elemento de la secuencia ▫ El tamaño de una secuencia es su cantidad de elementos

(itemsets) ▫ La longitud de una secuencia es su cantidad de items ▫ El soporte de una secuencia es el porcentaje de

secuencias que la contienen en un conjunto de secuencias S

▫ Las secuencias frecuentes (o patrones secuenciales) son las subsecuencias de una secuencia que tienen un soporte mínimo

Tipos de valores que usa:

▫ El número de revistas deportivas vendidas a clientes en un supermercado

▫ Transacciones comerciales▫ Recorrido de un cliente por las secciones de un supermercado▫ Marketing focalizado▫ Ventas de artículos▫ propensión de uso de productos▫ segmentación por comportamiento de compra▫ propensión a la compra▫ Registros sobre accesos a páginas web▫ Orden de compra de productos▫ Rutas de ubicación de archivos▫ Adn, proteínas▫ Registros transaccionales: transacciones comerciales, operaciones

realizadas con una tarjeta de crédito▫ Relacionales: ej: detectar patrones de un tipo, estructura de servicios

que ofrece un banco, o en un supermercado

Entornos: ▫ Entorno en los que se desarrolla:

Áreas: Medicina Biología, bioingeniería Web Análisis de mercado, distribución y en el comercio Aplicaciones financieras y banca Aplicaciones de seguro y salud privada Deportes

Tipo de base de datos: Base de datos temporales Base de datos documentales Base de datos relacionales

Entornos: Entorno en los que no se desarrolla:

▫ Áreas: En entornos predictivos En entornos de naturaleza variable. La variabilidad viene determinada

por la inexistencia de un orden predeterminado de aparición de los hechos o eventos.

La recuperación de la información.- una tarea típica en encontrar documentos a partir de palabras claves

Política: diseño de campañas políticas, estudio de tendencias políticas Policiales: identificación de posibles terroristas en un aeropuerto Procesos industriales: detección de piezas con trabas. Modelos de

calidad

▫ Tipo de base de datos: Base de datos espaciales Base de datos multimedia

Tipos de problemas que ayuda a solucionar:

• Algunas de las técnicas de minería de datos existentes para datos secuenciales son: clasificación con datos secuenciales, agrupamiento de patrones secuenciales y reglas de asociación con datos secuenciales

 • Algunos problemas que se resuelven con estas técnicas de la

minería de datos secuenciales son:▫ Clasificación con datos secuenciales ▫ Agrupamiento de patrones secuenciales▫ Reglas de asociación con datos secuenciales

Clasificación con datos secuenciales:

• Donde datos contiguos presentan algún tipo de relación

• Aplicaciones:▫ Reconocimiento de caracteres escritos.-

El reconocimiento de caracteres tiene como objeto la asociación de un caracter a la identidad correspondiente de entre un conjunto de símbolos que componen el alfabeto considerado. Dicho mecanismo se puede dar en varias situaciones, desde reconocimiento de letras o números aislados hasta análisis o comprensión de documentos, donde el procedimiento estudiado no es más que una pequeña pieza de un rompezabezas.

Ayuda a: automatizar la lectura de direcciones postales, cheques bancarios, formularios de impuestos, formularios de censo y lectores de texto para discapacitados, entre otros.

▫ Reconocimiento de correo spam de un correo electrónico

Agrupamiento de patrones secuenciales: • Se define como la tarea de separar en grupos a los datos,

de manera que los miembros de un mismo grupo sean muy similares entre sí, y al mismo tiempo sean diferentes a los objetivos de otros grupos.

• Aplicaciones:▫ En este caso se busca los grupos de secuencias con alta

conexión Agrupar secuencias transaccionales comerciales puede

ayudar a identificar diferentes grupos de clientes de acuerdo a sus compras

Biología, bioingeniería: Encontrar grupos con secuencias de proteínas similares puede

ayudar a identificar secuencias de idéntica funcionalidad Análisis de secuencias de genes Predecir si un compuesto químico causa cáncer Clasificación de cuerpos celestes

Agrupamiento de patrones secuenciales

• Encontrar agrupamientos de tal forma que los objetos de un grupo sean similares entre sí y diferentes de los objetos de otros grupos

• 1. Los patrones se procesan por lotes de longitud M

• 2. Durante el procesamiento de un lote los patrones se asignan al agrupamiento más cercano y se recalcula el centro.

• 3. Finalizado un lote se evalúa la partición con el objetivo de reducir el número de agrupamientos:▫ a) Se mezclan parejas de agrupamientos que no disten más de

unumbral C▫ b) Se eliminan los que tengan pocos patrones▫ c) Si no son aplicables ninguna de las anteriores, se aplica una

mezcla forzosa hasta conseguir K agrupamientos

Se procesan los primeros 15 patrones únicamente

• Ventajas:• Flexibilidad: Su comportamiento puede ajustarse gracias

a su amplio conjunto de parámetros.• Eficiencia: Cálculos muy sencillos, basta con recorrer

una vez el conjunto de datos.

• Desventajas:• Utilización: Los valores adecuados para los parámetros

son difíciles de establecer a priori, por lo que se suele emplear un proceso de prueba y error.

• Sesgado por los primeros patrones: Los resultados obtenidos dependen del orden de presentación de los patrones.

Características principales

Funcionamiento

El parámetro K se considera un valor máximo (puede devolver un número de agrupamientos menor).

Partiendo de un único agrupamiento, se van creando nuevos agrupamientos conforme se procesan nuevos patrones secuencialmente (algoritmo incremental).

Los patrones se procesan secuencialmente por lotes. Al final de cada lote, se evalúan los agrupamientos obtenidos y se reduce su número.

Creación de agrupamientos

Se selecciona arbitrariamente el centro del primer agrupamiento.

Posteriormente, se procesan secuencialmente los demás patrones: Se calcula la distancia del patrón actual al agrupamiento

más cercano (a su centroide). Si ésta es menor o igual a R se asigna el patrón a su

agrupamiento más cercano. En caso contrario, se crea un nuevo agrupamiento con el

patrón actual.

Mezcla de agrupamientosCada M patrones, se mezclan agrupamientos:

1. Mezcla por cercanía (se mezclan dos agrupamientos si la distancia entre ellos es menor que C).

2. Mezcla por tamaño: Si, tras la mezcla por cercanía, quedan más agrupamientos que los deseados por el usuario (K), se mezclan los agrupamientos de menos del T% de M miembros con sus clusters más cercanos.

3. Mezcla forzada: Si aún quedan demasiados agrupamientos, se mezclan los agrupamientos más cercanos hasta obtener el número deseado K.

El proceso de mezcla nos asegura que al final obtenemos el número deseado de agrupamientos y no más (como suele suceder en el método adaptativo o en el algoritmo de Batchelor y Wilkins).

Parámetros K: Número deseado de agrupamientos.

R: Umbral de distancia para crear agrupamientos.C: Umbral de distancia para mezclar agrupamientos.M: Longitud del “lote” (patrones procesados entre procesos de mezcla)T : Umbral para la eliminación de agrupamientos (% sobre M)

Reglas de asociación con datos secuenciales: • Expresan patrones de comportamiento secuenciales, es decir que se dan

en instantes distintos (pero cercanos) en el tiempo.

• Aplicaciones:▫ Si se compra una casa, 65% de las veces se comprará un refrigerador

dentro de las siguientes dos semanas. (distribución y marketing)

▫ Si un cliente compra un reproductor de DVD, es probable que el mes siguiente compre varias películas en formato DVD.(distribución y marketing)

▫ Dentro de la minería Web: El 40% de las personas que consultan la página web de información sobre la

cartelera, visitan en menos de dos días la página web de compras de entradas de cine.(análisis de navegación sobre páginas web)

Aplicaciones:

• Dentro de la minería Web: (Ejemplo Web)• Personalización del servicio a nuevos usuarios (mediante

ofertas cruzadas de productos, enlaces dinámicos a otras áreas del servidor que puedan ser de su interés, etc.).

• Establecimiento de nuevas tarifas de publicidad en nuestro servidor (las páginas más visitadas por determinado tipo de clientes pueden tener un precio particularizado).

• Reorganización de la estructura de nuestras páginas en el servidor.

• Telecomunicaciones:• Establecimiento de patrones de llamadas

• Otra áreas:• Correo electrónico y agendas personales, gestión de avisos• Detección de fraude en el comercio electrónico

Métodos Representativos• AprioriAll• AprioriSome• DynamicSome (DynamicS)

AprioriAll• Tiene como objetivo hallar las secuencias de conjuntos de items

que cumplan una mínima cobertura.

• Se divide en 5 fases:▫ Fase de ordenamiento

▫ Fase de fijación de límites para conjuntos: Se determinan grandes conjuntos de productos y se fijan sus límites.

▫ Fase de transformación: Se determina cuales de los conjuntos de secuencias, están contenidos en una secuencia de cliente.

▫ Fase de secuencias: Se encuentran las secuencias deseadas; se repite proceso. En cada pasada se analizan los conjuntos determinados.

▫ Fase de determinación de Máximos.

Ventajas: • Para llegar a estos niveles de análisis la minería de datos utiliza a gran

escala la ciencia estadística para describir los patrones de compra, agrupar clientes, formar segmentos, clasificar nuevos clientes, etc; lo que nos permite tener un mayor grado de certeza de que nuestro estudio y además a poder tomar mejores decisiones.

• Como uno de los primeros pasos a la hora de diseñar un algoritmo de agrupamiento de secuencias es establecer una media de similitud entre secuencias, esto permite que haya una mayor aproximación en el alineamiento óptimo entre dos secuencias para poder compararlas

 • La utilización de patrones de secuencia, permite ahorrar grandes

cantidades de tiempo en la construcción del conocimiento.

Desventajas: • El problema de descubrir patrones secuenciales se centra en

localizar la presencia de un conjunto de elementos seguida por otro elemento en un conjunto de transacciones o visitas ordenadas en el tiempo, esto causa un poco de lentitud en la aplicación de esta técnica.

• Problema de eficiencia, ya que la estimación de la similitud entre secuencias es más costosa que medir la similitud entre datos. Este problema restringe en la práctica la utilización de estos métodos de agrupamiento sólo a problemas de tamaño limitado

Aplicación de un método para obtener patrones secuenciales:

▫ Explicación teórica del ejemplo▫ Explicación de la herramienta (WEKA, Algoritmo AprioriAll)▫ Explicación de los resultados

Preparación de Datosarchivo con las clases, atributos, valores, datos y las relaciones

Relaciones 

Resultados

Las relaciones-patrones que se encontró en nuestro ejemplo son las siguientes:

• La tripulación era de edad adulta y en la mayoría de sexo masculino. Lo que nos indica que no había mucho espacio para las mujeres en cuanto a preparación para este tipo de actividades.

• De las personas que no sobrevivieron la mayoría era de dad adulta y del sexo masculino, lo que nos dice que eran más los hombres los que tenían acceso a este tipo de transporte.

• Algo relevante que podemos decir es que el numero de niños que habían en el barco era muy bajo al igual que el de mujeres.

• El número de sobrevivientes es menor al de los que murieron, por lo que vemos las medidas de contingencia no pudieron hacer nada frente al accidente.

Conclusiones basándonos en el ejemplo 

A qué nos ayudan estas conclusiones?

• En el campo del marketing, enfocar al sector masculino las propagandas relacionadas a viajes en barco.

• De educación, ofrecer carreras que tengan que ver con la navegación.

• Realizar planes para poder actuar en caso de accidentes.

• Dar una mayor preparación a la tripulación en cuanto a accidentes se refiere.

• El análisis sobre la toma de decisiones apoyados en la descripción de hechos debe ser en mayor magnitud, es decir tratar casos general y no tan solo uno en particular.

• La panorámica sería muy pobre en términos reales a nivel de una población y demasiado exagerada en términos de que es particular.

A qué nos ayudan estas conclusiones?

Conclusiones Finales del Tema 

• Minería de datos secuenciales, es un tema que actualmente se esta dando, es usado más dentro de la Minera Web (Web Mining)

• Técnicas como el agrupamiento automático de clientes, la clasificación de los usuarios y la personalización de servicios, permiten tomar una posición en este mercado que nos diferencie de nuestros competidores.

• Dependiendo de los objetivos buscados se puede emplear el método dentro de la minería de datos secuenciales.