otoño 2009. cada vez es más frecuente el almacén de información en bases de datos como en: ...

Otoño 2009

Cada vez es más frecuente el almacén de información en bases de datos como en:

Data Warehouse Empresas de Marketing Escuelas Gobierno

Esto dificulta la realización de análisis de aspectos relevantes.

Otoño 2009MC Beatriz Beltrán Martínez 2

La búsqueda tradicional de datos se realiza mediante análisis estadísticos.

A finales de los 80’s la estadística se amplió a técnicas como lógica difusa, razonamiento heurístico y redes neuronales.

Actualmente, las técnicas anteriores se aprovechan para generar conocimiento.


La Minería de Datos es la extracción automática de información predictiva escondida desde bases de datos.

La Minería de Datos estudia métodos y algoritmos que permiten la extracción automática de información sintetizada que permite caracterizar las relaciones escondidas.


En las aplicaciones de la Minería de Datos se hace sobre datos previamente recolectados.

Los datos no cambian mientras están siendo analizados.

Por lo que los datos generados son confiables y consistentes para éstos datos.


La Minería de Datos y las Bases de Datos comerciales están disponibles para resolver problemas de decisión de negocios.

La Minería de Datos es una tecnología que ayuda a enfocarse en la información más importante en los almacenes de datos.


Minería de Datos:

› No es una solución a negocios.

› Es sólo tecnología.› Encuentra las

“gemas pérdidas” en montañas de información.

Bases de Datos Comerciales:

› Involucra decisiones de información.

› Da decisiones de negocios.


Las Herramientas de la Minería de Datos:› Predicen tendencias futuras y

comportamientos.› Pueden responder a preguntas que

consumarían demasiado tiempo para resolverlas.

La automatización, provee herramientas típicas de soporte de decisión.


Las Herramientas obtienen de las bases de datos patrones escondidos.

Las Técnicas de la Minería de Datos pueden ser implementadas rápidamente en software y en las plataformas de hardware existente.

Las Herramientas de Minería de Datos pueden ser implementadas en plataformas cliente-servidor o computadoras de procesamiento paralelo.


Las Técnicas de la Minería de Datos son el resultado de un largo proceso de investigación y desarrollo de productos.

La Minería de Datos esta soportada por tres tecnologías que son lo suficientemente maduras:

Colección masiva de datos.Computadoras con

multiprocesamiento.Algoritmos de minería de datos.


En la siguiente tabla se muestra la evolución del tipo de consultas.


Evolución Preguntas de Negocios Tecnologías permitidas

Características

Colección de datos (Años 60)

Cuales fueron los ingresos en los últimos 5 años?

Computadoras, cintas y discos.

Liberación de datos estáticos retrospectiva.

Acceso a datos.(Años 80)

Que rebajas se tuvieron en Nueva Inglaterra en marzo?

Bases de datos relacionales y lenguajes de consulta estructurados (SQL)

Nivel de registro en liberación de datos dinámicos retrospectiva.

Data Warehouse y soporte a la toma de decisiones.(Años 90)

Que rebajas se tuvieron en Nueva Inglaterra en marzo? Repetir para Boston.

(Procesamiento analítico en línea, bases de datos multidimensionales y almacenes de datos.

Niveles múltiples en liberación de datos dinámicos retrospectiva.

Data Mining (1995)

Que es lo más probable que pase con las rebajas en Boston el próximo mes?

Algoritmos avanzados, computadoras con multiprocesador y bases de datos masivas.

Liberación de información proactiva prospectiva

El componente principal en la Tecnología de la Minería de Datos ha sido desarrollado en:

EstadísticaInteligencia ArtificialMáquinas de Aprendizaje

Actualmente, existe gran relevancia en:Ambientes de negocios Las descripciones básicas de las

arquitecturas de almacenes de datos.


Las técnicas para la Minería de Datos son:

Redes Neuronales Artificiales.Árboles de Decisión.Algoritmos Genéticos.Modelos Lineales.Vecino más Cercano.


La Minería de Datos ha surgido del potencial del análisis de grandes volúmenes de información.

Su fin es obtener resúmenes y conocimiento para la toma de decisiones.

Además se pretende construir experiencia a partir de millones de transacciones.


El conjunto de datos de donde la minería intenta extraer conocimiento se le llama conjunto de entrenamiento.

La meta de la Minería es obtener conocimiento válido no solo para la base de datos considerada sino para una muy similar.

El conocimiento puede ser probado con otro conjunto de entrenamiento.


Algunas de las aplicaciones de la Minería de Datos son:› Compañias Farmaceuticas.› Compañias de crédito.› Compañias de transporte.› Compañias de consumo.› Reacciones químicas.› Comercio, monitoreo.


Facilidad con que se puede caer en una falsa interpretación.

Es fácil equivocarse.

Tiempo y espacio.

Privacidad



BD Datos

Selección PreprocesadoSelección de

característicasExtracción de conocimiento Evaluación

Modeloclasificador

Conocimiento

Algoritmos de aprendizaje: Mediante una técnica de Minería de

Datos, se obtiene un modelo de conocimiento.

El modelo representa patrones de comportamiento observados en los valores de las variables o relaciones de asociación.

También pueden usarse técnicas para generar distintos modelos.


Los métodos no supervisados, descubren:patrones y tendencias en los datos actuales.

El descubrimiento de esa información sirve para llevar a cabo acciones y obtener un beneficio de ellas.



Data Mining

Verification Driven DM Discovery Driven DM

SQL SQL Generator Description Prediction

Query Tools

OLAP

Visualization

Clustering

Association

Secuential AssociationDistillation

Clasification StatisticalRegression

Decision Tree Rule Induction

Neural Network

Agrupamiento.› También se llama segmentación.› Identifica tipologías de grupos, donde se

guarda similitud.› Se requiere información sobre el colectivo

a segmentar.› La información corresponde a valores

concretos.› Se basan en herramientas de carácter

estadísticos, generación de reglas, redes neuronales,etc.


Métodos estadísticos.› Técnica tradicional en el tratamiento de

grandes volúmenes de datos.› Existen varios modelos:

ANOVA (Análisis de Varianza). Contrasta con variables continuas.

Ji cuadrado. Contrasta con la independencia de variables.

Componentes principales. Permite reducir el número de variables.


Métodos estadísticos.Análisis de clústers. Permite clasificar

poblaciones.Análisis de discrimante. Permite encontrar

reglas de clasificación de elementos en grupos.

Regresión lineal. Se identifica una variable dependiente de las independientes, con una relación lineal.

Regresión logística. Trabaja con variables discretas, se requiere que las variables sean lineales.


Árboles de decisión.› Herramientas analíticas empleadas para el

descubrimiento de reglas y relaciones.› Se construye partiendo el conjuntos de dos

(CART) o más (CHAID).› Cada subconjunto a su vez es particionado.› Se continua hasta no encontrar diferencias

significativas de influencia.


Reglas de asociación.› Derivan de un tipo de análisis que extrae

información por coincidencias.› Permite descubrir correlaciones o co-

ocurrencias en los sucesos de la base de datos.

› Se formaliza la obtención de reglas del tipo SI... ENTONCES.


Redes neuronales.› Son capaces de detectar y aprender

patrones y características de los datos.› Una vez adiestradas las redes pueden

hacer previsiones, clasificaciones y segmentación.

› Esto se realiza estructurando nivels o capas.

› Se tienen dos tipos de aprendizaje: supervisado y no supervisado.


Algorítmos genéticos.› Hacen uso de técnicas de reproducción

(mutación y cruce) para ser utilizadas para búsqueda y optimización.

› Se parte de una población inicial, y se altera optimizándola.

› Esta herramienta se usa en las primeras fases de la minería y después se aplica redes neuronales o regresión logística.


Lógica difusa.› Surge de la necesidad de modelar la

realidad de forma mas exacta, evitando el determinismo y exactitud.

› Permite el tratamiento probabilístico de categorización colectiva.

› Trata la existencia de barreras difusas o suaves entre grupos.


Series temporales.› Consisten en el estudio de una variable a

través del tiempo para que partiendo de ese conocimiento y con el supuesto de no cambios poder realizar predicciones.

› Se basan en ciclos, tendencias y estaciones.

› Se puede aplicar enfoques híbridos entre métodos anteriores, o con otro tipo de variables.


Redes bayesianas.› Son una alternativa para la minería.› Se tiene las ventajas:

Permiten aprender sobre relaciones de dependencia y causalidad.

Permiten combinar conocimiento de datos.Evitan el sobre-ajuste de datos.Permiten el manejo de bases de datos

incompletas.


Inducción de reglas.› Como información de entrada, se tiene un

conjunto de casos donde se ha asociado una clasificación o evaluación.

› Con tal información se obtiene un árbol de decisión, que soportan la evaluación o clasificación.

› En caso de que la entrada tenga ruido, esta técnica se puede habilitar con métodos estadísticos.


Sistemas basados en conocimiento y sistemas expertos.› Permiten la formalización de árboles y

reglas de decisión, extraídas del conocimiento de expertos.

› Poseen motores de inferencia, que gestionan las preguntas.

› De esta forma el proceso de decisión es eficiente y rápido.


Selección de técnicas adecuadas.El mínimo aceptable para elegir una

tecnología de MD y un producto depende de qué tanto el producto beneficia al negocio:Ingresos.Costos disminuidos.Rendimiento de inversiones.

Para desarrollar con éxito un negocio, el MD debe buscar algo más que patrones deseados.


Se tienen tres medidas claves, para una evaluación de las herramientas.Precisión: Se deben modelos precisos,

pero reconociendo pequeñas diferencias en las técnicas.

Explicación: Las herramientas deben explicar al usuario final de manera clara como funciona el modelo.

Integración: Las herramientas deben integrarse en el proceso real del negocio, flujos de datos e información de la empresa.


otoño 2009. cada vez es más frecuente el almacén de información en bases de datos como en: ...

Documents