Trabajo de Investigación

Tema: Minería de Datos

Arequipa - Perú

INTRODUCCIÓN

La minería de datos es una nueva tecnología de manejo y análisis de información que

aprovecha la capacidad existente hoy día de procesamiento, almacenamiento y

transmisión de datos a gran velocidad y bajo costo. Permite encontrar el conocimiento

contenido en las inmensas montañas de información para luego tomar decisiones

mejor fundamentadas para el futuro de una organización.

La minería de datos aparece como una de las nuevas tecnologías de manejo,

ordenamiento y análisis de los datos, que nos permite encontrar el conocimiento

soterrado en las entrañas de las montañas de números, de que se dispone en la

actualidad generado por; el aumento en la capacidad en las maquinas procesadoras

de datos, la existencia de dispositivos con gran capacidad de almacenamiento de

datos a bajo costo, la existencia de sistemas de transmisión de información a grandes

velocidades y con mayor confiabilidad.

MINERÍA DE DATOS: ¿QUÉ ES?

Es el conjunto de técnicas y tecnologías que permiten explorar grandes bases de

datos, de manera automática o semiautomática, con el objetivo de encontrar patrones

repetitivos, tendencias o reglas que expliquen el comportamiento de los datos en un

determinado contexto. (Etapa de análisis de "Knowledge Discovery in Databases" o

KDD)

Básicamente, el datamining surge para intentar ayudar a comprender el contenido de

un repositorio de datos. Con este fin, hace uso de prácticas estadísticas y, en algunos

casos, de algoritmos de búsqueda próximos a la Inteligencia Artificial y a las redes

neuronales.

De forma general, los datos son la materia prima bruta. En el momento que el usuario

les atribuye algún significado especial pasan a convertirse en información. Cuando los

especialistas elaboran o encuentran un modelo, haciendo que la interpretación que

surge entre la información y ese modelo represente un valor agregado, entonces nos

referimos al conocimiento.

¿Qué significa Knowledge Discovery in Databases (KDD)?

Descubrimiento de conocimiento en bases de datos (KDD) es el proceso de descubrir conocimiento útil a partir de una colección de datos.

¿PARA QUÉ SIRVE?

Es una herramienta que sirve para la extracción de datos y su análisis mediante

técnicas estadísticas de grandes bases de datos. Una minería de datos explora y

extrae datos ocultos, es una herramienta para conocer más los clientes y la

competencia, esta extracción del conocimiento se da gracias a las bases de datos.

La minería de datos sirve para prospectar clientes, para saber quiénes son los mejores

candidatos para un programa o un producto en especial, es mejor lanzar un producto

haciendo una estrategia de mercadeo con una base de datos prospectada.

PROCESO DE LA DATA MINING

Un proceso típico de minería de datos consta de los siguientes pasos generales:

1. Selección del conjunto de datos, tanto en lo que se refiere a las variables

objetivo (aquellas que se quiere predecir, calcular o inferir), como a las variables

independientes (las que sirven para hacer el cálculo o proceso), como posiblemente al

muestreo de los registros disponibles.

2. Análisis de las propiedades de los datos, en especial los histogramas,

diagramas de dispersión, presencia de valores atípicos y ausencia de datos (valores

nulos).

3. Transformación del conjunto de datos de entrada, se realizará de diversas

formas en función del análisis previo, con el objetivo de prepararlo para aplicar la

técnica de minería de datos que mejor se adapte a los datos y al problema, a este

paso también se le conoce como preprocesamiento de los datos.

4. Seleccionar y aplicar la técnica de minería de datos, se construye el modelo

predictivo, de clasificación o segmentación.

5. Extracción de conocimiento, mediante una técnica de minería de datos, se

obtiene un modelo de conocimiento, que representa patrones de comportamiento

observados en los valores de las variables del problema o relaciones de asociación

entre dichas variables. También pueden usarse varias técnicas a la vez para generar

distintos modelos, aunque generalmente cada técnica obliga a un preprocesado

diferente de los datos.

6. Interpretación y evaluación de datos, una vez obtenido el modelo, se debe

proceder a su validación comprobando que las conclusiones que arroja son válidas y

suficientemente satisfactorias. En el caso de haber obtenido varios modelos mediante

el uso de distintas técnicas, se deben comparar los modelos en busca de aquel que se

ajuste mejor al problema. Si ninguno de los modelos alcanza los resultados esperados,

debe alterarse alguno de los pasos anteriores para generar nuevos modelos.

FASES DE LA MINERÍA DE DATOS

Un proyecto de minería de datos tiene varias fases necesarias que son,

esencialmente:

• Comprensión del negocio y del problema que se quiere resolver.

• Determinación, obtención y limpieza de los datos necesarios.

• Creación de modelos matemáticos.

• Validación, comunicación, etc. de los resultados obtenidos.

• Integración, si procede, de los resultados en un sistema transaccional o similar.

La relación entre todas estas fases sólo es linear sobre el papel. En realidad, es

mucho más compleja y esconde toda una jerarquía de subfases. A través de la

experiencia acumulada en proyectos de minería de datos se han ido desarrollando

metodologías que permiten gestionar esta complejidad de una manera más o menos

uniforme.

TÉCNICAS DE MINERÍA DE DATOS

Las técnicas más usadas en minería de datos son:

Redes neuronales.- Son un paradigma de aprendizaje y procesamiento automático

inspirado en la forma en que funciona el sistema nervioso de los animales. Se trata de

un sistema de interconexión de neuronas en una red que colabora para producir un

estímulo de salida. Algunos ejemplos de red neuronal son:

• El Perceptrón.

• El Perceptrón multicapa.

• Los Mapas Autoorganizados, también conocidos como redes de Kohonen.

Regresión lineal.- Es la más utilizada para formar relaciones entre datos. Rápida y

eficaz pero insuficiente en espacios multidimensionales donde puedan relacionarse

más de 2 variables.

Árboles de decisión.- Es un modelo de predicción utilizado en el ámbito de la

inteligencia artificial, dada una base de datos se construyen estos diagramas de

construcciones lógicas, muy similares a los sistemas de predicción basados en reglas,

que sirven para representar y categorizar una serie de condiciones que suceden de

forma sucesiva, para la resolución de un problema. Ejemplos:

• Algoritmo ID3.

• Algoritmo C4.5.

Modelos estadísticos.- Es una expresión simbólica en forma de igualdad o ecuación

que se emplea en todos los diseños experimentales y en la regresión para indicar los

diferentes factores que modifican la variable de respuesta.

Agrupamiento o Clustering.- Es un procedimiento de agrupación de una serie de

vectores según criterios habitualmente de distancia; se tratará de disponer los vectores

de entrada de forma que estén más cercanos aquellos que tengan características

comunes. Ejemplos:

• Algoritmo K-means.

K -means es un método de agrupamiento, que tiene como objetivo la partición de un

conjunto n observaciones en k grupos en el que cada observación pertenece al grupo

más cercano a la media. Es un método utilizado en minería de datos.

• Algoritmo K-medoids.

El k algoritmo -medoids es una agrupación algoritmo relacionado con el k -means

algoritmo y el algoritmo medoidshift. Tanto los k -means y k algoritmos -medoids son

partitional (rompiendo el conjunto de datos en grupos) y tanto intento de minimizar la

distancia entre los puntos marcados para estar en un grupo y un punto designado

como centro de esa agrupación.

¿DÓNDE SE UTILIZA LA MINERÍA DE DATOS?

Sistemas parcialmente desconocidos: Si el modelo del sistema que produce los

datos es bien conocido, entonces no necesitamos de la minería de datos ya que todas

las variables son de alguna manera predecibles.

Enorme cantidad de datos: Al contar con mucha información en algunas bases de

datos es importante para una empresa encontrar la forma de analizar “montañas” de

información (lo que para un humano sería imposible) y que ello le produzca algún tipo

de beneficio.

Potente hardware y software: Muchas de las herramientas presentes en la minería

de datos están basadas en el uso intensivo de la computación, en consecuencia, un

equipo conveniente y un software eficiente, con el cual cuente una compañía,

aumentará el desempeño del proceso de buscar y analizar información, el cual a veces

debe vérselas con producciones de datos del orden de los Gbytes/hora (

repetimos,algo humanamente imposible).

Objetivos Principales der la Minería de Datos

Descripción: El principal producto del proceso de la minería de datos es el

descubrimiento de reglas. Estas mostrarán nuevas relaciones entre las variables o

excepciones de acuerdo a la empresa en que se utilice este proceso.

Predicción (Forecasting): Una vez descubiertas reglas importantes, estas pueden

ser utilizadas para estimar algunas variables de salida. Puede ser en el caso de

secuencias en el tiempo, o bien en la identificación e interrupción a tiempo, de una

futura mala experiencia de crédito.

METODOLOGÍA DE LA MINERÍA DE DATOS

Un trabajo de minería de datos podríamos decir que típicamente consta de las

siguientes partes:

1. Entendimiento del problema: se trata de hablar con el cliente, conocer sus

necesidades, conocer su negocio o actividad, conocer qué datos relevantes tiene

disponibles y cuáles serían necesarios pero no están disponibles, etc.

2. Entendimiento de los datos: hay que saber qué significan los datos, si son

continuos o discretos, qué tipo de valores toman, qué utilidad futura pueden tener y

saber si están bien capturados o no.

3. Preparación de datos: se trata de reflexionar sobre cómo guardar los datos.

Típicamente hablaremos de tablas con filas y columnas, pero hay que ver cómo se

organizan las tablas, cómo se interrelacionan entre ellas, etc. En definitiva organizar

los datos para poder sacarles partido.

4. Modelamiento: una vez se tienen los datos organizados hay que definir los

algoritmos que se van a utilizar para tratar los datos. Una vez tratados, los datos nos

devolverán información útil.

5. Evaluación: los resultados obtenidos deben de ser sometidos a comprobación,

verificar que están libres de errores, ratificar que son útiles para los objetivos

perseguidos, etc.

6. Despliegue funcional-comercial: una vez se tiene automatizada la captura y

tratamiento de datos para obtener unos resultados, se desarrollan herramientas,

normalmente en forma de aplicaciones informáticas que permiten generar alertas,

informes, estadísticas, etc. que tienen una utilidad directa para la toma de decisiones y

sistema de información del cliente.

EJEMPLO

DATA MINING EN LA POLICIA

EEUU emplea Data Mining para detectar sospechosos

Via Nestic, llego a People For The American Way (PFAW), una organización que

denuncia los planes del Gobierno estadounidense de utilizar herramientas de data

mining para establecer perfiles de posibles sospechosos de terrorismo:

“Como parte de su plan para realizar un seguimiento de posibles terroristas, el

gobierno de Bush está preparando para recoger grandes cantidades de información

sobre todos en los Estados Unidos.

En concreto, el Gobierno ha previsto nuevas y enormes datos del gobierno programas

de minería para recopilar y analizar los registros de viajes, transacciones bancarias,

teléfono llamadas, correo electrónico, las compras con tarjeta de crédito, y

prácticamente cualquier otra cosa que deja un rastro.

Utilizando criterios secretas, estos datos se extrae de los programas de ordenador

para producir listas de vigilancia y perfiles y marcar ciertos individuos como

sospechosos”.

"Analizando la información con una serie de herramientas estadísticas se puede

conocer tu orientación sexual, tus aspiraciones políticas o profesionales, tu vida

sentimental… incluso mejor que accediendo a los contenidos de las comunicaciones."

CONCLUSIONES

Data mining nos permite analizar factores de influencia en determinados procesos,

predecir o estimar variables o comportamientos futuros, segmentar o agrupar ítems

similares, además de obtener secuencias de eventos que provocan comportamientos

específicos.

La llegada del Data Mining se considera como la última etapa de la introducción de

métodos cuantitativos, científicos en el mundo del comercio, industria y negocios.

Desde ahora, todos los no-estadísticos -es decir el 99,5% de nosotros - pueden

construir modelos exactos de algunas de sus actividades, para estudiarlas mejor,

comprenderlas y mejorarlas.