1 manejo de colecciones de datos cientificos en la web geóg. zulay méndez (zulay@ula.ve) ing....

1

MANEJO DE COLECCIONES DE MANEJO DE COLECCIONES DE DATOS CIENTIFICOS EN LA WEBDATOS CIENTIFICOS EN LA WEB

Geóg. Zulay Méndez (zulay@ula.ve) Ing. Rodrigo Torréns (torrens@ula .ve)

Santa Bárbara del Zulia, julio de 2007

2

Los datos que yo necesito existen?

Dónde están? Cómo los

obtengo?

Ubicar Accesar Recuperar Compartir?

…datos

Los datos producto de una Los datos producto de una investigación científicainvestigación científica

3

Degradación de los datos a través del Degradación de los datos a través del tiempotiempo

Momento de publicación

Detalles específicos acerca de la recolección de los datos se pierden al pasar el tiempo

Retiro o cambio de carrera del científico recolector

Accidente puede destruir datos y documentación

Muerte del investigador y subsecuente pérdida de registros restantes

Tiempo

Tomado de: [Michener, 1997]

4

Organizados y de fácil acceso Consistentes Bien documentados Facilidad de comprensión por

parte de usuarios

Uso secundario y a largo plazo de los datos Uso secundario y a largo plazo de los datos científicos científicos

Si no se documentan los datos, pierden su valor y hay que desecharlos.

Depende de que sean:Depende de que sean:

5

Ubicar, accesar, recuperar y compartir la información

Garantizar permanencia de los datos en el tiempo

Uso secundario y a largo plazo de los datos Uso secundario y a largo plazo de los datos científicos científicos

Herramientas organizativas y tecnológicas

Formación de Redes de colaboración entre científicos y entre usuarios de información

Tecnologías de Información y Comunicaciones

Uso de metadatos y estándares de intercambio de información

6

MetadatosMetadatos

Qué son?

" Datos sobre los datos " .

"Nivel superior de la información, o instrucciones que describen el contenido, contexto, calidad, estructura, y accesibilidad de una colección de datos específica" (J.K. Michener 1997).

7

Aspectos fundamentales que describen los metadatos Aspectos fundamentales que describen los metadatos

Identificación: Cuál es el nombre de la colección de datos (dataset)? Quien creó la colección?

Qué temas se incluyen, cuan actualizada está la información? Hay restricciones para acceder o usar los datos?.

Calidad de los datos: Existe información que permite a los usuarios decidir si los datos se adaptan a sus propósitos? Los datos están completos? ¿Son consistentes?

Información sobre entidades y atributos: Qué información (parámetros, variables, columnas de datos) está incluida? Cómo está codificada la información?

Distribución: Quien posee los datos? En qué formatos están disponibles? Están disponibles en Internet? Cómo puedo contactar al dueño de los datos? Cuanto cuestan los datos?.

8

Facilitan el procesamiento, análisis y modelado de los datos. Facilitan la determinación de la conveniencia de los datos para cumplir con un

objetivo específico. Permiten organizar y mantener el acervo del conjunto de datos de una organización. Permiten ayudar a encontrar y utilizar los datos que apoyen las investigaciones y la

toma de decisiones. En consecuencia, la utilización y manejo de metadatos respaldado por estándares

nacionales, guías y políticas, beneficia el crecimiento económico y los intereses sociales y ambientales de una nación.

Importancia de los MetadatosImportancia de los Metadatos

9

Estándares de MetadatosEstándares de MetadatosQué son?Qué son?

Un sistema común de terminología y de definiciones para documentar datos.

Para qué estándares?Para qué estándares?

Los estándares permiten la localización rápida de cierto elemento. Si se utiliza un estándar, encontrar la información específica en un catálogo de metadatos será mucho más fácil que si no se utiliza ningún estándar.

10

Estándares de MetadatosEstándares de MetadatosQué son?Qué son?

Un sistema común de terminología y de definiciones para documentar datos.

Para qué estándares?Para qué estándares?

Los estándares permiten la localización rápida de cierto elemento. Si se utiliza un estándar, encontrar la información específica en un catálogo de metadatos será mucho más fácil que si no se utiliza ningún estándar.

11

Estándares para metadatos geoespaciales, Estándares para metadatos geoespaciales, biológicos y ambientales más usadosbiológicos y ambientales más usados

Los FGDC-CSDGM. Content Standard for Digital Geospatial Metadata. Federal Geographic Data Committe (1994): Datos geoespaciales. [http://www.fgdc.gov]

FGDC-NBII. Perfil Biológico de FGDC. Biología y ciencias naturales. [http://www.nbii.gov]. Global Change Master Directory Interchange Format – DIF. (1993) Ciencias de la Tierra.

[http://gcmd.gsfc.nasa.gov] Darwin Core (DwC). Colecciones de Historia Natural. Descriptores para Metadatos no-geoespaciales. NCEAS-LTER (1997) Datos ecológicos.

Base del estándar EML [http://knb.ecoinformatics.org/software/eml/eml-2.0.1/index.html/].

12

Ejemplos de metadatos y de comunidades que usan Ejemplos de metadatos y de comunidades que usan metadatos ajustados a estándaresmetadatos ajustados a estándares

Publisher's Cataloging In Publication Data (Prepared by Quality Books, Inc.)

Bell, Patricia J.

Roughing it elegantly: a practical guide to canoe camping / by Patricia J. Bell ;illustrated by Linda Oliver Isakson. -2nd ed. p. cm.Includes bibliographical references and index.LCCN: 93-74305ISBN 0-9618227-0-81. Camping-United States2. Camping-United States-Equipment and supplies3. Canoes and canoeing-United States I. Title

GV790.B45 1994  

796.54'0973 QBI96-86

Ficha Ficha bibliohemerográficabibliohemerográfica

13

Ejemplos de metadatos y de comunidades que usan Ejemplos de metadatos y de comunidades que usan metadatos ajustados a estándaresmetadatos ajustados a estándares

Muestra datos NBIIhttp://www.nbii.gov/

Documentación de datos geoespaciales (estándar FGDC) http://cndg.clearinghouse.gub.uy

14

Ejemplos de metadatos y de comunidades que usan metadatos Ejemplos de metadatos y de comunidades que usan metadatos ajustados a estándaresajustados a estándares

Documentación de datos geoespaciales (Interfaz a Clearinghouse FGDC y GCMD Data Documenter)

15

Roles en el manejo de los datos y Roles en el manejo de los datos y metadatosmetadatos

PerfilPerfilRol Rol

• Científico

• Recolector1. Proveedor de Datos

•Científicos (el que recolecto los datos u otro)

•Estudiantes•Sistemas de información•Gobierno, etc.

4. Usuarios

• Encargado de servicios de información asociados a colecciones de datos

3. Gerentes centrales de información

(Proveedores de servicios)

• Científico

• Técnico sistemas información• Encargado de colecciones de datos

2. Gerentes locales de información

16

Roles en el manejo de los datos y Roles en el manejo de los datos y metadatosmetadatos

Gerente de información central

Objetos de información / colecciones de datos

Oficina central de manejo de información de la red

Gerente de información

local #1

Científicos o proveedores de datos sitio #1

Gerente de información local #2

Científico o proveedor de datos sitio #2

......

17

Roles en el manejo de los datos y Roles en el manejo de los datos y metadatosmetadatos

Genera, crea o captura el recurso de información (datos). Por lo general, es un científico que trabaja en un proyecto de investigación que necesita capturar y analizar datos. También puede ser personal técnico que está encargado de los instrumentos de captura de los datos. Son las personas más adecuadas para documentar los datos.

1. Proveedor de datos:1. Proveedor de datos:

18

Roles en el manejo de los datos y Roles en el manejo de los datos y metadatosmetadatos

Organiza todos los datos recolectados antes de su publicación o distribución. También ejerce una función principal en la documentación de los datos (generar los metadatos).

2. Gerente local de información:2. Gerente local de información:

19

Roles en el manejo de los datos y Roles en el manejo de los datos y metadatosmetadatos

Ofrece a los usuarios servicios relacionados con el uso de los recursos de información o metadatos. Cuando se trata de distribución de información en formato digital, el proveedor de servicios realiza variadas tareas que tienen que ver con ayudar al usuario a identificar los contenidos y fuentes de información relevantes, servicios de seguridad y autenticación de los datos, servicios de catalogación, etc.

3. Gerente central de información3. Gerente central de información

20

Roles en el manejo de los datos y Roles en el manejo de los datos y metadatosmetadatos

Usa (o re-usa) los metadatos y datos. Puede ser el mismo científico que los capturó, o puede ser un usuario secundario que necesita que los datos estén bien documentados (posean metadatos) para que pueda ubicar los datos y luego usarlos en su investigación.

4. Usuario4. Usuario

21

Manejo de colecciones de datos científicos: Algunas experiencias locales

Red de Estaciones Ecológicas de Venezuela (ECORED)

Red de Estaciones Bioclimáticas del Estado Mérida (redbc)

22

Justificación Justificación

• Dificultades que existen en Venezuela para ubicar y usar colecciones de datos bio-climáticos.

• Interés de organizaciones, instituciones y personas que tienen datos históricos los cuales desean preservar o compartir para su uso a largo plazo.

• Necesidad de implementar un sistema de información que permita realizar análisis y descubrir correlaciones entre diferentes conjuntos de información, que ayuden a la toma de decisiones e investigación científica.

Red de Estaciones Bio-climáticas del Estado Red de Estaciones Bio-climáticas del Estado Mérida Mérida ((redredbcbc))

23

• Manejo, identificación, y preservación en el tiempo, de recursos de información relacionados con la biología y el clima usando estándares internacionales de formato y contenidos.

• Generación de un Sistema de Información a través del Web que permita el fácil acceso de investigadores, productores y organizaciones que necesiten la información producida por la red de estaciones.

Objetivos principalesObjetivos principales

Red de Estaciones Bio-climáticas del Estado Red de Estaciones Bio-climáticas del Estado Mérida Mérida ((redredbcbc))

24

• Mantener en el tiempo las colecciones de datos y desarrollar mecanismos de almacenamiento, catalogación y distribución de la información generada.

• Realizar permanentemente labores de identificación de nuevas fuentes de información que puedan incorporarse a las colecciones existentes.

• Concientizar a los científicos sobre la importancia de la preservación de los datos generados en sus investigaciones.

Objetivos secundariosObjetivos secundarios

Red de Estaciones Bio-climáticas del Estado Red de Estaciones Bio-climáticas del Estado Mérida Mérida ((redredbcbc))

25

Funcionamiento de laFuncionamiento de la redredbcbc Sistema de Información Bioclimático basado en el web Sistema de Información Bioclimático basado en el web

• Ubicación de características de colecciones de datos.

• Utilización de tecnologías Internet-Web, que aceleran y facilitan grandemente el proceso de captura, actualización y difusión de la información bio-climática, permitiendo varios niveles de acceso y recuperación de dicha información.

• Actualmente sólo se proveen datos sin procesar (archivos de datos provenientes de las estaciones meteorológicas) y sus respectivos metadatos. En el futuro se podrá acceder a información previamente procesada (gráficos, tablas, etc).

• Libre acceso a colecciones de datos (datasets) producidos por miembros de la red y (en lo posible) por cualquier persona o institución que los necesite.

26

Internet

Miembros de la REDBC

Servidor (CECALCULA)

Sistema de manejo de datos

Datos llegan por varias vías (enviados por gerentes locales de información):

-E-mail -Web

-CD-Entregas personales

Gerente Central de información los procesan de ser necesario y los publican en Internet

Funcionamiento de la Funcionamiento de la redredbcbc

27

Consultando las colecciones de datos

Es

Ejemplo: Colección de datos Estación Chama Ejemplo: Colección de datos Estación Chama

28

Enlace

•html

•xml

•txt

Formato de metadatos

Consultando las colecciones de datosEjemplo: Colección de datos Estación Chama Ejemplo: Colección de datos Estación Chama

29

Consultando las colecciones de datosEjemplo: Colección de datos Estación Chama Ejemplo: Colección de datos Estación Chama

Metadatos xml (para intercambio con otros sistemas y procesamiento automático) Metadatos html

(para visualización por Web)

30

Enlace

Presentación de datos

•Datos originales (sin procesar)

•Datos ordenados (Por año y por mes)

Consultando las colecciones de datosEjemplo: Colección de datos Estación Chama Ejemplo: Colección de datos Estación Chama

31

Datos sin procesar, tal como vienen de los instrumentos o científicos que los capturan

Consultando las colecciones de datosEjemplo: Colección de datos Estación Chama Ejemplo: Colección de datos Estación Chama

Datos sin procesar

32

Datos ordenados

Datos con algún tipo de procesamiento

Consultando las colecciones de datosEjemplo: Colección de datos Estación Chama Ejemplo: Colección de datos Estación Chama

Datos procesados

33

Datos enviados a KNB:http://knb.ecoinformatics.org

Consultando las colecciones de datosEjemplo: Colección de datos Estación Chama Ejemplo: Colección de datos Estación Chama

34

Afiliarse a la redbc

Llenar Planilla de documentación de datos proporcionada por el gerente central de información.

Se pueden configurar planillas de diferentes tipos: Web, Word, txt, etc.

Documentar los datos

•Contactar por e-mail o teléfono al Proveedor de metadatos

Formas de envío y publicación de metadatos y datosFormas de envío y publicación de metadatos y datos

35

• Escaso conocimiento de la importancia de la preservación y posibilidades de uso secundario de los datos.

• Poca disposición de los científicos para compartir los datos.• Poca receptividad para aportar metadatos que documenten las colecciones de

datos.• Confusiones que tienen que ver con los derechos de propiedad y uso de los

datos.• Información incorrecta sobre la calidad y cantidad de información que dicen

poseer algunas instituciones (entorpece la investigación).• Bajo interés por parte de algunos gerentes de información local en publicar sus

colecciones de datos (retardo en envío de datos-pérdida de información).• Algunos gerentes locales no disponen de conexión a internet.• Costos de los instrumentos de captura de datos.• No existe la figura de “gerente local de información”.

Dificultades en el desarrollo de proyectos de este tipo

36

Usos futuros:Usos futuros:

• Redes de manejo de conocimientos basadas en datos y metadatos (intención de KNB)

• Acceso a herramientas analíticas "en-línea" para integrar varias herramientas como SAS, MATLAB, etc. con acceso a datos de red de científicos (LTER)

• Herramientas para producir formas alternativas de metadatos que permitan a cualquier sitio participar fácilmente en otras bases de datos internacionales y Clearinghouses de datos (FGDC, GCMD, NBII, etc.)

El FuturoEl Futuro

37

www.cecalc.ula.ve/redbc/www.cecalc.ula.ve/redbc/

Por su atención Por su atención Muchas GraciasMuchas Gracias