Proyecto Grid Venezuela

Emilio HernándezUniversidad Simón Bolívar

Escuela Latinoamericana de Grid Abril 2006

Contexto

● Reacciun 2: Red de Alta Velocidad de Investigación y Educación para Venezuela

● Grid: tecnología para acceso seguro y transparente a diferentes recursos a través de Internet

● e-Ciencia: cambio en el sistema de producción de nuevo conocimiento en algunas áreas, a través de la colaboración global y el uso de las nuevas TICs

La Gran Inundación de Datos

● En los próximos 5 años los proyectos de e-Ciencia producirán más datos que todos los datos recabados en la historia de la humanidad

● Algunas referencias– Don Quijote (comprimido) = 1.2 Mbytes– Artículos arbitrados anualmente = 1 Tbyte– Toda internet (1996 – 2002) = 100 Tbytes

● Muchos experimentos generarán datos en el orden de Pbytes. Ejemplo: LHC

La Gran Inundación de Datos

● Consecuencias obvias: – los datos no pueden estar centralizados– los datos no se pueden procesar en forma

centralizada– se necesita de la participación de muchas

instituciones, como centros de investigación y universidades

● Conclusión obvia:– Debe ser un esfuerzo colectivo

Pregunta obvia

Hay muchas áreas de investigación vinculadas con nuestra realidad– social– de salud (p.e. epidemiológica)– de biodiversidad– climatológica– agrícola– petrolera...

¿Quienes tienen que recabar los datos vinculados a nuestro entorno?

Proyecto Grid Venezuela

● Iniciativa originalmente de 6 universidades + IVIC + CNTI

● Objetivo fundamental:– fomentar la cultura de generar, almacenar y

mantener en línea datos para investigación● Operativamente:

– recabar, compartir y procesar grandes cantidades de datos

– permitir la participación de investigadores que actualmente tienen acceso limitado a datos

Proyecto Grid Venezuela

Se debe incorporar a la mayor cantidad de instituciones que pueden colaborar– como generadoras de datos– como entes que procesan datos

Conectados principalmente a través de enlaces de Reacciun 2

Se requiere de infraestructura y de personal

Infraestructura

Reacciun 2Centros de Acopio de Datos● Se propone crear en las instituciones partici-

pantes una estructura para acopio y gestión de datos

● Deben contar con personal especializado y con diversos equipos de lectura de medios de almacenamiento (CD, DVD, cintas)

Niveles de Almacenamiento de DatosCentros de Procesamiento

Acopio y Gestión de Datos

Para compartir y procesar grandes fuentes de datos y así generar nuevo conocimiento sobre nuestro entorno, podemos:– acopiar datos actualmente disponibles (ej. en

CD, DVD, cintas) y ponerlos en línea – asesorar y prestar ayuda técnica a

instituciones para que puedan poner sus datos en línea

– habilitar el acceso rápido y seguro de datos – ofrecer capacidad de cómputo

Acopio y Gestión de Datos

Dificultades:● Se debe “rescatar” datos en diferentes

formatos, muchas veces con “huecos”, y ponerlos en formatos actualizados

● La gestión de grandes cantidades de datos (del orden de varios TB) requiere estrategias organizacionales específicas (p.e. para backup)

● Muchas instituciones son celosas de sus datos, aún cuando en principio deben ser datos de acceso público

Niveles de Almacenamiento

● Niveles en la localización:– Centros de almacenamiento primario– Réplicas y “caches”

● Niveles de procesamiento o formato:– Datos científicos “crudos”: para consumo de

programas– Datos procesados y con formato: para

consumo “final”, por ejemplo en educación y en investigación en ciencias sociales

Proyecto Grid Venezuela

¡Debemos convencer a mucha gente!– Incorporar instituciones que tienen o

generan datos– Atraer o formar investigadores que usen

esos datos a través del Grid– Debemos tener fuentes de financiamiento

sostenibles● Dentro de las universidades● De organismos de financiamiento

Algunos sectores que (potencialmente)

pueden generar muchos datos

● Sector salud– Imágenes, secuencias genéticas

● Sector petrolero– Prospección petrolera

● Prevención de riesgos– Información meteorológica, sísmica

● Sector cultural– Grabaciones, videos documentales

A lo interno: Estructura administrativa

Organización ad hoc● Equipos Técnicos de Gestión de Datos ● Equipo de Instalación/Mantenimiento de Software de Grid ● Equipo de Capacitación● Equipo de Análisis de Organizaciones Virtuales

● Relaciones con otros Grids o Centros fuera de Venezuela (PIC, TACC)

Implementación: fase 1

Implementación: fase 2

Financiamiento

● El programa de e-Science en el Reino Unido, ha recibido dinero en el orden de varios cientos de millones de libras esterlinas

● Hasta ahora nosotros hemos adelantado trabajo sin financiamiento especial

● Hemos hecho una propuesta a Fidetel: es una continuación natural del proyecto Reacciun 2

● Cada institución debe entender la importancia de esto y aportar (financieramente, con personal)

● Debemos tener fuentes de financiamiento sostenibles

Conclusiones

● Grid Venezuela: proyecto esencialmente de colaboración ●Técnicamente implementar el Grid no es complicado: hemos hecho pruebas de la fase 1● La dificultad radica en el “rescate”, conversión y gestión de datos ● Se debe hacer un esfuerzo de coordinación con proyectos existentes de gestión de datos● Debemos contar con apoyo multi-institucional y de varias fuentes de financiamiento

¡Gracias!

emilio@usb.ve