mathematica computing y nodo cesgaangel/computing/presentaciones/agomez.pdf · 2006. 11. 13. ·...

30
MATHEMATICA COMPUTING MATHEMATICA COMPUTING Y Y NODO CESGA NODO CESGA

Upload: others

Post on 09-Aug-2021

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo

������������ ������

��������������� ������� ���

������������

MATHEMATICA COMPUTINGMATHEMATICA COMPUTING

YY

NODO CESGANODO CESGA

Page 2: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo

Barcelona, Noviembre, 2006

Page 3: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo

Barcelona, Noviembre, 2006

����� �������

� � ��������� ��� ����������������� ������

� ��������� ���!�"�#��������$������%�� ����

� �#&����"������

� �#&����'�#�������

�������

Page 4: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo

Barcelona, Noviembre, 2006

����� ��������

� ��� ������ !��!� � �������� � ����#����(�

����#��������� � �#�� � ���� ���� � ��� �! �

�� �����������#�����������������������! � ��������

� ���!�"�#����(���) ����(���������#���������

�� ���� �)��!��*�����������

� ��� ������ �! � # � ��� � )� ������������ ����

����#��������� � �!������ � ����� �� ��� � ���!�

)��!����! ��� �����������#���������������

� ��� & ��� �� ��������� �� ���� " ��� � ���

+,� �� �� ����������� ������������ �����������

� �!���������� � � � �� �����! ��� ����������#�����

�� �� ������#� ��������#�������

Page 5: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo

Barcelona, Noviembre, 2006

� ��� � ���

� ��� ���� �������

� ��� �� ������������� ����

�� ��������

� ��� �� !�������"� ������

� #� �$������

� �%�

� �&��������

� �&'����

CESGA Ser v i ces

Page 6: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo

Barcelona, Noviembre, 2006

� �� %������ �(!�� ��)��� �*+����

� �� ���, �(��� ���� �� *+����

� �� ����� *���-���� �-��.�� ��� � *+����

� �� /�$��� �(!�� ���.���� �� *+����

� �� /�, ����� 0����1� ������� ��� %�� %�2���-�����

� �� ������ ����+���� �(!�� ��� � 3�+�����

� "+$�-"+$�-

� 0- �� 45 �,�����

� 66 !������� ����$�

� 78 !������� 2��������� �� �� 8 9����� �1�

�$.+/��+� ��"���&�������

���.���2������� ���!����� ����!

NUESTRAPOLÍTICA

Page 7: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo

Barcelona, Noviembre, 2006

:7 ���� �2 .�����

011%

2��34��

3(5�'67�$

0118

2���%�� ���%���

04(0�'67�$ 03�'67�$

0111

9�"�45�� $�7��+�+:

1(;�'67�$

3��%

$<�+��7/+

�;8�'67�$

3��0

$2

1(1�'67�$

3��3

9�"�%3� =+7><6'

;4�'67�$ 0;�'67�$

50��+��=?�+$

3��4

$2

503�'67�$

Page 8: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo

Barcelona, Noviembre, 2006

#�&6455 ;� ��!������ 6557

011%-�2�@34�� 3(5�'67�$������(5�=�� �����

A 0 ���$��������� A 045����! �>����

3��%-�$<�+��7/+ �;8�'67�$����%84�=�� �����

A 0 ���$��������� A 33�����! �>����

Page 9: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo

Barcelona, Noviembre, 2006

*��������� 655<

)�$ �� ��9�"�3���

0��� �.�� := �*�>�� ��� :?�' � 0 0�����

Joint Venture of

Page 10: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo

Barcelona, Noviembre, 2006

*���������

$<�+�"7/�<�. @

:4= ��;�0 ;��� A��..����#��..��� ����������.����.� .��.�22������� %;*%;%' ;� ���A��B

� : ����@ :6C ����D :564 �' ������

� : ����@ :6C ���D 7C4 �' ������

� :46 ����@ := ����D :6C �' ������

� 6 ����@ 4 ����D 4 �' ������2��������

�����$�7��+@

� 66 ���� A��.44 ���� 2�������� ����������

� 7?5 �'��B

� : �' ��)�� ��!� ��)����

MORE TECHNICAL INFORMATION ON REQUEST

Page 11: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo

Barcelona, Noviembre, 2006

��>��E�� :@ 0��.������� �.�������

� 1 Reto científico computacional en Matemáticas a ejecutar en FinisTerrae.

�Fecha de ejecución: tercer-cuarto trimestre de 2007�Condiciones:

�Científicamente o Tecnológicamente interesante. Validado por CD.

�Necesitado de la arquitectura del FinisTerrae�Un investigador del equipo en CESGA durante la

preparación/ejecución.�Basado en software libre y gratuito o, preferiblemente,

propio.

�Soporte del CESGA para la migración/programación

Page 12: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo

Barcelona, Noviembre, 2006

ALGUNOS RETOS COMPUTACIÓN

� Latencia memoria� Consumo excesivo� Absorber nuevos paradigmas:

�MultiThreading, �MultiCore

� Compiladores más eficientes (fundamentales en Itanium II)

� Algoritmos más eficientes� Paralelización más sencilla: Time-to-Solution

Page 13: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo

Barcelona, Noviembre, 2006

RETOS COMPUTACIÓN: La te nc ia acces omemo r ia �����

��� ��

� � ��� ���

��

���

����

����

����

����

����

����

����

����

����

� � �

���

����������� �� ���������� ��!" #$%����� ��� !!��&

������

��

��

'(�� )�!� ����*

Ciclos perdidosaumentan

Fuente:Paco Tirado

Page 14: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo

Barcelona, Noviembre, 2006

�E�>�@ �������� ������� �����������

Cache L2: >80% PICO

Cache L3: < 30% PICO

Memoria: < 10% PICO

Objetivo: Reducir fallos caché. Mejorar rendimiento.

Page 15: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo

Barcelona, Noviembre, 2006

E"�����(� � �����������@ �������

Mayor PageSize,Menos Fallos TLBs

Page 16: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo

Barcelona, Noviembre, 2006

�E�>@ ������� *���� ��' �������

Ejemplo cálculo en Gaussian Incore 256 bases

Speed-up > 2

Objetivo: Reducir fallos TLB. Ver GotoBlas:http://www.tacc.utexas.edu/resources/software/

Page 17: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo

Barcelona, Noviembre, 2006

�E�>@ ������� ����&��&�������

� ����� ����-��� ��#%�>�D %$� ;��)��� � ��� �� ������� ��!�) �.����D ����������� ������������������������������ ����������������D � �.���D 655=�

� ���&� ��@ ������ �F����)��� �+F����&$�!�� �� �)������ �� ���� !�� ������������������ ��������� �� !����� ����������D �� ���������� �� ���!������� ��� ��2������ � �� �� �)������(� �:&�����&��2�������

� /�����@ ��������(� 0���(!����� 0��������� �� �� �������$� ����+���� ;#� F�� !������ �� �������(� �G!�+���� �� �����2��� �+F����&$�!��

�Calidad de los resultados proporcional al nº de moléculas y al nº de configuraciones

�3000 moléculas y 109 configuraciones�Código desarrollado y compilado por el usuario�Tiempo estimado 1CPU en el HPC320 > 3 años.�Código no paralelizable y algoritmo adecuado

Page 18: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo

Barcelona, Noviembre, 2006

�E�>@ ����&��&������� ��������

��,�����@

�Profile del código para identificar partes más costosas�Extracción de subexpresiones comunes�Reordenamiento de matrices�Opciones del compilador�Búsqueda arquitectura más óptima

���������

�Procesador: Opteron�Compilador: Pathscale�Opciones: -Ofast -cpp -m64 -static-data�Tiempo necesario � 2 meses

A Tiempo!

Page 19: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo

Barcelona, Noviembre, 2006

����

"+$��

<��� ������0

� Ejecución de aplicaciones y almacenamientoutilizando recursos sobrantes de cada Grupo.�Heterogeneidad, problemas portabilidad ejecución. Ver: crlibm

Page 20: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo

Barcelona, Noviembre, 2006

��>��E�� 6@ *������(� �� ���!�����(�

� ��)�� �,����� �� ���!�����(� � ���$� .���������� �� �-����� �� ���� !��!���� !��� �� �1� 655< �� �� �

������ ����� �� ������ ��������:�Matemática Computacional: compilación, ejecución y

optimización de programas. (15h, 25 alumnos)�Programación de códigos paralelos utilizando MPI. (15h,

25 alumnos)�Arquitecturas cluster para computación matemática. (20h,

10 alumnos)�Programación paralela utilizando directivas OpenMP.

(15h, 25 alumnos)� ���� ���� ������� ��� 8 .��� �� ����������� ����$���������� � �� �������

Page 21: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo

Barcelona, Noviembre, 2006

��>��E�� 7@ ��������(� ��!������� �2�A���

�Objetivos:�Localizar las herramientas existentes de software

libre para la matemática computacional necesarias para los grupos del proyecto, incluyendo una evaluación de la misma.

�Incrementar la visibilidad internacional del software de matemática computacional, generalista o especializado, desarrollado por los grupos de investigación del proyecto.

Page 22: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo

Barcelona, Noviembre, 2006

��>��E�� 4@ ����&0 ��E0 �%�

� Objetivos:�Crear una infraestructura estable que

interconecte los recursos de los gruposinvolucrados en Mathematica.

�Ejecución de aplicaciones utilizando recursos sobrantes de otros grupos

�En el CESGA instalación de un cluster con 10 CPUs interconectados con Gigabit Ethernet como nodo dedicado y estable con dedicación total al Grid-MATHEMATICA.

Page 23: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo

Barcelona, Noviembre, 2006

��>��E�� 8@ ��!���� �,�����

�Objetivos: �CESGA puede prestar servicios de soporte de alto

nivel a técnicos e investigadores para mantener operativos correctamente los recursos computacionales existentes en cada centro.

�Optimización aplicaciones desarrolladas por los grupos.

Page 24: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo

Barcelona, Noviembre, 2006

The project: a web-based tool for Monte Carlo

optimization and verification of treatment plans

J. Pena1, F. Gómez1, D. González-Castaño1, A. Gómez2, C. Fernández2, J. C. Mouriño2, F. J. González-Castaño3,

D. A. Rodríguez-Silva3, M. Pombar4

1Departamento de Física de Partículas, University of Santiago de Compostela, Spain2Fundación Centro Tecnolóxico de Supercomputación de Galicia (CESGA), Santiago de Compostela, Spain

3Departamento de Ingeniería Telemática, University of Vigo, Spain4Hospital Clínico Universitario de Santiago, Santiago de Compostela, Spain

Financed through Xunta de Galicia project PGIDT05SIN00101CT and partially by the European Social Fund

Page 25: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo

Barcelona, Noviembre, 2006

PROPUESTA 5: Sopor t e téc nico

What is the project? It is a project to develop a remote computational

platform for treatment VERIFICATION and OPTIMIZATION

Hospital

Internet

What is NOT ?? Commercial // TPS substitute

http://eimrt.cesga.es

Page 26: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo

Barcelona, Noviembre, 2006

http://eimrt.cesga.es

� Three major components (services):� Treatment VERIFICATION (Monte Carlo)� Treatment OPTIMIZATION (CRT & IMRT)� Treatment RESERVOIR: case studies and

interesting treatments� General requirements

� Simple, user friendly and algorithm-independent

� Lowest possible human intervention� Run on low-end hardware & software (client

side)� Anonimization of patient DICOM files

Under development !

Page 27: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo

Barcelona, Noviembre, 2006

http://eimrt.cesga.es

� Unconstrained optimization model derived from Wu & Mohan Med. Phys 27-4 2000

� Quasi-Newton minimization.� Alternating Quasi-Newton stages with

heuristics to vary the weights of the constraints → Getting multiple solutions.

� New optimization models welcome!

Under development !

Page 28: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo

Barcelona, Noviembre, 2006

��!!�����#����� 0��.��� ��������� �2�6� ���22��

F.J. González-Castaño et.al., CIMSA 2006, pag. 103

� Problema: �Tráfico P2P es perjudicial para las redes de

investigación. Es necesario detectarlo y, en su caso, eliminarlo.

�No es posible capturar y procesar todo el tráfico a 2.5Gbp/s

� Objetivos:�Solución independiente de la tecnología�Transparente al usuario (no agresivo)�Evitar falsos positivos

Page 29: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo

Barcelona, Noviembre, 2006

��!!�����#����� 0��.��� ��������� �2�6� ���22�� �%%�

F.J. González-Castaño et.al., CIMSA 2006, pag. 103

“Culpable”“Inocente”

Page 30: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo

Barcelona, Noviembre, 2006

FIN