1. La Virtualización y el Cloud en el CESGA:
Proyecto de Escritorios Virtuales en las
Escuelas Rurales
José Ignacio López Cabido
Centro de Supercomputación de Galicia
Reunión Grupo de Usuarios VMware Galicia
Santiago, 8 de mayo de 2013

2. Agenda
• Qué es el Cesga
• Usos de la Virtualización y el Cloud en CESGA
– En Servicios
– En Proyectos
• Proyecto de Escritorios Virtuales en las Escuelas
Rurales

4. To provide high performance computing and
advanced communications resources and
services to the scientific community of Galicia and to
the Spanish National Research Council (CSIC), as well
as, to institutions and enterprises with R&D activity.
To promote high quality research in Computational
Science in close collaboration with the research
community from Galicia as well as from other
regions or countries all over the world; contributing in
this way to the advancement of science, to transfer
technology to industry and administrations , and as
consequence, to the welfare of society as a whole.
Mission Statement

5. • Non Profit Foundation
• Regional Government of Galicia
• National Research Council of Spain
PARTNERS
Legal Status

6. Spanish Unique HPC Infrastructures (ICTS)

7.  Universities of Galicia
 Regional Research Centers
 National research Council Centers
 Other Institutions:
 Hospitals: RTD Departments
 Private Companies: RTD Departments
 Technological Centers
 Other Non Profit RTD Centers
Excellence in Management
ISO 9001:2008
Quality Management
UNE166002
R&D Management
User Community

8. CESGA Áreas Funcionales

9. HPC Technology Evolution at CESGA

10. RECETGA Nova

11. 2012 Informe Anual
2012: HECHOS RELEVANTES
• El número de horas de computación se incrementó en un 1.3%, alcanzando
27.2 millones de horas.
• El número de cuentas de usuarios se redujo en un 9.1%.
• Incremento de eficiencia energética y contención del gasto. Reducción del consumo
de energía eléctrica en un 21.2%.
• La red troncal de RECETGA multiplica su ancho de banda por 10.
• Participación en 11 proyectos internacionales, 9 financiados por la CE y 2 por
empresas.
• 3ª edición del HPC Master – UDC, USC, y CESGA.

12. 2012 HECHOS RELEVANTES
• DISTRIBUCIÓN DE LAS FUENTES DE FINANCIACIÓN DEL CENTRO EN 2012:
• Proyectos competitivos y servicios: 48,8%
• Xunta de Galicia (GAIN): 35,4%
• CSIC: 15,8%
100%

13. PROYECTOS

14. CESGA: a selection of some of the most relevant services

15. Galician Regional Weather Forecasting Service

16. Galician Regional Weather Ocean Service

17. Puertos del Estado
Spanish Port Authority
Enrique Álvarez Fanjul
European IBI Area: Ocean Forecasting Service

18. Galician Public Health Administration
ULTRASEQUENCING SERVICE: complete genomes sequencing
FGMX – USC – CHUS - CESGA
Ángel Carracedo
Fundación Galega de Medicina Xenómica

19. European Grid Initiative (EGI): Monitoring & Accounting Service

20. COMPUTING
 Computing Services to Research Community and Industry:
Galician Universities and Technological Centres
Spanish National Research Council (CSIC)
Others from Spanish Research Community
 HPC, HTC, GRID & CLOUD computing time
 Consulting and technical support
 User & Developer Training
STORAGE
 Backup service and Data Storage
CESGA’s users community
Other Spanish Supercomputing Centres
Computing & Storage related Services

21.  CESGA operates, manages and provides Network services though the Galician
Regional Science & Technology Network (RECETGA):
• Galician Universities
• Regional Research Centres
• Galician Hospitals (R&D Departments)
• Galician Technological Centres
• National Research Centres located in Galicia
 Network Connectivity
 Multicast
 Videoconferencing
 Access Grid Room Network
Network Communications related Services

22.  Aula CESGA: e-Learning Platform
• Over 32,000 Users, More than 1000 active courses and seminars
Professors and students from all levels of education, from kindergarden
to Ph.D.
AULA CESGA: e-Learning Platform Services

23.  Web and Data Base Hosting Service
• CESGA User Community
 Physical and Virtual Server & Cluster Housing Service
• CESGA User Community
Hosting & Housing Service

24.  Serving Maps and georreferenced data since 1999
• Administration, Industry and CESGA research user community Galician
Map & Georreferenced data base Server

25. CESGA: A selection of significant Projects

26. More detailed Climate simulations to better inform the Intergovernmental
Panel on Climate change (IPCC)
UVIGO
Juan Antonio Añel Cabanelas

27. Oceanographic simulation to better understand fisheries population dynamics
Instituto Español de Oceanografía
Manuel Ruiz Villarreal

28. Molecular Docking to Design of malaria drugs on the fast track
Scientists Against Malaria
Hugo Gutierrez de Terán
Fundación Galega de
Medicina Xenómica

29. Computational fluid dynamics for new turbine design
CENER
Sugoi Gómez

30. Large scale electromagnetism simulation for improved radar systems
UVIGO – UNEX – CESGA
Fernando Obelleiro Basteiro

31. Simulation aimed at the optimization of radiotherapy treatment dosage
CHUVI-CHUS-USC-CESGA
Proxecto e-IMRT

32. Spanish National Unique Scientific & Technology
Infrastructure
More than: 16,000 GFLOPS 2,580 CPUs 19,640 GB Memory

34. Usos de la Virtualización y el Cloud en
CESGA
SERVICIOS

35. Usos de la Virtualización en Cesga
• Consolidación de servidores
• Aprovisionamiento de servidores/clusters
• Entornos desarrollo
• Uso en proyectos
• Computación cluster
• Grid
• Docencia. Virtualización de aulas
• Virtualización escritorios (VDI)

36. • Realidad
– Existen más de 300 servidores en el CPD
– Soportan servicios del CESGA y los proyectos en los
que participa el CESGA ( 38 actualmente)
– Prácticamente la totalidad están en S.O. linux,
aunque en diferentes distribuciones (Suse, Redhat,
Scientific Linux, Fedora, Debian)
– Hay muchos servicios que requieren
configuraciones distintas de los diferentes
paquetes
– Los mismos servidores se utilizan en diferentes
proyectos
– A veces cuesta mucho adaptar el software a
hardware nuevo

37. Virtualización de Servicios: Infraestructura 2008
(Xen)
• Infraestructura:
– Rack Blades HP Proliant (2GB RAM) – 16 en un
mismo chasis.
– Cabina de discos EVA3000
– Switches Fiber Channel
– Xen 3.03 (paravirtualización, mejor rendimiento)
• Almacenamiento compartido por todas las
máquinas anfitrionas.
– OCFS2 (Oracle Cluster FileSystem v2)
– VBD (Virtual Backend Device) : fichero de imagen,
mayor versatilidad sin usar LVM o GFS (cluster suite
de RHEL)
– Necesidad de sincronización entre anfitriones
• Configuración bridged (VM’s en misma LAN que
maquina anfitriona). Igualmente son válidas otras
configuraciones más complejas

38. Virtualización de Servicios: Infraestructura 2013
(Xen/KVM)
• Infraestructura:
– Rack HP Proliant BL460c (8 GB RAM) – 16 en un
mismo chasis.
– HP DL180 (4x16GB) + 4TB almacenamiento local
– Cabina de discos EMC VNX5700
– Xen 4.X (paravirtualización) y Xen (hvm)/KVM
• Almacenamiento compartido por todas las
máquinas anfitrionas.
– NFSv4 / Pto montaje comun
– Migración en caliente
• Configuración bridged + uso VLANs para aislar
despliegues.
• Uso de Plataformas Cloud (OpenNebula,
Cloudstack)

39. Sunstone (OpenNebula)

40. Sunstone (OpenNebula)

41. CloudStack

42. Servicios virtualizados
• webs alojados (hostingX.cesga.es)
• Email/Calendarios (Zimbra suite), listas de distribución
• Streaming/Videoconferencia (Lifesize UVC). OpenMeetings
• proxy regional (eduroam)
• plataformas colaborativas/enseñanza (chamillo/dokeos)
• Gestión documental (Alfresco)
• VoIP (asterisk-trixbox)
• HostingX.cesga.es (VM base para servicios web)
• AntispamX.cesga.es (VM de procesado antivir/antispam)
• VMs especificas de proyectos
• VMs desarrollo y testing

43. Uso de memoria

44. Ventajas e inconvenientes
• Ventajas
– Rápido despliegue de servicios
– Servicios complejos o especiales se sirven con una o varias VMs
específicas.
– Fácilmente escalable. Se pueden clusterizar VM’s
– Migración de máquina anfitriona en caliente (gracias al almacenamiento
compartido). T < 0.5 seg (la VM mantiene las conexiones).
– En gral. VM’s pequeñas, facilmente clonables (copiar un fichero de unos
cuantos GB)
– Alto rendimiento (90-95% en comparación a sin virtualización)
– Actualización de versiones
– Facilita la recuperación ante desastres
• Inconvenientes
– Más consumo de memoria.
– El “backup” es algo más complejo, salvo que se haga directamente de las
máquinas virtuales. (rsync, data protector).
– Aprovechamiento no óptimo del almacenamiento. (cada VM tiene su SO)
– Rendimiento (red/disco) en VMs con S.O. Windows.

45. Usos de la Virtualización y el Cloud en
CESGA
PROYECTOS

46. 46
• Financia: Ministerio de Industria, Turismo y Comercio (TSI-020301.1009-3)
• Socios: Telefónica I+D, BSC, Xeridia, UCM, Atos Origin, Catón sistemas alternativos,
eyeOS
• Objetivo
– Desarrollo de una plataforma Cloud federada IaaS que facilite el despliegue de servicios
empresariales en Internet de forma sencilla y automática, permitiendo el escalado
dinámico en base a criterios de rendimiento y objetivos de negocio.
• Actividades Cesga
– PT5.2 – Sistema de monitorización, contabilidad y facturación
– PT6.1 – Desarrollo y gestión del entorno de pruebas
– PT7.2 – Caso de Uso de Radioterapia para Hospitales
NUBA: Normalized Usage of Business-
Oriented Architectures

47. 3 – Esquema Cloud CESGA

48. Cloud Infrastructure
46 HP ProLiant SL165z G7 – Compute node (node configuration)
Processor • 2 x AMD Opteron™ Processor 6174 (2.2 GHz, 12MB Level 3
Cache, 80W)
Memory • 64 GB (19 nodes) & 32 GB (23 nodes)
Storage • 1 x 500GB 3G SATA 7.2K NHP
Networking • 2 Embedded Dual Port Intel 1GbE NICs (4 total NICs)
I/O Expansion • 1 x16 LP PCIe Gen 2 slot
• 1 x4 LP internal PCIe Gen 2 slot
Management
• LO100i Management
• IPMI 2.0 & DCMI
• Dedicated NIC
Total
Processor • 1200 cores 2.2GHz
Memory • 2400 GB
Storage • 56 TB
Networking • Dedicated MPI GbE
Performance • 10240 TFlops

49. Virtualización en Grid (EGEE)
HARDWARE
HP ClaseC
Blades PE1955 Proliants
Fujitsu
BL35P
VIRTUALIZATION HYPERVISOR
Xen – Dom0
Dom0Dom0Dom0
VIRTUAL MACHINE
SL 3 SL 4
PRODUCTION PRE-PRODUCTION CERTIFICATION
UISE
VOMS
WN WN WN WN
NODES
MON
CESEMON
WN
CESE
MON
WN
www2 www3www
RBWMS
SITE SERVICES
GLOBAL SERVICES
NODES
SITE SERVICES
GLOBAL SERVICES
RGMA-SERVER
NODES
SITE SERVICES
CE
GRIDICE
PPS-GRIDICE
Varios clusters sobre la misma infraestructura
(producción, preproducción, certificación),
que a su vez requieren múltiples servicios.

50. Cloud Federado EGI/Ibergrid

51. Cloud Federado EGI/Ibergrid
CNRS LMU
OerC
Masaryk
TUD
IFAE
Cyfronet
SixSq
BSC
CESNET
TCD
SRCE
DANTE
FZJ
GRNET
GWDG
Utrecht
STFC
SARA KTH
INFN
CESGA
EGI.eu
Impulsado por una
comunidad de:
• 60 personas.
• 23 instituciones.
• 13 paises.

52. Formiga-Cloud
Usuario UI
VOMS
CE CE
Aula 1 Aula 2
WN WN WN WN WN WN
Autentificación
Envío trabajo
CESGA
RB
PXE
SE
Proyecto de reaprovechamiento de
capacidad de computación de aulas
informáticas en períodos de no utilización.
Necesidad de no interferir con la producción
de las aulas.

53. • Arquitectura
Formiga CLOUD-Aula Cesga

54. ULTRASECUENCIACIÓN
Secuenciación de Xenomas Completos
FGMX – USC – CHUS - CESGA
Ángel Carracedo
Fundación Galega de Medicina Xenómica

55. FGMX: Solución implementada
• Cluster de computación sobre cloud
OpenNebula
• Utiliza recursos de computación estándar
(cluster SVG)
• 1 nodo frontal + 5 nodos de computación
(8 cores y 32GB por nodo)
• Contabilidad de recursos
• En funcionamiento desde 2010

56. Simulación para PYMES en el sector
manufacturero
en Galicia y Norte de
Portugal CLOUD-
PYME
• Type of project: Interreg IV A
• Project coordinator:. Jefe Filas CESGA
• Project start date: 1 Enero 2011
• Duration: 24 + 6 meses (Jun 2013)
• Budget: 417.280 Euros
• Max EC contribution: 312.960 Euros
• Consortium: 4 partners
• Website: www.cloudpyme.eu
El objetivo del proyecto es diseñar, crear y probar una infraestructura
sostenible de soporte a las Pequeñas y Medianas Empresas del sector
manufacturero, para mejorar su competitividad internacional a través de
la inclusión de software libre de CAD y CAE que les ayuden a mejorar el
diseño de sus productos y procesos.
Simulación para PYMES en el sector manufacturero
en Galicia y Norte de Portugal CLOUD-PYME

57. Arquitectura
Usuario
Computación local
Distribución USB
Servicios Comput.
Computación
Almacenamiento
Visualización
Cloud
Cálculo
Servicios Soporte
Soporte
Formación
Difusión
Colas
S. tradicional
Portal CloudPYME
Almacenamiento
Incidencias
OsTicket
Formación
AulaCesga
Difusión
Web proyecto

58. Building service testbeds on FIRE
Virtual Clusters on Federated Clouds

59. Source: http://www.bonfire-project.eu/infrastructure (August 2012)
MultiSite Cloud
More information:
http://www.bonfire-project.eu/infrastructure
BonFIRE INFRASTRUCTURE

60. Experiment Agent Workflow
Cluster ready

61. Rural Schools