MPI and Distributed Applications

Paradigma Troca de Mensagens e MPI
Ms. Eng. Marcos Amar´ıs González
Dr. Daniel de Angelis Cordeiro
Dr. Alfredo Goldman vel Lejbman
Universidade de São Paulo
Instituto de Matemática e Estad´ıstica
Departamento de Ciências da Computa¸cão
Maio, 2015
(gold, dcordeiro, amaris)@ime.usp.br Troca de Mensagens e MPI Maio, 2015 0 / 30

Timeline
1 Introdu¸cão
2 Troca de Mensagens
3 MPI
Introdu¸cão à MPI
Opera¸cões Ponto a Ponto
Opera¸cões Coletivas

Introdu¸c˜ao
Troca de Mensagens e MPI
1 Introdu¸c˜ao
3 MPI

Introdu¸cão
Introdu¸cão
Taxonomia de Flynn.
Programa¸cão Automática é dif´ıcil.
Modelos de Programa¸cão Paralela.
Paralelismo de dados, instru¸cões e funcional.
1993 - Becker & Sterling started Beowulf project.
Cluster Beowulf ou máquinas paralelas.
Cluster Linux para Leigos
Caracter´ısticas
Flexibilidade
Escalabilidade
Alta Disponibilidade

Introdu¸cão
Introdu¸cão - Sistemas Distribu´ıdos
Sistemas Distribu´ıdos
Caracter´ısticas:
Concorrência.
Escalabilidade.
Modularidade.
Eficiência.
Intraoperabilidade.
Heterogeneidade.
Como se define um ambiente paralelo?

Introdu¸cão
Memória compartida Vs. Memória Distribu´ıda
Figura : Memória compartida Vs. Memória Distribu´ıda

Introdu¸cão
Desenho de Algoritmos Paralelos
Desenho de Algoritmos em ambientes Paralelos
O desenho em ambientes paralelos involucra quatro etapas: Parti¸cão, Comunica¸cão,
Agrupa¸cão e Aloca¸cão.

Introdu¸c˜ao
Computa¸c˜ao em Nuvem e/ou Grades Computacionais
Nowadays, scientist can, in easily fashion, access to many resources (e.g., applications, storage,
CPUs, GPUs, remote sensors, supercomputers, among others) interconnected as a distributed
system throughout the Internet.

Message Passing
1 Introdu¸c˜ao
3 MPI

Message Passing
Troca de Mensagens
O que é o Modelo de troca de mensagens?
É um conjunto de processos que possuem acesso à memória local.
As informa¸cões são enviadas da memória local do processo para a
memória local do processo remoto.
• Cada elemento de dado precisa estar em uma das subdivisões do espa¸co
de memória
– Os dados precisam ser explicitamente particionados e alocados.
• Todas as intera¸cões (leitura e escrita) requerem a coopera¸cão entre 2
processos
– O processo que possui os dados e o que deseja acessar os dados.

Message Passing
Bibliotecas para Troca de Mensagens
Rotinas com finalidades bem espec´ıficas, como:
Rotinas de gerência de processos.
Rotinas de comunica¸cão Ponto a Ponto.
Rotinas de comunica¸cão de grupos.
Paradigma s´ıncrono e ass´ıncrono.
Paradigma de programas fracamente acoplados
Quase todos os programas por passagem de mensagem são escritos
usando o modelo SPMD
Blocos Básicos: send e receive
Os protótipos destas opera¸cões são:
send(void *sendbuf, int nelems, int dest)
receive(void *recvbuf, int nelems, int source)

Message Passing
Principais Implementa¸cões
MPI (Message Passing Interface)
C, C++, Fortran OpenMPI, MPICH2, etc.
Java, Python, etc.
Padrão para computa¸cão de alto-desempenho
PVM (Parallel Virtual Machine)
Cria conceito de máquina virtual.
Funciona em redes e máquinas heterogêneas.
Linux e Windows.

MPI
1 Introdu¸c˜ao
3 MPI

MPI Introdu¸cão à MPI
Interfase para Troca de Mensagens
MPI é um padrão para a implementa¸cão de sistemas com troca de men-
sagens.
É desenhado para uma variedade de sistemas de forma tal que os códigos
sejam portáveis.
Los principales objetivos de MPI:
Proporcionar código portátil.
Proporcionar implementa¸cões eficientes.
Suportar arquiteturas paralelas heterogêneas.

Funcionalidades e Conceitos
MPI Básico: 6 fun¸cões básicas indispensáveis para o uso do programador.
MPI Avan¸cado: 125 fun¸cões adicionais que acrescentam muita mais flexibilidade.
Conceitos
Processo (Programas em execu¸cão).
Mensagem (Teoria da Comunica¸cão, Modelo OSI).
1 Envelope (de quem, o que, para quem).
2 Dado (o que), informa¸cão que se deseja enviar ou receber.
Rank - identifica¸cão única.
Group - um conjunto ordenado de N processos.
Communicator - é um objeto local que representa o dom´ınio (contexto) de uma
comunica¸cão.
Comunica¸cões Bloqueantes e Não bloqueantes.

Tipos de dados
Informa¸cão que se deseja enviar ou receber. É representado por três argu-
mentos:
1 Tipo do dado.
2 Número de elementos do dado na mensagem;
3 Endere¸co onde o dado se localiza;

OpenMPI - Instala¸cão e Configura¸cão
Instala¸cão
El proceso de instalación es bastante sencillo.
./configure --prefix=/opt/openmpi/gnu
Compile el software e instalelo
make && make install
Configura¸cão
Para poder ejecutar un programa paralelo es necesario configurar el ambiente
apropiado:
Un sistema de archivos común donde se encuentren todos los ficheros involu-
crados en la ejecución.
Un sistema de autenticación de usuarios que permita el acceso sin contraseña
a los nodos participantes.

Hello World
Para compilar: mpicc -o <executável> <fonte>
Para executar: mpiexec -n <nproc> <executável>
Exemplo de Compila¸cão e Execu¸cão
mpicc -o hello hello.c
mpiexec -n 4 hello
#include <mpi.h>
main(int argc , char *argv [])
{
int npes , myrank;
MPI_Init (&argc , &argv );
MPI_Comm_size (MPI_COMM_WORLD , &npes );
MPI_Comm_rank (MPI_COMM_WORLD , &myrank );
printf("Hello World (%d of %d)!n", myrank , npes );
MPI_Finalize ();
}

MPI Opera¸cões Ponto a Ponto
MPI Básico
O conjunto m´ınimo de fun¸cões MPI

Enviando e Recebendo Mensagens
int MPI_Send( void *address, int count,
MPI_Datatype datatype, int dest,
int tag, MPI_Comm comm)
int MPI_Recv( void *address, int count,
MPI_Datatype datatype, int source,
int tag, MPI_Comm comm, MPI_Status *status)
MPI ANY SOURCE: qualquer processo de dom´ınio de comunica¸c˜ao pode ser a
origem da mensagem.
MPI ANY TAG: mensagens com qualquer etiqueta s˜ao aceitas.
typedef struct MPI_Status {
int MPI_SOURCE; int MPI_TAG; int MPI_ERROR; };

Exemplo: Distribui¸c˜ao de um Vetor
Exemplo: Distribui¸c˜ao de um Vetor.

Sobrepondo Comunica¸cão e Computa¸cão
MPI também provê fun¸cões não bloqueantes:
Fun¸cões para opera¸cões não bloqueantes
int MPI_Isend ( void *buf, int count,
MPI_Datatype datatype, int dest, int tag,
MPI_Comm comm, MPI_Request *request)
int MPI_Irecv ( void *buf, int count,
MPI_Datatype datatype, int source, int tag,
MPI_Comm comm, MPI_Request *request)
int MPI_Test(MPI_Request *request, int *flag,
PI_Status *status)
int MPI_Wait(MPI_Request *request, MPI_Status *status)

MPI Opera¸cões Coletivas
O padrão MPI provê um grande conjunto de fun¸cões para realizar
opera¸cãoes de comunica¸cão coletiva.
Cada opera¸cão é realizada entre todos os processos de um grupo de
comunica¸cão.
– Todos os processos do grupo precisam chamar a fun¸cão coletiva.
– Todos os processos da aplica¸cão devem ser chamados com o com-
municator: MPI COMM WORLD.
Cada processo fica bloqueado até que todos os demais cheguem na
barreira e chamem a fun¸cão.

A opera¸cão de broadcast (difusão) de um para todos é:
int MPI_Bcast(void *buf, int count,
MPI_Datatype datatype, int source,
MPI_Comm comm)
A opera¸cão de redu¸cão de todos para um é dada por:
int MPI_Reduce(void *sendbuf, void *recvbuf,
int count, MPI_Datatype datatype,
MPI_Op op, int target, MPI_Comm comm
A opera¸cão de sincroniza¸cão por barreira é:
int MPI_Barrier(MPI_Comm comm)

Opera¸c˜oes de Redu¸c˜ao Dispon´ıveis

MPI Allreduce

MPI Scan

MPI Scatter

MPI Gather

MPI Allgather

MPI Alltoall

Execu¸cão em Múltiplas Máquinas
Passos a seguir...
1 Configurar acesso SSH sem uso de senha.
- (http://www.linuxproblem.org/art 9.html)
2 Criar arquivo com os endere¸cos IP (ou nomes) das máquinas.
Exemplo (hosts.dat):
192.168.14.160
192.168.14.161
3 Copiar o arquivo executável para cada um dos nós, usando o comando
scp; caso não tenha um NFS configurado.
4 Iniciar a execu¸cão:
mpiexec -np 2 -hostfile hosts.dat ./High.out

Uso de MPI com OpenMP
”Programa¸c˜ao Hybrida”

S´o isso... Obrigado.
O EP 3 MPI, deve estar pronto hoje.
Data de entrega: 5 de Junho!
Bom Final de Semana para todos :-)

MPI and Distributed Applications

Mais conteúdo relacionado

Mais de Marcos Gonzalez

MPI and Distributed Applications