Carregado porvenicios1
PPT, PDF6 visualizações

Kasumin.pptfsfsfdsfdsfsfsdfdsfsdfsdfdsfdsfdsf

O documento aborda a arquitetura de computadores com foco em multiprocessadores e paralelismo, discutindo conceitos como níveis de paralelismo, classificação de Flynn, leis de desempenho e modelos de programação como memória compartilhada e passagem de mensagens. Ele também enfatiza a importância de projetar sistemas que otimizem o desempenho e enfrentem desafios como latência e eficiência na comunicação. Além disso, os avanços em processadores e suas aplicações são abordados desde a década de 1950 até os dias atuais.

Incorporar apresentação

Baixar para ler offline
MO401 11.1 MO401-2007 Revisado 2006 Prof. Paulo Cesar Centoducatte ducatte@ic.unicamp.br www.ic.unicamp.br/~ducatte MO401 Arquitetura de Computadores I
MO401 11.2 MO401-2007 Revisado MO401 Arquitetura de Computadores I Multiprocessadores e Paralelismo em Nível de Thread “Computer Architecture: A Quantitative Approach” - (Capítulo 6)
MO401 11.3 MO401-2007 Revisado Multiprocessadore e Thread Sumário • Introdução • Níveis de Paralelismo • Multiprocessadores? • Classificação de Flynn • Máquinas MIMD – UMA – NUMA – Multicomputadores • Lei de Ahmdahl • Métricas para Desempenho • Arquiteturas Paralela • Modelos: Shared Adress e Message Passing • Coerência – Definição – Soluções
MO401 11.4 MO401-2007 Revisado Computadores Paralelos • Definição: “A parallel computer is a collection of processing elements that cooperate and communicate to solve large problems fast.” Almasi and Gottlieb, Highly Parallel Computing ,1989
MO401 11.5 MO401-2007 Revisado Computadores Paralelos: Introdução • Questões que devem ser respondidas: – Qual o tamanho da coleção de elementos de processamento? – Os elementos de processamento são realmente úteis? (ou o quão útil é cada elemento de processamento?) – Como eles cooperam entre si e como comunicam-se? – Como os dados são transmitidos? – Qual o tipo de interconexão utilizada? – Quais são as primitvas de HW e SW visíveis ao programador? – Proporciona ganho de desempenho?
MO401 11.6 MO401-2007 Revisado • Desde os anos 1950s: replicar processadores para adicionar desempenho vs. projetar processadores mais rápidos • Devemos inovar na organização talhada para um particular modelo de programação já que mono- processamento não poderá avançar sempre – a velocidade de um processador não aumentará indefinidamente devido o seu limite ser a velocidade da luz: 1972, … , 1989 – (e agora que o projeto de processadores mais rápidos está encontrando uma barreira que não a velocidade da luz?) – em 1990s aparecem máquinas comerciais: Thinking Machines, Kendall Square, ... Computadores Paralelos: Introdução
MO401 11.7 MO401-2007 Revisado Paralelismo, em que Nível? • Bit level parallelism: 1970 a ~1985 – Microprocessadores de 4 bits, 8 bits, 16 bits, 32 bits • Instruction level parallelism (ILP): ~1985 até os dias atuais – Pipelining – Superscalar – VLIW – Out-of-Order execution – Limits dos beneficios de ILP? • Process Level ou Thread level parallelism (processamento de proposito geral) – Servidores são paralelos – Desktop dual processor PC, são paralelos?
MO401 11.8 MO401-2007 Revisado Por que Multiprocessadores? 1. Os Micro-processadores são as CPUs mais rápidas • Redesenhar uma CPU é mais díficil que colocalas em uma coleção 2. Complexidade dos micro-processadores atuais • Novas idéias, em quantidade, para sustentar 1.5X/ano? 3. Aumento de desempenho baixo com softwares paralelos (aplicações científicas, bancos de dados, SO) 4. O mercado emergente de embedded e servidores tem levado a adição de microprocessadores nos desktops • Paralelismo de funções embedded (modelo produtor- consumidor) • O mérito dos Servidores tem se baseado em tarefas por horas (throughput) não por latência
MO401 11.9 MO401-2007 Revisado Computadores Paralelos Introdução • Idéias mais antigas: escalar o número de processadores objetivando desempenho • Máquinas “atuais”: Sun Enterprise 10000 (2000) – 64 400 MHz UltraSPARC® II CPUs, 64 GB SDRAM, 868 18GB disk, tape – $4,720,800 total – 64 CPUs 15%,64 GB DRAM 11%, disks 55%, gabinete 16% ($10,800 por processador ou ~0.2% por processador) – Mínimo E10K - 1 CPU, 1 GB DRAM, 0 disks, tape ~$286,700 – $10,800 (4%) por CPU, mais $39,600 board/4 CPUs (~8%/CPU) • Máquinas “Atuais”: Dell Workstation 220 (2001) – 866 MHz Intel Pentium® III (Minitower) – 0.125 GB RDRAM, 1 10GB disk, 12X CD, 17” monitor, nVIDIA GeForce 2 GTS,32MB DDR Graphics card, 1yr service – $1,600; para processador extra + $350 (~20%)
MO401 11.10 MO401-2007 Revisado Para onde vão os Supercomputadores • Linpack (algebra linear) para Vector Supercomputers vs. Microprocessadores (próximo slide) • 1997: 500 máquinas mais rápidas do mundo: – 319 Massively Parallel Processors (MPP), 73 bus-based shared memory (SMP), 106 parallel vector processors (PVP) • 2000: 500 máquinas mais rápidas do mundo: – 381: 144 IBM SP (~cluster), 121 Sun (bus SMP), 62 SGI (NUMA SMP), 54 Cray (NUMA SMP) Dados => Parallel computer architecture : a hardware/ software approach, David E. Culler, Jaswinder Pal Singh, with Anoop Gupta. San Francisco : Morgan Kaufmann, c1999.
MO401 11.11 MO401-2007 Revisado LINPACK matrizes 100x100 e 1000x1000 1 1980 1985 1990 1995 2000 10 100 1000 10000 Cray Microprocessadores Xmp/14s2 Xmp/146 Ymp C90 T94 DEC 8200 MIPS M/2000 IBM RS6000/540 Linpack (MFLOPS)
MO401 11.12 MO401-2007 Revisado Classificação de Flynn • Classifica as várias arquiteturas de computadores baseado nos fluxos de Instruções e de Dados que ocorrem no interior dos computadores – SISD - Single Instruction, Single Data stream – SIMD - Single Instruction, Multiple Data stream – MISD - Multiple instruction, Single Data stream – MIMD - Multiple Instruction, Multiple Data stream
MO401 11.13 MO401-2007 Revisado SISD Exemplos: Estações de trabalho e Computadores pessoais com um único processador
MO401 11.14 MO401-2007 Revisado SIMD Exemplos: ILIAC IV, MPP, DHP, MASPAR MP-2 e CPU Vetoriais Modelo de programação simples; Baixo overhead; Flexibilidade Extensões multimidia são Consideradas como uma forma de paralelismo SIMD
MO401 11.15 MO401-2007 Revisado MISD Exemplos: Array Sistólicos Não há versões comerciais deste tipo de multiprocessadores
MO401 11.16 MO401-2007 Revisado MIMD Exemplos: Cosmic Cube, nCube 2, iPSC, FX-2000, SGI Origin, Sun Enterprise 5000 e Redes de Computadores Mais difundida Memória Compartilhada Memória Distribuída Flexível Usa microprocessadores off-the-
MO401 11.17 MO401-2007 Revisado Resumo OBS.: O modelo de Flynn é um modelo de referência, na prática alguns multiprocessadores são hibridos em relação a essas categorias • MIMD – Maioria dos sistemas paralelos existentes – Mais adequado à computação paralela de “propósito geral” – Com Hw e SW corretos, alcança bom desempenho e pode ser construído com uma boa relação custo-desempenho • SIMD – Muitos dos primeiros multiprocessadores, com exceção dos processadores vetorias, na prática “não existem mais”. • MISD – Modelos para computação específica (não há implementações comerciais) • SISD – Computação Seqüencial
MO401 11.18 MO401-2007 Revisado Máquinas MIMD • Multiprocessadores de Memória Compartilhada (Memória Centralizada) (shared-memory multiprocessors) – UMA (Uniform-Memory-Access) – NUMA (NonUniform-Memory-Access) • Espaço de Endereçamento Único
MO401 11.19 MO401-2007 Revisado Máquinas MIMD • Multicomputadores (Memória Descentralizada) (message-passing multicomputers) – Espaço de endereçamento separados por processador – Possui maior bandwidth para as memórias e menor latência – Desvantagens: » latência de comunicação grande » Modelo de programação mais complexo – Pode chamar software com “Remote Procedue Call” (RPC) – Uso de bibliotecas, como MPI: Message Passing Interface – Também chamado de “Comunicação Síncrona” já que a comunicação síncroniza os processos que estão comunicando-se
MO401 11.20 MO401-2007 Revisado Multiprocessadores - UMA
MO401 11.21 MO401-2007 Revisado Multiprocessadores - NUMA
MO401 11.22 MO401-2007 Revisado Multiprocessadores - NUMA
MO401 11.23 MO401-2007 Revisado Multicomputadores
MO401 11.24 MO401-2007 Revisado Programação Paralela Exemplo • Somar 16 valores, utilizando-se 16 processadores • Quantas operações soma são realizadas? • Qual o ganho em relação à solução usando um único processador?
MO401 11.25 MO401-2007 Revisado Programação Paralela Uma Solução
MO401 11.26 MO401-2007 Revisado Programação Paralela Speedup • Somar 16 valores, utilizando-se 16 processadores • Quantas operações soma são realizadas? – Solução seqüencial = 15 operações de Soma – Solução paralela = 4 operações de Soma • Qual o ganho em relação à solução usando um único processador? 75 . 3 4 15   ganho OBS.: 15 Comunicações? 4 Comunicações?
MO401 11.27 MO401-2007 Revisado Desempenho • Speedup - Ganho apresentado pela máquina paralela em relação a uma máquina seqüencial • Qual o comportamento do speedup com o aumento do número de processadores? – Ideal: N – Realidade: menor que N
MO401 11.28 MO401-2007 Revisado Lei de Ahmdahl • Exemplo: Qual a fração paralelizável necessária para se alcançar um speedup de 200 usando-se 256 processadores? P f f speedup    ) 1 ( 1 Onde: f - fração melhorada (paralelizável) P - número de processadores 256 256 256 1 256 ) 1 ( 1 200 f f f f      
MO401 11.29 MO401-2007 Revisado Lei de Ahmdahl 256 255 256 1 200 f   f 255 256 256 200   % 89 . 99 9989 . 0   f
MO401 11.30 MO401-2007 Revisado Métricas para Desempenho • Bandwidth – Alto bandwidth na comunicação – Define os limites da rede, memória e processador – Desafio é compatibilizar a velocidade da interface de rede com o bandwidth da rede • Latência – Afeta o desempenho, uma vez que o processador deverá esperar – Afeta a complexidade de programação, já que requer soluções para sobrepor comunicação com processamento – Overhead de comunicação é um problema em várias máquinas • Esconder a Latência! – Como um mecanismo pode esconder a latência? – Aumenta a responsabilidade do sistema de programação – Exemplos: overlap de envio de mensagens com computação, prefetch de dados, trocar a tarefa em execução
MO401 11.31 MO401-2007 Revisado Arquiteturas Paralela • Arquiteturas paralelas extende a arquitetura de computadores “tradicional” com arquiteturas de comunicação – Abstração (HW/SW interface) – Estrutura Organizacional que realiza a abstração de forma eficiênte
MO401 11.32 MO401-2007 Revisado Framework • Layers: – Modelo de Programação: » Multiprogramming : muito trabalho, sem comunicação » Shared address space: comunicação via memória » Message passing: send/receive de mensagens » Data Parallel: vários agentes operando em diversos conjuntos de dados simultaneamente e trocando informações globais e simultaneamente (shared ou message passing) – Abstração de Comunicação: » Shared address space: exp.: load, store, atomic swap » Message passing: exp.: send, receive library calls
MO401 11.33 MO401-2007 Revisado Modelo: Shared address • Cada processador pode ter acesso a qq posição física na máquina • Cada processo pode usar qq dado que ele compartilha com outros processos • Transferencia de dados via load e store • Data size: byte, word, ... ou cache blocks • Usa memória virtual para mapear endereços virtuais a endereços locais ou remotos • Modelo de hierarquia de memória é aplicável: comunicação move dados para cache local ao processador (como load move dados da memória para a cache) – Latência, BW, escalabilidade em relação à comunicação?
MO401 11.34 MO401-2007 Revisado Modelo: Shared Address (Memória) • Comunicação via Load e Store – Modelo mais antigo e usado • Baseado em timesharing: processos em múltiplos processadores vs. compartilhamento em um processador • processo: um espaço de endereçamento virtual e ~ 1 thread de controle – Multiplos processos podem sobreporem (share), más todas as threads compartilham o espaçode processamento do processo • Escritas, por uma thread, em um espaço compartilhado são visíveis, para leitura, às outras threads – Modelo Usual: share code, private stack, algum shared heap, algum private heap • Interconexão: processador-memória; I/O • Bus: acesso a todas as memórias commesmo tempo (UMA)
MO401 11.35 MO401-2007 Revisado Modelo: Message Passing • Os computadores (CPU, memory, I/O devices) comunicam-se por operações explicitas de I/O • Send especifica o buffer local + processo destino no computador (nó) remoto • Receive especifica o processo origem no nó remoto + buffer local para colocar o dado – Synch: quando é completado um send, quando o buffer free, quando o request é aceito, quando o receive espera por um send
MO401 11.36 MO401-2007 Revisado Modelo: Data Parallel • Operações podem ser executadas em paralelo em cada elemento de uma estrutura de dados regular, ex.: array • 1 Processador de Controle: broadcast para todos PEs • Flags de condição nos PEs podem inibir uma operação • Dados distribuídos em cada memória
MO401 11.37 MO401-2007 Revisado Vantagens: Modelo de Comunicação Memória Compartilhada • Compatibilidade com o hardware SMP • “Fácil” de programar, principalmente quando o padrão de comunicação é complexo ou altera durante a execução • Abilidade para desenvolver aplicações usando modelos SMP, a atenção voltada somente ao desempenho de acessos críticos • Overhead de comunicação baixo,
MO401 11.38 MO401-2007 Revisado Vantagens: Modelo de Comunicação message-passing • Hardware mais simples • Comunicação explicita => fácil de ser entendida; • Comunicação explicita coloca o foco das atenções nos aspectos de custo da computação paralela • A sincronização é naturalmente associada com os envios de mensagens, reduzindo as possibilidades de erros introduzidas por sincronização incorreta
MO401 11.39 MO401-2007 Revisado Coerência? • Informalmente: – “Qualquer leitura deve retornar o valor escrito recentemente” – Mais dificil de ser implementado • Melhor (para “implementação”): – “toda escrita deve ser vista por uma leitura” – Todas as escritas devem ser vistas em ordem (“serialização”) • Duas Regras para Garantir Coerência: – “Se P escreve x e P1 lê x, As escritas de P serão vistas por P1 se as leituras e escritas estão suficientemente isoladas – Escritas em uma mesma posição deve ser serializadas: (Vista em uma dada ordem) » Será vista a última escrita » Caso contrário as escritas serão vistas em uma ordem sem lógica (valor antigo no lugar do novo valor)
MO401 11.40 MO401-2007 Revisado CPU Cache 100 200 A’ B’ Memory 100 200 A B I/O a) Cache e memória coerentes: A’ = A, B’ = B. CPU Cache 550 200 A’ B’ Memory 100 200 A B I/O Output A fornece 100 b) Cache e memória incoerentes: A’ ^= A. CPU Cache 100 200 A’ B’ Memory 100 440 A B I/O Input 440 para B c) Cache e memória incoerente: B’ ^= B. Coerência
MO401 11.41 MO401-2007 Revisado Write Back Write Through Write modifica o dado na ca- che e na memó- ria somene qua ndo necessário Write modifica o dado na ca-che e memória juntos. Bom, não exige do bandwidth da memória. Não é Bom, usa muito bandwidth da memória. Pode ter problemas com várias cópias tendo valores diferentes. Modifica os valores sempre que são escritos; os dados são coerentes. Caches Mecânismo Operação Desempenho Coerência
MO401 11.42 MO401-2007 Revisado Qual o tipo de informação que está na Cache? Test_and_set(lock) shared_data = xyz; Clear(lock); TYPE Shared? Escrito? Como Coerência? Código Shared Não Não é Preciso. Dado Privado Exclusive Sim Write Back Dado Shared Shared Sim Write Back * Interlock Data Shared Sim Write Through ** * Write Back proporciona bom desempenho, e se usarmos performance, write through, haverá degradação no desempenho? ** Write through aqui significa que o o estado de lock é visto por todos imediatamente. Diferentes Tipos de Dados nas Caches
MO401 11.43 MO401-2007 Revisado Possíveis Soluções para Coerência • Solução “Snooping” (Snoopy Bus): – Envia todos os requests de dados para todos os processadores – Processadores verificam se eles têm uma cópia e respondem – Requer broadcast, já que informações “cacheadas” estão nos processadores – Trabalha bem com barramento (broadcast é natural) – Domina as implementações para máquinas pouco escaláveis (maioria no mercado)
MO401 11.44 MO401-2007 Revisado Possíveis Soluções para Coerência • Directory-Based Schemes – Mantem um “relatório” do que está sendo compartilhado em um local centralizado (lógico) – Memória Distribuída => distribui o diretório para alcançar escalabilidade (evita garga-los) – Envia requests ponto-a-ponto para os processadores via network – Escala melhor que Snooping – É anterior aos esquemas baseados em Snooping
MO401 11.45 MO401-2007 Revisado Topologia do Bus Snooping •Memória: centralizada com tempo de acesso uniforme (“uma”) e interconexão por barramento •Exemplos: Sun Enterprise 5000 , SGI Challenge, Intel SystemPro
MO401 11.46 MO401-2007 Revisado Protocolos: Snopy Básicos • Write Invalidate Protocol: – Múltiplas leituras, uma escrita – Escrita em dado compartilhado: é enviado um “invalidate” para todas as caches com snoop e são invalidadas todas as cópias – Read Miss: » Write-through: a memória está sempre atualizada » Write-back: snoop nas caches para encontrar o dado mais recente • Write Broadcast Protocol (tipicamente write through): – Escrita em dado compartilhado: broadcast no barramento, processadores snoop, e atualizam todas as cópias – Read miss: a memória está sempre atualizada • Write serialization: o bus serializa as requisições – O barramento é o único local de arbitragem
MO401 11.47 MO401-2007 Revisado Protocolos: Snopy Básicos • Write Invalidate vs Broadcast: – Invalidate requer uma transação por operação de escrita – Invalidate usa localidade espacial: uma transação por bloco – Broadcast possui menor latência entre escritas e leituras
MO401 11.48 MO401-2007 Revisado Protocolo Snoopy: Exemplo Protocolo Invalidation, Cache write-back • Cada bloco de memória está em um dos estado: – Clean em todas as caches e up-to-date na memória (Shared) – Ou Dirty em exatamente uma cache (Exclusive) – Ou Não está em nenhuma cache • Cada bloco da cache está em um dos estados: – Shared : bloco pode ser lido – Ou Exclusive : a cache tem uma cópia, ele é writeable, e dirty – Ou Invalid : o bloco não contém dado • Read misses: faz todas as caches snoop o bus • Writes em uma clean line são tratados como os misses
MO401 11.49 MO401-2007 Revisado Snoopy-Cache: Máquina de Estados I • FSM para requisições de cache block pela CPU Invalid Shared (read/only) Exclusive (read/write) CPU Read CPU Write CPU Read hit Place read miss on bus Place Write Miss on bus CPU read miss Write back block, Place read miss on bus CPU Write Place Write Miss on Bus CPU Read miss Place read miss on bus CPU Write Miss Write back cache block Place write miss on bus CPU read hit CPU write hit Estados da Cache Block
MO401 11.50 MO401-2007 Revisado Snoopy-Cache State Machine-II • FSM para requisiçoes do bus para cada cache block • Apêndice E traz detalhes sobre bus requests Invalid Shared (read/only) Exclusive (read/write) Write Back Block; (abort memory access) Write miss for this block Read miss for this block Write miss for this block Write Back Block; (abort memory access)
MO401 11.51 MO401-2007 Revisado Snoopy-Cache: Máquina de Estados III Place read miss on bus • FSM para requisições, pela CPU, para cada cache block e para cada requisição do bus para cada cache block Invalid Shared (read/only) Exclusive (read/write) CPU Read CPU Write CPU Read hit Place Write Miss on bus CPU read miss Write back block, Place read miss on bus CPU Write Place Write Miss on Bus CPU Read miss Place read miss on bus CPU Write Miss Write back cache block Place write miss on bus CPU read hit CPU write hit Estados da Cache Block Write miss for this block Write Back Block; (abort memory access) Write miss for this block Read miss for this block Write Back Block; (abort memory access)
MO401 11.52 MO401-2007 Revisado P1 P2 Bus Memory step State Addr Value State Addr Value Action Proc. Addr Value Addr Value P1: Write 10 to A1 P1: Read A1 P2: Read A1 P2: Write 20 to A1 P2: Write 40 to A2 Processor 1 Processor 2 Bus Memory Remote Write or Miss Write Back Remote Write or Miss Invalid Shared Exclusive CPU Read hit Read miss on bus Write miss on bus CPU Write Place Write Miss on Bus CPU read hit CPU write hit Remote Read Write Back Cache de P1. Exemplo Assuma que A1 e A2 são mapeados para o mesmo bloco da cache, o estado da cache inicial é Invalid e A1 ≠ A2 Arco ativo:
MO401 11.53 MO401-2007 Revisado P1 P2 Bus Memory step State Addr Value State Addr Value Action Proc. Addr Value Addr Value P1: Write 10 to A1 Excl. A1 10 WrMs P1 A1 P1: Read A1 P2: Read A1 P2: Write 20 to A1 P2: Write 40 to A2 Exemplo: passo 1 Assuma que A1 e A2 são mapeados para o mesmo bloco da cache, o estado da cache inicial é Invalid e A1 ≠ A2 Aresta Ativa: Remote Write Write Back Remote Write Invalid Shared Exclusive CPU Read hit Read miss on bus Write miss on bus CPU Write Place Write Miss on Bus CPU read hit CPU write hit Remote Read Write Back
MO401 11.54 MO401-2007 Revisado P1 P2 Bus Memory step State Addr Value State Addr Value Action Proc. Addr Value Addr Value P1: Write 10 to A1 Excl. A1 10 WrMs P1 A1 P1: Read A1 Excl. A1 10 P2: Read A1 P2: Write 20 to A1 P2: Write 40 to A2 Exemplo: passo 2 Assuma que A1 e A2 são mapeados para o mesmo bloco da cache, o estado da cache inicial é Invalid e A1 ≠ A2 Remote Write Write Back Remote Write Invalid Shared Exclusive CPU Read hit Read miss on bus Write miss on bus CPU Write Place Write Miss on Bus CPU read hit CPU write hit Remote Read Write Back
MO401 11.55 MO401-2007 Revisado A1 Exemplo: passo 3 Assuma que A1 e A2 são mapeados para o mesmo bloco da cache, o estado da cache inicial é Invalid e A1 ≠ A2 Remote Write Write Back Remote Write Invalid Shared Exclusive CPU Read hit Read miss on bus Write miss on bus CPU Write Place Write Miss on Bus CPU read hit CPU write hit Remote Read Write Back CPU Write Miss Write Back CPU Read Miss P1 P2 Bus Memory step State Addr Value State Addr Value Action Proc. Addr Value Addr Value P1: Write 10 to A1 Excl. A1 10 WrMs P1 A1 P1: Read A1 Excl. A1 10 P2: Read A1 Shar. A1 RdMs P2 A1 Shar. A1 10 WrBk P1 A1 10 10 Shar. A1 10 RdDa P2 A1 10 10 P2: Write 20 to A1 P2: Write 40 to A2
MO401 11.56 MO401-2007 Revisado A1 Exemplo: passo 4 Assuma que A1 e A2 são mapeados para o mesmo bloco da cache, o estado da cache inicial é Invalid e A1 ≠ A2 Remote Write Write Back Remote Write Invalid Shared Exclusive CPU Read hit Read miss on bus Write miss on bus CPU Write Place Write Miss on Bus CPU read hit CPU write hit Remote Read Write Back CPU Write Miss Write Back CPU Read Miss P1 P2 Bus Memory step State Addr Value State Addr Value Action Proc. Addr Value Addr Value P1: Write 10 to A1 Excl. A1 10 WrMs P1 A1 P1: Read A1 Excl. A1 10 P2: Read A1 Shar. A1 RdMs P2 A1 Shar. A1 10 WrBk P1 A1 10 10 Shar. A1 10 RdDa P2 A1 10 10 P2: Write 20 to A1 Inv. Excl. A1 20 WrMs P2 A1 10 P2: Write 40 to A2
MO401 11.57 MO401-2007 Revisado P1 P2 Bus Memory step State Addr Value State Addr Value Action Proc. Addr Value Addr Value P1: Write 10 to A1 Excl. A1 10 WrMs P1 A1 P1: Read A1 Excl. A1 10 P2: Read A1 Shar. A1 RdMs P2 A1 Shar. A1 10 WrBk P1 A1 10 10 Shar. A1 10 RdDa P2 A1 10 10 P2: Write 20 to A1 Inv. Excl. A1 20 WrMs P2 A1 10 P2: Write 40 to A2 WrMs P2 A2 10 Excl. A2 40 WrBk P2 A1 20 20 A1 A1 Exemplo: passo 5 Assuma que A1 e A2 são mapeados para o mesmo bloco da cache, o estado da cache inicial é Invalid e A1 ≠ A2 Remote Write Write Back Remote Write Invalid Shared Exclusive CPU Read hit Read miss on bus Write miss on bus CPU Write Place Write Miss on Bus CPU read hit CPU write hit Remote Read Write Back CPU Write Miss Write Back CPU Read Miss
MO401 11.58 MO401-2007 Revisado Variações de Snooping Cache Berkeley Protocol Owned Exclusive Owned Shared Shared Invalid Basic Protocol Exclusive Shared Invalid Illinois Protocol Private Dirty Private Clean Shared Invalid MESI Protocol Modfied (private,!=Memory) Exclusive (private,=Memory) Shared (shared,=Memory) Invalid
MO401 11.59 MO401-2007 Revisado Implelmentação Restrições (ou complicações) • Write: – Não pode ser atualizado a até aquisição do barramento » Além disso, outro processador pode obter o barramento primeiro e escrever o mesmo bloco! – Processo de 2 passos: » Arbitragem do barramento » Informar miss no barramento e completar a operação – Se um miss ocorre para o bloco enquanto aguarda pelo barramento, o miss deve ser tratado (pode ser necessário invalidar) e reiniciar. – Transações “quebradas” no barramento: » As transações no bus não são atômicas: pode haver múltiplas transações em progresso para o bloco » Múltiplos misses podem serem sobrepostos, permitindo duas caches prenderem o bloco no estado Exclusive
MO401 11.60 MO401-2007 Revisado Implementando Snooping Caches • Múltiplos processadores devem usar o barramento (acesso de endereços e dados) • Adicionar alguns comandos novos para manter a coerência, em adição à leitura e escrita • Os Processadores continuamente deve monitorar o barramento de endereços – Se há “address matches tag”, então invalidate ou update • Já que toda transação no barramento verifica a cache tag, pode interferir na verificação da CPU: – solução 1: duplicar as tags para a cache L1, permitindo a verificação em paralelo com a CPU – solução 2: Cache L2, já tem uma duplicata, use essa tag (maior integração entre L1 e L2) » block size, associatividade de L2 afeta L1
MO401 11.61 MO401-2007 Revisado Implementando Snooping Caches • O barramento serializa os writes, mantendo-se o barramento, nenhuma outra operação pode ser executada na memória • Adição de bit extra na cache para determinar se compartilhado ou não. • Adicionar um quarto estado (MESI)
MO401 11.62 MO401-2007 Revisado Grandes MPs • Memórias (separadas) por Processador • Acesso Local ou Remoto via controlador de memória • Uma solução: não incluir Coerência de Cache (conceito de dados locais e remotos e dados compartilhados são marcados como Não “Cacheado”) • Alternativa: diretório por cache que monitora o estado de todos os blocos em todas as caches – Qual cache tem uma cópia do bloco, dirty vs. clean, ... • Info por bloco de memória vs. por bloco de cache? • O directório pode se tornar um gargalo !!! – Distribuir o diretório pelas memórias
MO401 11.63 MO401-2007 Revisado Diretórios Distribuídos em MPs Directory Protocol => Trabalho
MO401 11.64 MO401-2007 Revisado Questões Fundamentais • 3 questões fundamentais caracterizam as máquinas paralelas 1. Classificação (Nomenclatura) 2. Sincronização 3. Desempenho: Latency and Bandwidth
MO401 11.65 MO401-2007 Revisado Classificação • A Classificação define como resolver o problema how – Qual dado é compartilhado – Como ele é endereçado – Quais operações podem ter acesso aos dados – Como cada processo interagem com os outros processsos • A escolha de uma Classificação afeta a produção do código pelo compilador; via load (é necessário um endereço) ou troca de mensagem (número do processador e endereço virtual) • A escolha de uma Classificação afeta a replicação de dados; via load na hierarquia de memória ou via replicação por SW e consistência
MO401 11.66 MO401-2007 Revisado Classificação • Global physical address space: qualquer processador pode gerar endereços e acessa- los em uma única operação • Global virtual address space: Se o espaço de endereçamento de cada processo pode ser configurado para conter todo os dados compartilhados pelo programa paralelo • Segmented shared address space: A localiação é endereçada por <process number, address> e de forma uniforme por todos os processos do programa paralelo
MO401 11.67 MO401-2007 Revisado Sincronização • Para haver cooperação os processos devem ser coordenados • Troca de Mensagens implementa uma coordenação implicita com o envio e recebimento dos dados • Shared address => operações adicionais para implementar uma coordenação explicita
MO401 11.68 MO401-2007 Revisado Sincronização • Sincronização? – Necessário para se conhecer quando é seguro, para os diferentes processos, usar o dado compartilhado • Mecanismo para Sincronização: – Operação atómica para buscar e atualizar dado na memória (sem interrupção); – Operações de sincronização no nível Usuário que usem essas primitivas; – Para MPs em larga escala, a sincronização pode ser o(um) gargalo; Técnicas para reduzirem a contenção e as latências nos mecanismos de sincronização
MO401 11.69 MO401-2007 Revisado Instruções para busca e atualização de dados na memória • Atomic exchange: troca de um valor em um registrador com um valor em memória 0 => sincronismo está livre 1 => sincronismo está bloqueado e indisponível – “Seta” registrador em 1 & swap – Novo valor no registrador determina o sucesso em obter o “lock” 0 se sucesso em “setar” o lock (é o primeiro) 1 se outro processo já obteve sucesso – O importante é que a operação é indivisivel • Test-and-set: testa um valor e “seta” se passar no teste • Fetch-and-increment: retorna o valor para a posição de memória e, atomicamente, o incrementa – 0 => sincronismo está livre

Mais conteúdo relacionado

PPSX
Processamento paralelo
porGabriel Nepomuceno
 
PDF
Arquitetura paralela
porVerônica Veiga
 
PDF
arquitetura_computadores_paralelismo.pdf
porssuser4051be1
 
PDF
11 ac
pormaldelrey
 
PPT
Research Group on High Performance Computing - MDCC/UFC - Fortaleza, Brazil
porHeron Carvalho
 
PDF
[Pereira ic'2011] explorando o paralelismo no nível de threads
porMarcio Machado Pereira
 
ODP
Introdução à Computação de Alto Desempenho - Parte I
porVinícius Hax
 
PDF
Arquitetura de Computadores - Lecom - UFMG
pordjonatascostsa
 
Processamento paralelo
porGabriel Nepomuceno
 
Arquitetura paralela
porVerônica Veiga
 
arquitetura_computadores_paralelismo.pdf
porssuser4051be1
 
11 ac
pormaldelrey
 
Research Group on High Performance Computing - MDCC/UFC - Fortaleza, Brazil
porHeron Carvalho
 
[Pereira ic'2011] explorando o paralelismo no nível de threads
porMarcio Machado Pereira
 
Introdução à Computação de Alto Desempenho - Parte I
porVinícius Hax
 
Arquitetura de Computadores - Lecom - UFMG
pordjonatascostsa
 

Semelhante a Kasumin.pptfsfsfdsfdsfsfsdfdsfsdfsdfdsfdsfdsf

PDF
Paralelização em Sistemas Computacionais por Bruno Domingues
porJoao Galdino Mello de Souza
 
PDF
Processamento paralelo
porAlvaro Oliveira
 
PPT
SO - Aula 01 - Introducao
porGabriel Feitosa Vilar
 
PDF
Palestra: Computação Paralela na SECOMP 2013 (UNIFEI)
porIntel Software Brasil
 
PDF
06. Sistemas com multiplos processadores-1.pdf
porfranciscopenicelag
 
PPT
O Futuro dos Microprocessadores SO_Custer.ppt
porApebNetherlands
 
PPTX
Computação de alta performance
porGrupoAlves - professor
 
PDF
Computação Paralela - Uma Abordagem Geral
porIgor José F. Freitas
 
PPTX
Arquitetura de computadores Módulo 4
porLuis Ferreira
 
PDF
intro.pdf
porEmanuelaVitoriaDiasM
 
PPT
Arquitetura e Organização de Computadores: Evolução e Desempenho de Computadores
porWellington Oliveira
 
PDF
Computação Manycore: Uma Arquitetura muito além do Multicore!
porIntel Software Brasil
 
PPT
História dos Sistemas - 3a Semana de SI
porLeo Lorieri
 
PDF
FISL14: Como domar uma fera de 1 TFlop que cabe na palma da sua mão!
porIntel Software Brasil
 
PDF
FISL14: Como domar uma fera de 1 TFlop que cabe na palma da sua mão!
porLuciano Palma
 
PPTX
Computação paralela 2 cluster e grid
porFernando Gomes Chaves
 
PPTX
Aula 5 de Arquitetura de Computadores
porMarco Silva
 
PDF
Aula 3 - SAM - Plataformas
porGuilherme Nonino Rosa
 
PDF
Organizações de Múltiplos Processadores - UFMA - Engenharia da Computação.
porLeonardo Venancio
 
PDF
História dos Sistemas - Por que estamos fazendo desse jeito
porLeo Lorieri
 
Paralelização em Sistemas Computacionais por Bruno Domingues
porJoao Galdino Mello de Souza
 
Processamento paralelo
porAlvaro Oliveira
 
SO - Aula 01 - Introducao
porGabriel Feitosa Vilar
 
Palestra: Computação Paralela na SECOMP 2013 (UNIFEI)
porIntel Software Brasil
 
06. Sistemas com multiplos processadores-1.pdf
porfranciscopenicelag
 
O Futuro dos Microprocessadores SO_Custer.ppt
porApebNetherlands
 
Computação de alta performance
porGrupoAlves - professor
 
Computação Paralela - Uma Abordagem Geral
porIgor José F. Freitas
 
Arquitetura de computadores Módulo 4
porLuis Ferreira
 
intro.pdf
porEmanuelaVitoriaDiasM
 
Arquitetura e Organização de Computadores: Evolução e Desempenho de Computadores
porWellington Oliveira
 
Computação Manycore: Uma Arquitetura muito além do Multicore!
porIntel Software Brasil
 
História dos Sistemas - 3a Semana de SI
porLeo Lorieri
 
FISL14: Como domar uma fera de 1 TFlop que cabe na palma da sua mão!
porIntel Software Brasil
 
FISL14: Como domar uma fera de 1 TFlop que cabe na palma da sua mão!
porLuciano Palma
 
Computação paralela 2 cluster e grid
porFernando Gomes Chaves
 
Aula 5 de Arquitetura de Computadores
porMarco Silva
 
Aula 3 - SAM - Plataformas
porGuilherme Nonino Rosa
 
Organizações de Múltiplos Processadores - UFMA - Engenharia da Computação.
porLeonardo Venancio
 
História dos Sistemas - Por que estamos fazendo desse jeito
porLeo Lorieri
 

Kasumin.pptfsfsfdsfdsfsfsdfdsfsdfsdfdsfdsfdsf

  • 1.
    MO401 11.1 MO401-2007 Revisado 2006 Prof. Paulo CesarCentoducatte ducatte@ic.unicamp.br www.ic.unicamp.br/~ducatte MO401 Arquitetura de Computadores I
  • 2.
    MO401 11.2 MO401-2007 Revisado MO401 Arquitetura de ComputadoresI Multiprocessadores e Paralelismo em Nível de Thread “Computer Architecture: A Quantitative Approach” - (Capítulo 6)
  • 3.
    MO401 11.3 MO401-2007 Revisado Multiprocessadore e Thread Sumário •Introdução • Níveis de Paralelismo • Multiprocessadores? • Classificação de Flynn • Máquinas MIMD – UMA – NUMA – Multicomputadores • Lei de Ahmdahl • Métricas para Desempenho • Arquiteturas Paralela • Modelos: Shared Adress e Message Passing • Coerência – Definição – Soluções
  • 4.
    MO401 11.4 MO401-2007 Revisado Computadores Paralelos • Definição: “Aparallel computer is a collection of processing elements that cooperate and communicate to solve large problems fast.” Almasi and Gottlieb, Highly Parallel Computing ,1989
  • 5.
    MO401 11.5 MO401-2007 Revisado Computadores Paralelos: Introdução •Questões que devem ser respondidas: – Qual o tamanho da coleção de elementos de processamento? – Os elementos de processamento são realmente úteis? (ou o quão útil é cada elemento de processamento?) – Como eles cooperam entre si e como comunicam-se? – Como os dados são transmitidos? – Qual o tipo de interconexão utilizada? – Quais são as primitvas de HW e SW visíveis ao programador? – Proporciona ganho de desempenho?
  • 6.
    MO401 11.6 MO401-2007 Revisado • Desde osanos 1950s: replicar processadores para adicionar desempenho vs. projetar processadores mais rápidos • Devemos inovar na organização talhada para um particular modelo de programação já que mono- processamento não poderá avançar sempre – a velocidade de um processador não aumentará indefinidamente devido o seu limite ser a velocidade da luz: 1972, … , 1989 – (e agora que o projeto de processadores mais rápidos está encontrando uma barreira que não a velocidade da luz?) – em 1990s aparecem máquinas comerciais: Thinking Machines, Kendall Square, ... Computadores Paralelos: Introdução
  • 7.
    MO401 11.7 MO401-2007 Revisado Paralelismo, em queNível? • Bit level parallelism: 1970 a ~1985 – Microprocessadores de 4 bits, 8 bits, 16 bits, 32 bits • Instruction level parallelism (ILP): ~1985 até os dias atuais – Pipelining – Superscalar – VLIW – Out-of-Order execution – Limits dos beneficios de ILP? • Process Level ou Thread level parallelism (processamento de proposito geral) – Servidores são paralelos – Desktop dual processor PC, são paralelos?
  • 8.
    MO401 11.8 MO401-2007 Revisado Por que Multiprocessadores? 1.Os Micro-processadores são as CPUs mais rápidas • Redesenhar uma CPU é mais díficil que colocalas em uma coleção 2. Complexidade dos micro-processadores atuais • Novas idéias, em quantidade, para sustentar 1.5X/ano? 3. Aumento de desempenho baixo com softwares paralelos (aplicações científicas, bancos de dados, SO) 4. O mercado emergente de embedded e servidores tem levado a adição de microprocessadores nos desktops • Paralelismo de funções embedded (modelo produtor- consumidor) • O mérito dos Servidores tem se baseado em tarefas por horas (throughput) não por latência
  • 9.
    MO401 11.9 MO401-2007 Revisado Computadores Paralelos Introdução • Idéiasmais antigas: escalar o número de processadores objetivando desempenho • Máquinas “atuais”: Sun Enterprise 10000 (2000) – 64 400 MHz UltraSPARC® II CPUs, 64 GB SDRAM, 868 18GB disk, tape – $4,720,800 total – 64 CPUs 15%,64 GB DRAM 11%, disks 55%, gabinete 16% ($10,800 por processador ou ~0.2% por processador) – Mínimo E10K - 1 CPU, 1 GB DRAM, 0 disks, tape ~$286,700 – $10,800 (4%) por CPU, mais $39,600 board/4 CPUs (~8%/CPU) • Máquinas “Atuais”: Dell Workstation 220 (2001) – 866 MHz Intel Pentium® III (Minitower) – 0.125 GB RDRAM, 1 10GB disk, 12X CD, 17” monitor, nVIDIA GeForce 2 GTS,32MB DDR Graphics card, 1yr service – $1,600; para processador extra + $350 (~20%)
  • 10.
    MO401 11.10 MO401-2007 Revisado Para onde vãoos Supercomputadores • Linpack (algebra linear) para Vector Supercomputers vs. Microprocessadores (próximo slide) • 1997: 500 máquinas mais rápidas do mundo: – 319 Massively Parallel Processors (MPP), 73 bus-based shared memory (SMP), 106 parallel vector processors (PVP) • 2000: 500 máquinas mais rápidas do mundo: – 381: 144 IBM SP (~cluster), 121 Sun (bus SMP), 62 SGI (NUMA SMP), 54 Cray (NUMA SMP) Dados => Parallel computer architecture : a hardware/ software approach, David E. Culler, Jaswinder Pal Singh, with Anoop Gupta. San Francisco : Morgan Kaufmann, c1999.
  • 11.
    MO401 11.11 MO401-2007 Revisado LINPACK matrizes 100x100 e1000x1000 1 1980 1985 1990 1995 2000 10 100 1000 10000 Cray Microprocessadores Xmp/14s2 Xmp/146 Ymp C90 T94 DEC 8200 MIPS M/2000 IBM RS6000/540 Linpack (MFLOPS)
  • 12.
    MO401 11.12 MO401-2007 Revisado Classificação de Flynn •Classifica as várias arquiteturas de computadores baseado nos fluxos de Instruções e de Dados que ocorrem no interior dos computadores – SISD - Single Instruction, Single Data stream – SIMD - Single Instruction, Multiple Data stream – MISD - Multiple instruction, Single Data stream – MIMD - Multiple Instruction, Multiple Data stream
  • 13.
    MO401 11.13 MO401-2007 Revisado SISD Exemplos: Estações detrabalho e Computadores pessoais com um único processador
  • 14.
    MO401 11.14 MO401-2007 Revisado SIMD Exemplos: ILIAC IV,MPP, DHP, MASPAR MP-2 e CPU Vetoriais Modelo de programação simples; Baixo overhead; Flexibilidade Extensões multimidia são Consideradas como uma forma de paralelismo SIMD
  • 15.
    MO401 11.15 MO401-2007 Revisado MISD Exemplos: Array Sistólicos Nãohá versões comerciais deste tipo de multiprocessadores
  • 16.
    MO401 11.16 MO401-2007 Revisado MIMD Exemplos: Cosmic Cube, nCube2, iPSC, FX-2000, SGI Origin, Sun Enterprise 5000 e Redes de Computadores Mais difundida Memória Compartilhada Memória Distribuída Flexível Usa microprocessadores off-the-
  • 17.
    MO401 11.17 MO401-2007 Revisado Resumo OBS.: O modelode Flynn é um modelo de referência, na prática alguns multiprocessadores são hibridos em relação a essas categorias • MIMD – Maioria dos sistemas paralelos existentes – Mais adequado à computação paralela de “propósito geral” – Com Hw e SW corretos, alcança bom desempenho e pode ser construído com uma boa relação custo-desempenho • SIMD – Muitos dos primeiros multiprocessadores, com exceção dos processadores vetorias, na prática “não existem mais”. • MISD – Modelos para computação específica (não há implementações comerciais) • SISD – Computação Seqüencial
  • 18.
    MO401 11.18 MO401-2007 Revisado Máquinas MIMD • Multiprocessadoresde Memória Compartilhada (Memória Centralizada) (shared-memory multiprocessors) – UMA (Uniform-Memory-Access) – NUMA (NonUniform-Memory-Access) • Espaço de Endereçamento Único
  • 19.
    MO401 11.19 MO401-2007 Revisado Máquinas MIMD • Multicomputadores(Memória Descentralizada) (message-passing multicomputers) – Espaço de endereçamento separados por processador – Possui maior bandwidth para as memórias e menor latência – Desvantagens: » latência de comunicação grande » Modelo de programação mais complexo – Pode chamar software com “Remote Procedue Call” (RPC) – Uso de bibliotecas, como MPI: Message Passing Interface – Também chamado de “Comunicação Síncrona” já que a comunicação síncroniza os processos que estão comunicando-se
  • 20.
  • 21.
  • 22.
  • 23.
  • 24.
    MO401 11.24 MO401-2007 Revisado Programação Paralela Exemplo • Somar16 valores, utilizando-se 16 processadores • Quantas operações soma são realizadas? • Qual o ganho em relação à solução usando um único processador?
  • 25.
  • 26.
    MO401 11.26 MO401-2007 Revisado Programação Paralela Speedup • Somar16 valores, utilizando-se 16 processadores • Quantas operações soma são realizadas? – Solução seqüencial = 15 operações de Soma – Solução paralela = 4 operações de Soma • Qual o ganho em relação à solução usando um único processador? 75 . 3 4 15   ganho OBS.: 15 Comunicações? 4 Comunicações?
  • 27.
    MO401 11.27 MO401-2007 Revisado Desempenho • Speedup -Ganho apresentado pela máquina paralela em relação a uma máquina seqüencial • Qual o comportamento do speedup com o aumento do número de processadores? – Ideal: N – Realidade: menor que N
  • 28.
    MO401 11.28 MO401-2007 Revisado Lei de Ahmdahl •Exemplo: Qual a fração paralelizável necessária para se alcançar um speedup de 200 usando-se 256 processadores? P f f speedup    ) 1 ( 1 Onde: f - fração melhorada (paralelizável) P - número de processadores 256 256 256 1 256 ) 1 ( 1 200 f f f f      
  • 29.
  • 30.
    MO401 11.30 MO401-2007 Revisado Métricas para Desempenho •Bandwidth – Alto bandwidth na comunicação – Define os limites da rede, memória e processador – Desafio é compatibilizar a velocidade da interface de rede com o bandwidth da rede • Latência – Afeta o desempenho, uma vez que o processador deverá esperar – Afeta a complexidade de programação, já que requer soluções para sobrepor comunicação com processamento – Overhead de comunicação é um problema em várias máquinas • Esconder a Latência! – Como um mecanismo pode esconder a latência? – Aumenta a responsabilidade do sistema de programação – Exemplos: overlap de envio de mensagens com computação, prefetch de dados, trocar a tarefa em execução
  • 31.
    MO401 11.31 MO401-2007 Revisado Arquiteturas Paralela • Arquiteturasparalelas extende a arquitetura de computadores “tradicional” com arquiteturas de comunicação – Abstração (HW/SW interface) – Estrutura Organizacional que realiza a abstração de forma eficiênte
  • 32.
    MO401 11.32 MO401-2007 Revisado Framework • Layers: – Modelode Programação: » Multiprogramming : muito trabalho, sem comunicação » Shared address space: comunicação via memória » Message passing: send/receive de mensagens » Data Parallel: vários agentes operando em diversos conjuntos de dados simultaneamente e trocando informações globais e simultaneamente (shared ou message passing) – Abstração de Comunicação: » Shared address space: exp.: load, store, atomic swap » Message passing: exp.: send, receive library calls
  • 33.
    MO401 11.33 MO401-2007 Revisado Modelo: Shared address •Cada processador pode ter acesso a qq posição física na máquina • Cada processo pode usar qq dado que ele compartilha com outros processos • Transferencia de dados via load e store • Data size: byte, word, ... ou cache blocks • Usa memória virtual para mapear endereços virtuais a endereços locais ou remotos • Modelo de hierarquia de memória é aplicável: comunicação move dados para cache local ao processador (como load move dados da memória para a cache) – Latência, BW, escalabilidade em relação à comunicação?
  • 34.
    MO401 11.34 MO401-2007 Revisado Modelo: Shared Address(Memória) • Comunicação via Load e Store – Modelo mais antigo e usado • Baseado em timesharing: processos em múltiplos processadores vs. compartilhamento em um processador • processo: um espaço de endereçamento virtual e ~ 1 thread de controle – Multiplos processos podem sobreporem (share), más todas as threads compartilham o espaçode processamento do processo • Escritas, por uma thread, em um espaço compartilhado são visíveis, para leitura, às outras threads – Modelo Usual: share code, private stack, algum shared heap, algum private heap • Interconexão: processador-memória; I/O • Bus: acesso a todas as memórias commesmo tempo (UMA)
  • 35.
    MO401 11.35 MO401-2007 Revisado Modelo: Message Passing •Os computadores (CPU, memory, I/O devices) comunicam-se por operações explicitas de I/O • Send especifica o buffer local + processo destino no computador (nó) remoto • Receive especifica o processo origem no nó remoto + buffer local para colocar o dado – Synch: quando é completado um send, quando o buffer free, quando o request é aceito, quando o receive espera por um send
  • 36.
    MO401 11.36 MO401-2007 Revisado Modelo: Data Parallel •Operações podem ser executadas em paralelo em cada elemento de uma estrutura de dados regular, ex.: array • 1 Processador de Controle: broadcast para todos PEs • Flags de condição nos PEs podem inibir uma operação • Dados distribuídos em cada memória
  • 37.
    MO401 11.37 MO401-2007 Revisado Vantagens: Modelo deComunicação Memória Compartilhada • Compatibilidade com o hardware SMP • “Fácil” de programar, principalmente quando o padrão de comunicação é complexo ou altera durante a execução • Abilidade para desenvolver aplicações usando modelos SMP, a atenção voltada somente ao desempenho de acessos críticos • Overhead de comunicação baixo,
  • 38.
    MO401 11.38 MO401-2007 Revisado Vantagens: Modelo deComunicação message-passing • Hardware mais simples • Comunicação explicita => fácil de ser entendida; • Comunicação explicita coloca o foco das atenções nos aspectos de custo da computação paralela • A sincronização é naturalmente associada com os envios de mensagens, reduzindo as possibilidades de erros introduzidas por sincronização incorreta
  • 39.
    MO401 11.39 MO401-2007 Revisado Coerência? • Informalmente: – “Qualquerleitura deve retornar o valor escrito recentemente” – Mais dificil de ser implementado • Melhor (para “implementação”): – “toda escrita deve ser vista por uma leitura” – Todas as escritas devem ser vistas em ordem (“serialização”) • Duas Regras para Garantir Coerência: – “Se P escreve x e P1 lê x, As escritas de P serão vistas por P1 se as leituras e escritas estão suficientemente isoladas – Escritas em uma mesma posição deve ser serializadas: (Vista em uma dada ordem) » Será vista a última escrita » Caso contrário as escritas serão vistas em uma ordem sem lógica (valor antigo no lugar do novo valor)
  • 40.
    MO401 11.40 MO401-2007 Revisado CPU Cache 100 200 A’ B’ Memory 100 200 A B I/O a) Cache ememória coerentes: A’ = A, B’ = B. CPU Cache 550 200 A’ B’ Memory 100 200 A B I/O Output A fornece 100 b) Cache e memória incoerentes: A’ ^= A. CPU Cache 100 200 A’ B’ Memory 100 440 A B I/O Input 440 para B c) Cache e memória incoerente: B’ ^= B. Coerência
  • 41.
    MO401 11.41 MO401-2007 Revisado Write Back Write Through Writemodifica o dado na ca- che e na memó- ria somene qua ndo necessário Write modifica o dado na ca-che e memória juntos. Bom, não exige do bandwidth da memória. Não é Bom, usa muito bandwidth da memória. Pode ter problemas com várias cópias tendo valores diferentes. Modifica os valores sempre que são escritos; os dados são coerentes. Caches Mecânismo Operação Desempenho Coerência
  • 42.
    MO401 11.42 MO401-2007 Revisado Qual o tipode informação que está na Cache? Test_and_set(lock) shared_data = xyz; Clear(lock); TYPE Shared? Escrito? Como Coerência? Código Shared Não Não é Preciso. Dado Privado Exclusive Sim Write Back Dado Shared Shared Sim Write Back * Interlock Data Shared Sim Write Through ** * Write Back proporciona bom desempenho, e se usarmos performance, write through, haverá degradação no desempenho? ** Write through aqui significa que o o estado de lock é visto por todos imediatamente. Diferentes Tipos de Dados nas Caches
  • 43.
    MO401 11.43 MO401-2007 Revisado Possíveis Soluções paraCoerência • Solução “Snooping” (Snoopy Bus): – Envia todos os requests de dados para todos os processadores – Processadores verificam se eles têm uma cópia e respondem – Requer broadcast, já que informações “cacheadas” estão nos processadores – Trabalha bem com barramento (broadcast é natural) – Domina as implementações para máquinas pouco escaláveis (maioria no mercado)
  • 44.
    MO401 11.44 MO401-2007 Revisado Possíveis Soluções paraCoerência • Directory-Based Schemes – Mantem um “relatório” do que está sendo compartilhado em um local centralizado (lógico) – Memória Distribuída => distribui o diretório para alcançar escalabilidade (evita garga-los) – Envia requests ponto-a-ponto para os processadores via network – Escala melhor que Snooping – É anterior aos esquemas baseados em Snooping
  • 45.
    MO401 11.45 MO401-2007 Revisado Topologia do BusSnooping •Memória: centralizada com tempo de acesso uniforme (“uma”) e interconexão por barramento •Exemplos: Sun Enterprise 5000 , SGI Challenge, Intel SystemPro
  • 46.
    MO401 11.46 MO401-2007 Revisado Protocolos: Snopy Básicos •Write Invalidate Protocol: – Múltiplas leituras, uma escrita – Escrita em dado compartilhado: é enviado um “invalidate” para todas as caches com snoop e são invalidadas todas as cópias – Read Miss: » Write-through: a memória está sempre atualizada » Write-back: snoop nas caches para encontrar o dado mais recente • Write Broadcast Protocol (tipicamente write through): – Escrita em dado compartilhado: broadcast no barramento, processadores snoop, e atualizam todas as cópias – Read miss: a memória está sempre atualizada • Write serialization: o bus serializa as requisições – O barramento é o único local de arbitragem
  • 47.
    MO401 11.47 MO401-2007 Revisado Protocolos: Snopy Básicos •Write Invalidate vs Broadcast: – Invalidate requer uma transação por operação de escrita – Invalidate usa localidade espacial: uma transação por bloco – Broadcast possui menor latência entre escritas e leituras
  • 48.
    MO401 11.48 MO401-2007 Revisado Protocolo Snoopy: Exemplo ProtocoloInvalidation, Cache write-back • Cada bloco de memória está em um dos estado: – Clean em todas as caches e up-to-date na memória (Shared) – Ou Dirty em exatamente uma cache (Exclusive) – Ou Não está em nenhuma cache • Cada bloco da cache está em um dos estados: – Shared : bloco pode ser lido – Ou Exclusive : a cache tem uma cópia, ele é writeable, e dirty – Ou Invalid : o bloco não contém dado • Read misses: faz todas as caches snoop o bus • Writes em uma clean line são tratados como os misses
  • 49.
    MO401 11.49 MO401-2007 Revisado Snoopy-Cache: Máquina deEstados I • FSM para requisições de cache block pela CPU Invalid Shared (read/only) Exclusive (read/write) CPU Read CPU Write CPU Read hit Place read miss on bus Place Write Miss on bus CPU read miss Write back block, Place read miss on bus CPU Write Place Write Miss on Bus CPU Read miss Place read miss on bus CPU Write Miss Write back cache block Place write miss on bus CPU read hit CPU write hit Estados da Cache Block
  • 50.
    MO401 11.50 MO401-2007 Revisado Snoopy-Cache State Machine-II •FSM para requisiçoes do bus para cada cache block • Apêndice E traz detalhes sobre bus requests Invalid Shared (read/only) Exclusive (read/write) Write Back Block; (abort memory access) Write miss for this block Read miss for this block Write miss for this block Write Back Block; (abort memory access)
  • 51.
    MO401 11.51 MO401-2007 Revisado Snoopy-Cache: Máquina deEstados III Place read miss on bus • FSM para requisições, pela CPU, para cada cache block e para cada requisição do bus para cada cache block Invalid Shared (read/only) Exclusive (read/write) CPU Read CPU Write CPU Read hit Place Write Miss on bus CPU read miss Write back block, Place read miss on bus CPU Write Place Write Miss on Bus CPU Read miss Place read miss on bus CPU Write Miss Write back cache block Place write miss on bus CPU read hit CPU write hit Estados da Cache Block Write miss for this block Write Back Block; (abort memory access) Write miss for this block Read miss for this block Write Back Block; (abort memory access)
  • 52.
    MO401 11.52 MO401-2007 Revisado P1 P2 BusMemory step State Addr Value State Addr Value Action Proc. Addr Value Addr Value P1: Write 10 to A1 P1: Read A1 P2: Read A1 P2: Write 20 to A1 P2: Write 40 to A2 Processor 1 Processor 2 Bus Memory Remote Write or Miss Write Back Remote Write or Miss Invalid Shared Exclusive CPU Read hit Read miss on bus Write miss on bus CPU Write Place Write Miss on Bus CPU read hit CPU write hit Remote Read Write Back Cache de P1. Exemplo Assuma que A1 e A2 são mapeados para o mesmo bloco da cache, o estado da cache inicial é Invalid e A1 ≠ A2 Arco ativo:
  • 53.
    MO401 11.53 MO401-2007 Revisado P1 P2 BusMemory step State Addr Value State Addr Value Action Proc. Addr Value Addr Value P1: Write 10 to A1 Excl. A1 10 WrMs P1 A1 P1: Read A1 P2: Read A1 P2: Write 20 to A1 P2: Write 40 to A2 Exemplo: passo 1 Assuma que A1 e A2 são mapeados para o mesmo bloco da cache, o estado da cache inicial é Invalid e A1 ≠ A2 Aresta Ativa: Remote Write Write Back Remote Write Invalid Shared Exclusive CPU Read hit Read miss on bus Write miss on bus CPU Write Place Write Miss on Bus CPU read hit CPU write hit Remote Read Write Back
  • 54.
    MO401 11.54 MO401-2007 Revisado P1 P2 BusMemory step State Addr Value State Addr Value Action Proc. Addr Value Addr Value P1: Write 10 to A1 Excl. A1 10 WrMs P1 A1 P1: Read A1 Excl. A1 10 P2: Read A1 P2: Write 20 to A1 P2: Write 40 to A2 Exemplo: passo 2 Assuma que A1 e A2 são mapeados para o mesmo bloco da cache, o estado da cache inicial é Invalid e A1 ≠ A2 Remote Write Write Back Remote Write Invalid Shared Exclusive CPU Read hit Read miss on bus Write miss on bus CPU Write Place Write Miss on Bus CPU read hit CPU write hit Remote Read Write Back
  • 55.
    MO401 11.55 MO401-2007 Revisado A1 Exemplo: passo 3 Assumaque A1 e A2 são mapeados para o mesmo bloco da cache, o estado da cache inicial é Invalid e A1 ≠ A2 Remote Write Write Back Remote Write Invalid Shared Exclusive CPU Read hit Read miss on bus Write miss on bus CPU Write Place Write Miss on Bus CPU read hit CPU write hit Remote Read Write Back CPU Write Miss Write Back CPU Read Miss P1 P2 Bus Memory step State Addr Value State Addr Value Action Proc. Addr Value Addr Value P1: Write 10 to A1 Excl. A1 10 WrMs P1 A1 P1: Read A1 Excl. A1 10 P2: Read A1 Shar. A1 RdMs P2 A1 Shar. A1 10 WrBk P1 A1 10 10 Shar. A1 10 RdDa P2 A1 10 10 P2: Write 20 to A1 P2: Write 40 to A2
  • 56.
    MO401 11.56 MO401-2007 Revisado A1 Exemplo: passo 4 Assumaque A1 e A2 são mapeados para o mesmo bloco da cache, o estado da cache inicial é Invalid e A1 ≠ A2 Remote Write Write Back Remote Write Invalid Shared Exclusive CPU Read hit Read miss on bus Write miss on bus CPU Write Place Write Miss on Bus CPU read hit CPU write hit Remote Read Write Back CPU Write Miss Write Back CPU Read Miss P1 P2 Bus Memory step State Addr Value State Addr Value Action Proc. Addr Value Addr Value P1: Write 10 to A1 Excl. A1 10 WrMs P1 A1 P1: Read A1 Excl. A1 10 P2: Read A1 Shar. A1 RdMs P2 A1 Shar. A1 10 WrBk P1 A1 10 10 Shar. A1 10 RdDa P2 A1 10 10 P2: Write 20 to A1 Inv. Excl. A1 20 WrMs P2 A1 10 P2: Write 40 to A2
  • 57.
    MO401 11.57 MO401-2007 Revisado P1 P2 BusMemory step State Addr Value State Addr Value Action Proc. Addr Value Addr Value P1: Write 10 to A1 Excl. A1 10 WrMs P1 A1 P1: Read A1 Excl. A1 10 P2: Read A1 Shar. A1 RdMs P2 A1 Shar. A1 10 WrBk P1 A1 10 10 Shar. A1 10 RdDa P2 A1 10 10 P2: Write 20 to A1 Inv. Excl. A1 20 WrMs P2 A1 10 P2: Write 40 to A2 WrMs P2 A2 10 Excl. A2 40 WrBk P2 A1 20 20 A1 A1 Exemplo: passo 5 Assuma que A1 e A2 são mapeados para o mesmo bloco da cache, o estado da cache inicial é Invalid e A1 ≠ A2 Remote Write Write Back Remote Write Invalid Shared Exclusive CPU Read hit Read miss on bus Write miss on bus CPU Write Place Write Miss on Bus CPU read hit CPU write hit Remote Read Write Back CPU Write Miss Write Back CPU Read Miss
  • 58.
    MO401 11.58 MO401-2007 Revisado Variações de SnoopingCache Berkeley Protocol Owned Exclusive Owned Shared Shared Invalid Basic Protocol Exclusive Shared Invalid Illinois Protocol Private Dirty Private Clean Shared Invalid MESI Protocol Modfied (private,!=Memory) Exclusive (private,=Memory) Shared (shared,=Memory) Invalid
  • 59.
    MO401 11.59 MO401-2007 Revisado Implelmentação Restrições (ou complicações) •Write: – Não pode ser atualizado a até aquisição do barramento » Além disso, outro processador pode obter o barramento primeiro e escrever o mesmo bloco! – Processo de 2 passos: » Arbitragem do barramento » Informar miss no barramento e completar a operação – Se um miss ocorre para o bloco enquanto aguarda pelo barramento, o miss deve ser tratado (pode ser necessário invalidar) e reiniciar. – Transações “quebradas” no barramento: » As transações no bus não são atômicas: pode haver múltiplas transações em progresso para o bloco » Múltiplos misses podem serem sobrepostos, permitindo duas caches prenderem o bloco no estado Exclusive
  • 60.
    MO401 11.60 MO401-2007 Revisado Implementando Snooping Caches •Múltiplos processadores devem usar o barramento (acesso de endereços e dados) • Adicionar alguns comandos novos para manter a coerência, em adição à leitura e escrita • Os Processadores continuamente deve monitorar o barramento de endereços – Se há “address matches tag”, então invalidate ou update • Já que toda transação no barramento verifica a cache tag, pode interferir na verificação da CPU: – solução 1: duplicar as tags para a cache L1, permitindo a verificação em paralelo com a CPU – solução 2: Cache L2, já tem uma duplicata, use essa tag (maior integração entre L1 e L2) » block size, associatividade de L2 afeta L1
  • 61.
    MO401 11.61 MO401-2007 Revisado Implementando Snooping Caches •O barramento serializa os writes, mantendo-se o barramento, nenhuma outra operação pode ser executada na memória • Adição de bit extra na cache para determinar se compartilhado ou não. • Adicionar um quarto estado (MESI)
  • 62.
    MO401 11.62 MO401-2007 Revisado Grandes MPs • Memórias(separadas) por Processador • Acesso Local ou Remoto via controlador de memória • Uma solução: não incluir Coerência de Cache (conceito de dados locais e remotos e dados compartilhados são marcados como Não “Cacheado”) • Alternativa: diretório por cache que monitora o estado de todos os blocos em todas as caches – Qual cache tem uma cópia do bloco, dirty vs. clean, ... • Info por bloco de memória vs. por bloco de cache? • O directório pode se tornar um gargalo !!! – Distribuir o diretório pelas memórias
  • 63.
  • 64.
    MO401 11.64 MO401-2007 Revisado Questões Fundamentais • 3questões fundamentais caracterizam as máquinas paralelas 1. Classificação (Nomenclatura) 2. Sincronização 3. Desempenho: Latency and Bandwidth
  • 65.
    MO401 11.65 MO401-2007 Revisado Classificação • A Classificaçãodefine como resolver o problema how – Qual dado é compartilhado – Como ele é endereçado – Quais operações podem ter acesso aos dados – Como cada processo interagem com os outros processsos • A escolha de uma Classificação afeta a produção do código pelo compilador; via load (é necessário um endereço) ou troca de mensagem (número do processador e endereço virtual) • A escolha de uma Classificação afeta a replicação de dados; via load na hierarquia de memória ou via replicação por SW e consistência
  • 66.
    MO401 11.66 MO401-2007 Revisado Classificação • Global physicaladdress space: qualquer processador pode gerar endereços e acessa- los em uma única operação • Global virtual address space: Se o espaço de endereçamento de cada processo pode ser configurado para conter todo os dados compartilhados pelo programa paralelo • Segmented shared address space: A localiação é endereçada por <process number, address> e de forma uniforme por todos os processos do programa paralelo
  • 67.
    MO401 11.67 MO401-2007 Revisado Sincronização • Para havercooperação os processos devem ser coordenados • Troca de Mensagens implementa uma coordenação implicita com o envio e recebimento dos dados • Shared address => operações adicionais para implementar uma coordenação explicita
  • 68.
    MO401 11.68 MO401-2007 Revisado Sincronização • Sincronização? – Necessáriopara se conhecer quando é seguro, para os diferentes processos, usar o dado compartilhado • Mecanismo para Sincronização: – Operação atómica para buscar e atualizar dado na memória (sem interrupção); – Operações de sincronização no nível Usuário que usem essas primitivas; – Para MPs em larga escala, a sincronização pode ser o(um) gargalo; Técnicas para reduzirem a contenção e as latências nos mecanismos de sincronização
  • 69.
    MO401 11.69 MO401-2007 Revisado Instruções para buscae atualização de dados na memória • Atomic exchange: troca de um valor em um registrador com um valor em memória 0 => sincronismo está livre 1 => sincronismo está bloqueado e indisponível – “Seta” registrador em 1 & swap – Novo valor no registrador determina o sucesso em obter o “lock” 0 se sucesso em “setar” o lock (é o primeiro) 1 se outro processo já obteve sucesso – O importante é que a operação é indivisivel • Test-and-set: testa um valor e “seta” se passar no teste • Fetch-and-increment: retorna o valor para a posição de memória e, atomicamente, o incrementa – 0 => sincronismo está livre

Notas do Editor

  • #1 Review today, not so fast in future
  • #2 Review today, not so fast in future
  • #40 Processor b) Writes green, red stale c) Update memory (green), red stale in cache
  • #57 Why write miss first? Because in general, only write a piece of block, may need to read it first so that can have a full vblock; therefore, need to get Write back is low priority event.