Utilizando Azure Batch
em Linux
Prof.Walter Silvestre Coan, MSc.
walter.s@univille.br
walter@rdornel.com
walter.coan@gmail.com
Walter Silvestre Coan
walter.s@univille.br – walter@rdornel.com – walter.coan@gmail.com
www.waltercoan.com.br
• Bacharel em Informática - UNIVILLE
• Pós-Graduado em Engenharia de Software - PUCPR
• Mestre em Ciência da Computação na área de Sistemas
Distribuídos e Redes de Sensores sem Fio - PUCPR
• Professor no Bacharelado em Sistemas de Informação e do
Bacharelado em Engenharia de Software da UNIVILLE
• Cloud Architect – RDornel Data Experts
• Microsoft MVP em Azure 2020/2021
• AWS Academy Accredited Educator
• Certificações
Azure SolutionsArchitect - Expert
Azure IoT Developer – Specialty
Azure Developer – Associate
Azure Administrator - Associate
Azure Fundamentals
Microsoft CertifiedTrainer
MCSD – MCSA (C# e Web Apps)
AWS Certified Cloud Practitioner
AWS Certified Developer
Sun Certified Programmer em Java 5.0
Agenda
• Computação de alto desempenho (HPC)
• O que é o Azure Batch (processamento em Lote do Azure)
• Azure Functions ouAzure Batch?
• Azure Batch e Linux?
• Demonstração
Computação de Alto Desempenho
• HPC - High-performance computing
• Computação intensa
• Objetivo: usar um grande número de computadores baseados em CPU e
GPU para resolver problemas complexos.
• Conceitos
• Cluster – Conjunto de computadores dedicados para execução de tarefas
• Nó – Um dos computador que faz parte do Cluster
• Jobs – São as tarefas que devem ser executadas dentro dos nós
• Task – Menor unidade que representa uma tarefa a ser feita
Computação de Alto Desempenho
• Quando utilizar?
• Trabalho pode ser dividido em
tarefas discretas;
• Cada tarefa é finita e é executada
por uma quantidade de tempo;
• Não há necessidade do aplicativo
executar 24/7.Tratamento a falhas
no nó ou no aplicativo;
• Tarefas independentes que podem
ser executadas em paralelo;
• Tarefas que são fortemente
acopladas e devem compartilhar
resultados (RDMA);
• Variação dos tipos das máquinas
SKU, utilizadas.
https://docs.microsoft.com/pt-br/azure/architecture/guide/architecture-styles/big-compute?WT.mc_id=AZ-MVP-5003638
Azure Batch
• Serviço gerenciado do Azure que permite a criação de um Cluster de nós para
execução de tarefas no modelo HPC.
• Exemplos de aplicações
• Modelagem de riscos financeiros usando simulações Monte Carlo
• Renderização de imagem 3D eVFX
• Processamento e análise de imagem
• Transcodificação de mídia
• Análise de sequência genética
• OCR (reconhecimento óptico de caracteres)
• Ingestão de dados, processamento e operações de ETL
• Execução de teste de software
Azure Batch
Adaptado de: Santiago Fernández Muñoz. Exam Ref AZ-203: Developing
Solutions for Microsoft Azure. Microsoft.
https://docs.microsoft.com/pt-br/azure/batch/batch-technical-overview?WT.mc_id=AZ-MVP-5003638
Azure Functions ou Azure Batch?
• Dúvida comum no momento de definição da arquitetura de uma solução em
nuvem que deve executar tarefas por demanda, usando mecanismos que
permitam o desacoplamento dos componentes da solução.
Microsoft Azure
Conta de
Armazenamento
Azure Function
Azure Batch
?
VNet
Azure Functions ou Azure Batch?
Download GRATUITO:
https://azure.microsoft.com/en-
us/resources/designing-distributed-
systems/?WT.mc_id=AZ-MVP-5003638
Brendan Burns - @brendandburns
Azure Functions ou Azure Batch?
Azure Batch em Linux
• Com o suporte a Linux no cluster do Azure Batch é possível utilizar
containers como a implementação das tarefas que serão executadas.
Microsoft Azure
Conta de
Armazenamento
Container Registry
Azure Batch
VNet
Demonstração
Obrigado!
www.waltercoan.com.br
walter.s@univille.br
walter.coan@gmail.com
walter@rdornel.com

Azure Weekend - Utilizando Azure Batch em Linux

  • 1.
    Utilizando Azure Batch emLinux Prof.Walter Silvestre Coan, MSc. walter.s@univille.br walter@rdornel.com walter.coan@gmail.com
  • 2.
    Walter Silvestre Coan walter.s@univille.br– walter@rdornel.com – walter.coan@gmail.com www.waltercoan.com.br • Bacharel em Informática - UNIVILLE • Pós-Graduado em Engenharia de Software - PUCPR • Mestre em Ciência da Computação na área de Sistemas Distribuídos e Redes de Sensores sem Fio - PUCPR • Professor no Bacharelado em Sistemas de Informação e do Bacharelado em Engenharia de Software da UNIVILLE • Cloud Architect – RDornel Data Experts • Microsoft MVP em Azure 2020/2021 • AWS Academy Accredited Educator • Certificações Azure SolutionsArchitect - Expert Azure IoT Developer – Specialty Azure Developer – Associate Azure Administrator - Associate Azure Fundamentals Microsoft CertifiedTrainer MCSD – MCSA (C# e Web Apps) AWS Certified Cloud Practitioner AWS Certified Developer Sun Certified Programmer em Java 5.0
  • 3.
    Agenda • Computação dealto desempenho (HPC) • O que é o Azure Batch (processamento em Lote do Azure) • Azure Functions ouAzure Batch? • Azure Batch e Linux? • Demonstração
  • 4.
    Computação de AltoDesempenho • HPC - High-performance computing • Computação intensa • Objetivo: usar um grande número de computadores baseados em CPU e GPU para resolver problemas complexos. • Conceitos • Cluster – Conjunto de computadores dedicados para execução de tarefas • Nó – Um dos computador que faz parte do Cluster • Jobs – São as tarefas que devem ser executadas dentro dos nós • Task – Menor unidade que representa uma tarefa a ser feita
  • 5.
    Computação de AltoDesempenho • Quando utilizar? • Trabalho pode ser dividido em tarefas discretas; • Cada tarefa é finita e é executada por uma quantidade de tempo; • Não há necessidade do aplicativo executar 24/7.Tratamento a falhas no nó ou no aplicativo; • Tarefas independentes que podem ser executadas em paralelo; • Tarefas que são fortemente acopladas e devem compartilhar resultados (RDMA); • Variação dos tipos das máquinas SKU, utilizadas. https://docs.microsoft.com/pt-br/azure/architecture/guide/architecture-styles/big-compute?WT.mc_id=AZ-MVP-5003638
  • 6.
    Azure Batch • Serviçogerenciado do Azure que permite a criação de um Cluster de nós para execução de tarefas no modelo HPC. • Exemplos de aplicações • Modelagem de riscos financeiros usando simulações Monte Carlo • Renderização de imagem 3D eVFX • Processamento e análise de imagem • Transcodificação de mídia • Análise de sequência genética • OCR (reconhecimento óptico de caracteres) • Ingestão de dados, processamento e operações de ETL • Execução de teste de software
  • 7.
    Azure Batch Adaptado de:Santiago Fernández Muñoz. Exam Ref AZ-203: Developing Solutions for Microsoft Azure. Microsoft. https://docs.microsoft.com/pt-br/azure/batch/batch-technical-overview?WT.mc_id=AZ-MVP-5003638
  • 8.
    Azure Functions ouAzure Batch? • Dúvida comum no momento de definição da arquitetura de uma solução em nuvem que deve executar tarefas por demanda, usando mecanismos que permitam o desacoplamento dos componentes da solução. Microsoft Azure Conta de Armazenamento Azure Function Azure Batch ? VNet
  • 9.
    Azure Functions ouAzure Batch? Download GRATUITO: https://azure.microsoft.com/en- us/resources/designing-distributed- systems/?WT.mc_id=AZ-MVP-5003638 Brendan Burns - @brendandburns
  • 10.
    Azure Functions ouAzure Batch?
  • 11.
    Azure Batch emLinux • Com o suporte a Linux no cluster do Azure Batch é possível utilizar containers como a implementação das tarefas que serão executadas. Microsoft Azure Conta de Armazenamento Container Registry Azure Batch VNet
  • 12.
  • 13.