Este documento fornece uma introdução ao Event Hub e Event Grid do Azure, incluindo: (1) Uma explicação da arquitetura orientada a eventos; (2) Uma descrição dos recursos e casos de uso do Event Hub; (3) Detalhes sobre partições e suporte ao protocolo Kafka; (4) Uma breve demonstração de uso do Event Hub.
2. Walter Silvestre Coan
walter.s@univille.br – walter@rdornel.com – walter.coan@gmail.com
www.waltercoan.com.br
• Bacharel em Informática - UNIVILLE
• Pós-Graduado em Engenharia de Software - PUCPR
• Mestre em Ciência da Computação na área de Sistemas
Distribuídos e Redes de Sensores sem Fio - PUCPR
• Professor no Bacharelado em Sistemas de Informação e do
Bacharelado em Engenharia de Software da UNIVILLE
• Cloud Architect – RDornel Data Experts
• Microsoft MVP em Azure 2020/2021/2022
• AWS Academy Accredited Educator
• Certificações
Azure SolutionsArchitect - Expert
Azure IoT Developer – Specialty
Azure Developer – Associate
Azure Administrator - Associate
Azure Fundamentals
Microsoft CertifiedTrainer
MCSD – MCSA (C# e Web Apps)
AWS Certified Cloud Practitioner
AWS Certified Developer
Sun Certified Programmer em Java 5.0
7. Event Hub
• Detecção de anomalias (fraude/exceções)
• Registro em log do aplicativo
• Pipelines de análise, como a sequência de cliques
• Criação de painéis em tempo real
• Arquivamento de dados
• Processamento de transação
• Processamento de telemetria do usuário
• Streaming de telemetria do dispositivo
Fonte: https://docs.microsoft.com/pt-br/azure/event-hubs/event-hubs-about?WT.mc_id=AZ-MVP-5003638
9. Event Hub
• Solução PaaS (Plataforma como Serviço)
• Permite processamento em lote de eventos ou em tempo real
• Ingestão dos eventos, armazenamento em buffer, processamento
• Modelo de consumidor particionado
• Captura de eventos
• Integração nativa para armazenamento de eventos em Storage Accounts: Azure blob
storage ou Azure Data Lake storage
• Escalonável
• Dependendo do SKU selecionado permite automatizar o escalonamento das
THROUGHPUT UNITS
• Entrada: até 1 MB por segundo ou 1000 eventos por segundo (o que ocorrer primeiro).
• Saída: até 2 MB por segundo ou 4.096 eventos por segundo.
Fonte: https://docs.microsoft.com/pt-br/azure/event-hubs/event-hubs-about?WT.mc_id=AZ-MVP-5003638
10. Event Hub
• Suporte ao protocoloApache Kafka
• Clientes Apache Kafka versão 1.0 ou superior
Fonte: https://docs.microsoft.com/pt-br/azure/event-hubs/event-hubs-about?WT.mc_id=AZ-MVP-5003638
Conceito de Kafka Conceito de Hubs de Eventos
Cluster Namespace
Tópico Hub de evento
Partição Partição
Grupo de Consumidores Grupo de Consumidores
Deslocamento Deslocamento
11. Event Hub
• Partições
• Os eventos são recebidos e armazenados em uma ou mais partições;
• Toda novo evento é armazenado no fim da partição
• O número de partições é definido na criação do hub de eventos, não é permitido alterar
exceto no SKU Premium.
• O produtor de eventos, pode especificar uma chave de partição que será utilizada pelo
Event Hub para definir qual a partição que receberá o evento e assim agrupar os eventos na
ordem que foram enviados.
Fonte: https://docs.microsoft.com/pt-br/azure/event-hubs/event-hubs-scalability#partitions?WT.mc_id=AZ-MVP-5003638
12. Event Hub
• Limites e cotas
Fonte: https://docs.microsoft.com/en-us/azure/event-hubs/event-hubs-quotas?WT.mc_id=AZ-MVP-5003638
Limit Basic Standard Premium Dedicated
Maximum size of Event
Hubs publication
256 KB 1 MB 1 MB 1 MB
Number of consumer
groups per event hub
1 20 100 1000
No limit per CU
Maximum retention
period of event data
1 day 7 days 90 days
1TB per PU
90 days
10TB per CU
MaximumTUs or PUs or
CUs
40TUs 40TUs 16 PUs 20 CUs
Number of partitions
per event hub
32 32 100 1024 per event hub
2000 per CU
Number of namespaces
per subscription
1000 1000 1000 1000 (50 per CU)
Number of event hubs
per namespace
10 10 100 per PU 1000
Capture N/A Pay per hour Included Included