Azure Functions e Java: Do Desenvolvimento a Produção

Azure Functions e Java:
Do Desenvolvimento a Produção
Prof. Thomás da Costa
http://thomasdacosta.com.br

http://thomasdacosta.com.brProf. Thomás da Costa
Azure Functions e Java: Do Desenvolvimento a Produção
Thomás da Costa
• +22 anos de experiência na área
• +17 anos de experiência com Java
• 4 anos de docência no Ensino Superior
• Arquitetura e desenvolvimento de aplicações em
Cloud com Microsoft Azure
• Desenvolvimento de aplicações com Big Data

O que são Azure Functions
• Executar pequenos trechos de código
• Conhecido como Function As Service
• Efetuar Trigger de vários recursos da Azure como:
• Blob
• Queue
• Tables

Explicar como foi solucionado
Azure com Java?

Objetivo
• Sair do básico. (HTTP Trigger)
• Problemas reais em produção
• Volume de dados relativamente grande
• Balancear performance e custo
• Ambiente de desenvolvimento local
• Tudo com Java

Objetivo
On Premisse
CSV

•Data processing: Azure Functions can be used
for processing incoming data in batches. They can
help in processing data in multiple formats, such as
XML, CSV, JSON, and TXT. They can also run
conversion, enrichment, cleaning, and filtering
algorithms. In fact, multiple functions can be used,
each doing either conversion or enrichment,
cleaning or filtering. Azure Functions can also be
used to incorporate advanced cognitive services,
such as optical character recognition (OCR),
computer vision, and image manipulation and
conversion.
https://azure.microsoft.com/en-ca/resources/azure-for-architects/

Vamos detalhar alguns cenários para importação
do arquivo
Arquitetura

Baby Steps

Desenvolvimento
• Azure Storage Emulator
• Azure Function Java Library
• Maven Archetype
• Debug
• Não precisa ter conta na Azure
https://medium.com/@thomsdacosta/azure-e-java-montando-um-ambiente-de-
desenvolvimento-local-825f833f0594

Maven Assembly
• Gera um arquivo ZIP com o JAR do seu projeto
• Facilita o processo de deploy na stack de Devops
• Zip Deploy através do Kudu para ambiente de testes
• API Rest do Kudu ou via CLI da Azure
• Integração simples com Jenkins
• Utilização de slots para deploy
• Utilizar sempre variáveis de ambiente para facilitar o deploy

<assembly
xmlns="http://maven.apache.org/plugins/maven-assembly-plugin/assembly/1.1.2"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/plugins/maven-assembly-
plugin/assembly/1.1.2 http://maven.apache.org/xsd/assembly-1.1.2.xsd">
<id>zip</id>
<baseDirectory>/</baseDirectory>
<formats>
<format>zip</format>
</formats>
<fileSets>
<fileSet>
<directory>target/azure-functions/sample-function</directory>
<outputDirectory>/</outputDirectory>
</fileSet>
</fileSets>
</assembly>

Application Insights
• Integração nativa com Azure Functions
• Logs são exibidos sem necessidade de configuração
• Facilidade para as equipes de monitoria
• Live Metrics Stream
• Padronização nos Logs das aplicações

Application Insights
public void run(
@BlobTrigger(name = "content",
path = "container/{name}",
dataType = "string") String content,
@BindingName("name") String fileName,
final ExecutionContext context) {
context.getLogger().info("Hello World");
}

Problema 1
OutOfMemoryError
• Arquivos de 100.000 de registros
• Aprox. 100 arquivos
• Aprox. 10.000.000 de registros
• Plano Isolado

Problema 2
• Plano de Consumo:
OutOfMemoryError
FunctionTimeoutException
e/ou

Diferenças dos Planos
• Plano de Consumo:
• 1 Core, 1.75 GB e no máximo 10 minutos de
execução
• Plano de Serviço:
• Requisitos de acordo com o plano e no máximo
30 minutos de execução

Soluções
• Analise o código fonte sempre!!!
• Evite frameworks que utilizem muito Java Reflection
• Valide POJO’s com ‘if’ ao invés de frameworks como
Bean Validation
• Trabalhe com arquivos pequenos para paralelizar
• Verifique a performance da fonte de dados destino
• Nunca ultrapasse o tempo da Azure Function

Recursos do Java
• Usar ao máximo as bibliotecas nativas do Java
• Streams possui uma alta performance para leitura de
grandes lista com pouca utilização de memória
• Trechos simples de código faz a diferença em uma Azure
Function

try (ByteArrayInputStream byteArrayInputStream =
new ByteArrayInputStream(content);
InputStreamReader inputStreamReader =
new InputStreamReader(byteArrayInputStream);
BufferedReader bufferedReader =
new BufferedReader(inputStreamReader)) {
this.scores = bufferedReader.lines().map(m -> {
Object x = new Object();
// Sua lógica no arquivo
return x;
}).collect(Collectors.toList());
} catch (Exception ex) {
throw new CustomException(ex.getMessage(), ex);
}

Bibliotecas Performáticas
• Escolher sempre a biblioteca com a melhor performance:
• Apache Commons CSV
• FastCSV
• OpenCSV
• FlatPack CSV
• Univocity CSV Em determinadas situações o parser
de grandes arquivos estava abaixo de
1 segundo ou em poucos segundos.

Maven Archetype
• Evita repetição de código
• Código básico para as operações comuns
• Implementar somente o que é especifico
• Repositório de Azure Functions corporativo

Limitar o batchSize da Function
Parâmetro batchSize do host.json

Dividir para conquistar 1

Dividir para conquistar 2

Homework
Logic App com Azure Functions Stream Analitycs Poison Queues

Vantagens da Azure Function
• Utilize agora no seu projeto!!!
• Facilidade para trabalhar com eventos da Azure
• Muito fácil de desenvolver até mesmo com Java
• Integração entre serviços
• Fluxo de trabalho e de streaming de forma
simples

Desvantagens da Azure Function
• Dificuldade para utilização de frameworks como
Spring
• Não substituir sua aplicações Web ou API
• Integração com outros recursos fora do escopo
das Azure Functions implica em maior
complexidade de desenvolvimento

Perguntas

Obrigado
https://www.linkedin.com/in/thomasdacosta
https://medium.com/@thomsdacosta
https://thomasdacosta.com.br

Azure Functions e Java: Do Desenvolvimento a Produção

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Semelhante a Azure Functions e Java: Do Desenvolvimento a Produção

Semelhante a Azure Functions e Java: Do Desenvolvimento a Produção (20)

Mais de thomasdacosta

Mais de thomasdacosta (20)

Azure Functions e Java: Do Desenvolvimento a Produção