O documento discute como os dados e as novas tecnologias estão transformando a agricultura e a necessidade de estruturar os dados para apoiar a inovação. Apresenta também um estudo de caso sobre como uma empresa melhorou a sustentabilidade na agricultura utilizando análises de dados.
8. Big Data No Agronegócio
Agricultura de decisão
Dados são cada vez mais
utilizados para a tomada de
decisão em diferentes
setores e negócios, não
sendo diferente para o
agronegócio
DE ACORDO COM OS DADOS DA IDC GERAMOS 2,5
QUINTILHÕES DE DADOS TODOS OS DIAS
Estimativa para
2050
2017
Dados gerados por
dispositivos
agrícola
500 Mil
4
Bilhões
Segundo dados, sementes,
defensivos e fertilizantes
Representam 85% dos gastos
dos produtores
9. Big Data No Agronegócio
Agricultura de decisão
Previsão
para 2050
IoT utilizado
no mundo
25
bilhões
50
bilhões
Potencial em
valor
econômico
US$ 4
trilhões
O número de aparelhos IoT utilizados no campo em 2020 foi de 75 milhões o que correspondeu a um aumento
de 150% comparado a 2015 em 30 milhões
DECISÃO EM TEMPO REAL IOT
10. O Meu ambiente de dados está preparado para
isso?
MAZZETTO, GALLO; SACCO,
2020.
11. O Meu ambiente de dados está preparado para
isso?
10.000
a.C
1900
a
1950
1950
a
1990
1990
a
2010
2010
-
Hoje
2030
Revolução
da
agricultur
a
Agricultur
a
1.0
Agricultur
a
2.0
Agricultur
a
3.0
Agricultur
a
4.0
Agricultur
a
5.0
50
Anos
40
Anos
40
Anos
20
Anos
20
Anos
12. Primeiros
computadores :
1981– Lançamento do primeiro
computador IBM
1990 – Primeiros computadores
utilizados no campo
Número de fazendas com
internet no Brasil:
2005 – 75 mil
2017 – 1,4 milhões
28%
do total
Embrapa:
11,4% das fazendas possui
um
alto nível tecnológico.
87% da produção nacional.
Antenas 3G e 4G:
96 mil
500
mil
2,5 milhões.
14. O Meu ambiente de dados está preparado para
isso?
Estrutura que privilegia um sistema em que a
informação flui facilmente pelos vários
níveis hierárquicos para facilitar os
processos de tomada de decisão.
MAZZETTO, GALLO; SACCO,
2020.
15. Um ambiente de dados estruturados desempenha um papel fundamental na capacidade de uma
organização de impulsionar a inovação.
IMPORTÂNCIA DO AMBIENTE DE DADOS PARA A INOVAÇÃO
Importância do ambiente de dados para a
utilização de:
Modelos de Machine Learning e Deep
Learning;
Automação;
Novas tecnologias;.
Altos investimentos em máquinas modernas
Estou aproveitando ao máximo o que as novas
tecnologias tem a oferecer ?
Sensores;
Aplicações tecnologias a taxa variável;
Sistemas de gestão;
Soluções personalizadas.
16. IMPORTÂNCIA DO AMBIENTE DE DADOS PARA A INOVAÇÃO
À Medida que as empresas aumentam sua maturidade digital a distância entre elas e as demais
se torna mais difícil de ser superada
Desafios da Transformação Digital:
1- Plano específico ;
2- Dados e Analytics ;
3- Talentos;
4- Mentalidade baseada em dados
Competitividade em um ambiente de pressão à
inovação;
Meu ambiente está preparado para lidar com
essas tecnologias... Novas
tendências...(Análise do mercado/clientes)
.
Impacto do ambiente de dados na
Inovação:
18. Por que a estratégia de dados é importante?
Criar uma estratégia de dados é essencial para as organizações continuarem
relevantes, competitivas e inovadoras em meio às constantes mudanças. É
necessário coletar, organizar e agir de acordo com seus dados para atingir os
objetivos da empresa e gerar novos valores para sua organização, como:
• Eficiência operacional
• Otimização de processos
• Tomada de decisões mais rápida
• Aumento dos fluxos de receita
• Aumento da satisfação do cliente
A estratégia de dados oferece uma vantagem competitiva, pois alinha o
gerenciamento de dados à estratégia de negócios e à governança de dados. Ela tem
duas finalidades principais:
• Melhorar as decisões de arquitetura de dados
• Gerenciar dados com consistência
19. Quais as vantagens de implementar uma estratégia de
dados?
Cultura data driven: por que ela é tão necessária?
Há diversos benefícios, como:
• Resolver desafios do gerenciamento de dados
• Melhorar a experiência do cliente
• Alcançar maturidade analítica
• Criar uma cultura de dados em toda a
organização
• Atingir conformidade regulatória
Por que ser data driven?
20. Qual é a maturidade de dados da sua empresa?
Estágios de um negócio orientado a dados
https://www.boxnet.com.br/insights-tecnologia/cultura-data-driven-jornada/
21. Conheça o que é e quais são as etapas da jornada de
dados
#01 Coleta de
informações
existentes
Foco nas Informações
existentes.
Reunir todas as
informações existentes
da empresa de todas as
fontes ERPs, CRMs,
planilhas e qualquer
outra ferramenta que
forneça dados
importantes para a
tomada de decisões e
gestão estratégica
#02 Centralização dos dados
Centralizar os dados em
apenas um repositório é
medida essencial de
segurança e governança.
Integração da base de
dados da empresa com dados
vindos de fontes externas.
Fontes de dados diversos
tipos de dados diversos
como áudios, vídeos e
textos. 80% dos dados
relevantes para as
organizações não são
estruturados
#03 Consideração de
outras informações
relevantes
#04 Catalogação de dados
A catalogação de
dados consiste no
desenvolvimento de um
repositório de todos
os dados empresariais
disponíveis para
análise.
A etapa de análise
exploratória de dados é a
fase mais importante e
tangível para o tomador de
decisões.
Por meio de dashboard e de
ferramentas de self-service
analytics com capacidade para
oferecer nova perspectiva aos
dados facilitando o fluxo de
informação e auxiliando na
tomada de decisão
#05 Análise em prol
da cultura Data
Driven
#06 Aprendizado de novos padrões
Ao longo desta
etapa, são
desenvolvidos os
primeiros
algoritmos de
aprendizado de
máquina como testes
A/B, forecasting e
segmentação de
mercado.
A empresa confia nos
dados suportando
decisões, permitindo que
sejam tomadas por robôs
inteligentes.
Consolidação do uso da
inteligência artificial
como tecnologia crucial
para o desenvolvimento e
sucesso de uma empresa.
#07 Otimização das
informações
22. Fontes de dados no meio
agrícola
Bancos de Dados Planilhas Máquinas Sensores Estações
Meteorológicas
Satélites Drones
Dados
Estruturados
Dados
Não Estruturados
23. O que é
SAP?
De acordo com a própria SAP é um dos líderes mundiais de desenvolvimento de softwares para
gerenciamento de processos de negócios, criando soluções que facilitam o processamento efetivo de
dados e o fluxo de informações entre as organizações.
Limitações do SAP para a jornada de dados
Estrutura e esquema de dados;
Escalabilidade e custos;
Integração com fontes externas;
Processamento e análise avançada.
24. Como resolver isso com um data-lake?
Estrutura e esquema de dados
Estrutura e esquema de dados
Integração com fontes externas
Processamento e análise avançada
26. Gerenciamento e governança de dados na AWS
https://aws.amazon.com/pt/blogs/aws-brasil/ferramentas-de-governanca-de-dados-na-amazon-web-services/
27. Arquitetura de dados
A estrutura geral de dados e recursos relacionados a dados como parte
integrante da arquitetura corporativa
O AWS Glue Data Catalog detecta dados e armazena metadados associados a
eles, como definição de tabela e esquema. É um serviço gerenciado que
permite armazenar, anotar e compartilhar metadados na AWS da mesma forma que
faria com o Apache Hive Metastore. Uma vez catalogados, seus dados ficam
imediatamente acessíveis para serem consultados por ferramentas de pesquisa
e utilizáveis a partir de processos ETL (Extract, Transform, Load).
28. Data warehousing e inteligência de negócios?
Serviço serverless de consulta interativa: O Amazon Athena é um serviço que
permite consultar dados interativamente no Amazon S3 usando SQL padrão. O
Athena é serverless o cliente não precisa gerenciar nenhuma infraestrutura
e paga apenas pelas consultas que faz.
Exibindo Dados: O Amazon Quicksight é um serviço de business intelligence
que permite criar facilmente visualizações e distribuí-las em toda a sua
organização.
29. Qualidade de dados
“Definição, monitoramento e manutenção da integridade dos dados e melhoria
da qualidade dos dados”
Criação de perfil e correção de dados:
Criação de perfil de dados: Deequ é uma biblioteca construída com Apache
Spark, utilizada para definir “testes unitários para dados” que medem a
qualidade dos dados em grandes repositórios.
Deduplicação de dados — as transformações com machine learning do AWS Lake
Formation podem ser usadas para implementar a deduplicação automática de
dados.
Ferramentas de terceiros: por exemplo, o Trifacta na AWS permite a criação
de perfis e a preparação de dados usando uma ferramenta visual de
autoatendimento, usando o poder de computação distribuído do serviço Amazon
EMR.
30. Gerenciamento e governança na AWS
Agilidade de negócios e controle de governança
Escala:
Os serviços de Gerenciamento e governança da AWS foram desenvolvidos para gerenciar recursos de
nuvem altamente dinâmicos em grande escala.
Simplicidade:
A AWS reduz a complexidade, oferecendo um único plano de controle para que os clientes gerenciem e
controlem seus recursos na AWS e on-premises.
Soluções de terceiros:
A AWS oferece o mais amplo ecossistema de parceiros para os clientes ampliarem e fortalecerem seus
sistemas de gerenciamento e governança.
Economia de custo:
Os clientes podem usar os serviços de Gerenciamento e governança da AWS para avaliar a utilização
dos seus recursos e identificar maneiras de diminuir os custos.
31. Segurança de dados
“Garantir privacidade, confidencialidade e acesso adequado [aos
dados]”
Acesso granular a dados:
O AWS Lake Formation permite definir políticas de segurança,
governança e auditoria, concedendo e revogando permissões
granulares em nível de tabela e coluna.
Criptografia de dados: O AWS KMS oferece criação e
gerenciamento de chaves criptográficas, utilizando módulos de
segurança de hardware validados FIPS 140-2. O AWS CloudHSM
permite o gerenciamento de chaves de criptografia usando HSMs
validados FIPS 140-2 Nível 3.
Detecção de dados confidenciais: O Amazon Macie utiliza Machine
Learning para descobrir, classificar e proteger dados
confidenciais, fornecendo gráficos e alertas sobre o acesso e
movimentação desses dados.
Gerenciamento de Identidades: O AWS Identity and Access
Management (IAM) permite o gerenciamento do acesso a serviços e
recursos na nuvem AWS, incluindo a criação de usuários, grupos
e definição de permissões.
33. Análise em prol da cultura data-
driven
Comunicação de dados
Com a elaboração de um ambiente bem
estruturado de dados onde temos as
informações necessárias reunidas no mesmo
lugar com os dados transformados seguros e
confiáveis podemos realizar análises
exploratória dos dados e a construção de
dashboards que possam oferecer perspectiva
aos dados e auxiliar a tomada de decisão.
Um ambiente de dados estruturado facilita o
fluxo de informações e permite ferramentas
de gestão de bancos de dados que facilitam o
gerenciamento da informação facilitando a
comunicação entre as diversas áreas da
empresa
35. MELHORANDO A SUSTENTABILIDADE UTILIZANDO UMA ABORDAGEM EM DADOS
A Corteva Agriscience Europe é uma subsidiária da Corteva Agriscience, líder global em soluções agrícolas, que oferece uma ampla
gama de produtos e serviços agrícolas na Europa, como: soluções digitais, suporte agrnonômico, proteção de culturas, entre outros.
A GeoPard Agriculture entrou para ajudar e colaborar com a Corteva Agriscience, fornecendo análises de dados de alta qualidade,
poderosas e escaláveis.
36. MELHORANDO A SUSTENTABILIDADE UTILIZANDO UMA ABORDAGEM EM DADOS
Um campo agrícola é um ecossistema complexo e multifatorial que inclui diversas variáveis.
Uma única camada de dados não é suficiente para descrever com precisão o processo de crescimento das culturas.
O conhecimento resultante melhora as práticas de produção agrícola, integra a agricultura de precisão e permite o monitoramento remoto das
culturas.
37. MELHORANDO A SUSTENTABILIDADE UTILIZANDO UMA ABORDAGEM EM DADOS
O GeoPard Powerhouse contém 3 componentes principais: pipelines de processamento de dados, data lake e interfaces seguras.
Ele processa os dados brutos originais para produzir conjuntos de dados harmonizados.
Permitindo que tanto a inteligência artificial quanto os profissionais de agricultura realizem exploração e
análise de dados eficientes.
38. ANÁLISE DE MATURIDADE NO USO DE DADOS
Onde estamos Onde queremos ir
Decisões
automatizad
as
Fundação de Dados Data Lake
Insights &
Reports
Scale
Business
Actions
DATA DRIVEN
Decisões baseadas em pessoas e
conhecimento individual, AI/ML inicial
Métricas de negócio entregues na
forma de relatórios
Inovação de Produtos lenta e restrita
por dependências
Dados e análises só escalam com o
time especializado de Analytics
AI / ML e decisões automáticas em
escala
Dados, análises e insights
disponíveis em tempo real
Inovação de Produtos direcionada
por dados
Dado democratizado acessível à toda
a companhia
Processos manuais envolvendo dados,
baixa automação e governança
Processos automatizados e
governança por padrão
A Corteva Agriscience Europe é uma subsidiária da Corteva Agriscience, líder global em soluções agrícolas, que oferece uma ampla gama de produtos e serviços agrícolas na Europa, incluindo sementes, proteção de culturas, soluções digitais e suporte agronômico.
A Corteva Agriscience Europe é uma subsidiária da Corteva Agriscience, líder global em soluções agrícolas, que oferece uma ampla gama de produtos e serviços agrícolas na Europa, incluindo sementes, proteção de culturas, soluções digitais e suporte agronômico.
A Corteva Agriscience Europe é uma subsidiária da Corteva Agriscience, líder global em soluções agrícolas, que oferece uma ampla gama de produtos e serviços agrícolas na Europa, incluindo sementes, proteção de culturas, soluções digitais e suporte agronômico.
A Corteva Agriscience Europe é uma subsidiária da Corteva Agriscience, líder global em soluções agrícolas, que oferece uma ampla gama de produtos e serviços agrícolas na Europa, incluindo sementes, proteção de culturas, soluções digitais e suporte agronômico.