O documento descreve a evolução da análise de dados ao longo da história, desde Florence Nightingale no século 19 até os dias atuais de Big Data e nuvem. Apresenta exemplos históricos de como os dados foram coletados e analisados para resolver problemas, e como as tecnologias como bancos de dados, disco rígido e cloud computing permitiram novas formas de análise de grande volume de dados não estruturados.
3. Evolução do Analytics
(1855 – Atual)
2006
2002
1960 - 1970
1940
1855
Florence
Nightingale
Segunda
Guerra
Mundial
IBM
Disco Rígido
Banco de
Dados Relacional
Era Digital
BigData
Cloud
5. Diagrama das Causas de Mortalidade
Problema
Morte de soldados
não relacionadas
com ferimentos de
guerra
Análise
Observação e
Coleta de dados
Resultado
Melhoria das
condições
sanitárias
7. Análise de ataques de bombas V2
Problema
Bombas
tinham
alvos certos?
Análise
Observação e
Coleta de dados
Resultado
As bombas não
possuíam sistema
de alvo integrado
9. Impacto do Disco Rígido
Problema
Como melhorar
a gestão do
inventário de
peças?
Análise
Dados coletados
de cartões e
armazenados
em disco
Resultado
Relatórios com
análise de dados
10. Bancos de Dados Relacionais (DBMS)
Problema
Como melhorar
a gestão do
inventário de
peças?
Análise
Dados coletados
de cartões e
armazenados
em disco
Resultado
Relatórios com
análise de dados
12. Era Digital – Manufacturing Execution System (MES)
Problema
Coleta de dados de
máquinas de
chão-de-fábrica para
análise
(Início da Indústria 4.0)
Análise
Milhares de pontos
de dados são
coletados e
armazenado
Resultado
Relatórios com
análise de dados e
análise estatística
13. BigData e Cloud
Problema
Como conhecer meu
cliente?
Como prever
problemas em
máquinas?
Análise
Múltiplas fontes
não-formatadas de
dados - DataLake
Resultado
Análise de dados
através de
aplicativos e
linguagens e
acessíveis
14. Método (Framework) de Trabalho Proposto
• Identificar o
problema
• Revisar se
existe
conhecimento
anterior
• Identificar as
variáveis e
modelagem
de dados
• Coletar os
dados
• Analisar os
dados
• Apresentar
os resultados
e definir o
plano de
ação
DEFINIÇÃO
DO PROBLEMA
RESOLVENDO
O PROBLEMA
COMUNICANDO E
APLICANDO O
PLANO DE AÇÃO
15. Fontes:
Amazon WebServices (AWS) https://en.wikipedia.org/wiki/Amazon_Web_Services
Map Of V2 Rocket Strikes On London,
Updated
https://londonist.com/2013/06/v2
Última visita em Junho 22,
2021
SAS Software https://en.wikipedia.org/wiki/SAS_(software)
How tech is changing childhood (Slide sobre
as tecnologias)
https://www.commonsense.org/our-impact/
Industrial Revolution (MES Application)
https://www.desouttertools.com/industry-4-
0/news/503/industrial-revolution-from-industry-1-0-to-
industry-4-0
The History of BI the 1960’s – 70’s https://dataconomy.com/2014/06/history-bi-1960s-70s/
Definition of Analytics https://www.lexico.com/en/definition/analytics
Florence Nightingale – Diagram of the
Causes of Mortality
https://commons.wikimedia.org/wiki/File:Nightingale-
mortality.jpg
IBM RAMAC https://en.wikipedia.org/wiki/IBM_305_RAMAC
Keeping Up with the Quants Thomas Davenport and Jinho Kim Edição de 2013
Notas do Editor
Ajuda na tomada de decisão
O uso da palavra começa a crescer a partir do ano 2000
Restrição do conhecimento estatístico?
Acesso à ferramentas de análise de dados?
Analytics não é algo novo – A primeira análise e interpretação dos dados, onde reconhece o surgimento do analytics é de 1955, com a Florence Nightingale.
É interessante observar a evolução – Se passou quase 100 anos entre a Florence Nightingale e uso intensivo de análise estatística, que iniciou na Segunda Guerra mundial
Depois os passos entre os anos foram cada vez menores, 20 anos depois surgiu a IBM com o Disco Rígido e em seguida o Banco de Dados relacional, que revolucionou mais uma vez a informática. Até que em 2002, com os custos de hardware diminuindo cada vez mais, permitindo o surgimento de empresas de tecnologia na WEB,
Finalmente em 2006 temos a implosão com o surgimento das primeiras versões do Hadoop e o Amazon lançando o serviço de AWS.
Florence Nightingale – Enfermeira na Guerra da Criméia – Hoje governada pelos Russos e foi parte da Ucrânia, foi uma Guerra dos Turcos contra o Império Russo.
Ela percebeu que muitos soldados, chegavam com ferimentos leves, e que não corriam risco de vida, e muitas vezes morriam por infecções.
Esse é o primeiro gráfico que se define como analytics – Uma análise estatística para a tomada de decisão
Como ela chegou a esse gráfico?
Primeiro entendeu o problema
Obteve a coleta de dados através da observação – Quais eram as condições que os soldados eram tratados? Falta de higiene básica
Criou e apresentou os resultados para uma comissão que implementou uma série de melhorias, como por exemplo, melhor ventilação das enfermarias.
O acesso à essa informação era MUITO limitado
Chegamos na segunda guerra, e a Alemanha ameaçava a Inglaterra com o lançamento de bombas V2. Mais de 1400 foram lançados contra.
O problema era que o exército inglês não sabia se essas bombas tinham equipamentos de navegação – O que trazia riscos adicionais para alvos específicos como fábricas, campos de pouso, etc..
Com o problema em mente “as bombas tinham alvos certos?” os estatísticos analisaram os locais de queda das bombas e perceberam que era aleatório, ou seja não tinham naquele momento um sistema de alvo integrado.
Nesse exemplo já se percebe que o acesso ao resultado da informação era maior, uma vez que mais pessoas precisavam tomar decisões estratégicas.
Esse é foi o que mudou para sempre a informática – O primeiro disco rígido.
Capacidade : 5 Mb (!)
Peso 1 Tonelada
Valor do aluguel mensal corrigido – US$ 29.500,00
Fonte – Wikipedia - IBM 305 RAMAC - Wikipedia
Esse exemplo mostra a Chrysler que precisava melhorar a gestão de inventário das fábrica
O problema era sempre o volume de dados necessários para o processamento adequado, e a quantidade necessária para analisar os relatórios e tomar as decisões.
Com a introdução do RAMAC, os dados eram transferidos dos cartões, armazenados no disco, e programas de computador faziam a análise.
Mais pessoas tinham acesso às informações, mais decisões eram tomadas
Já em 1970, a mesma IBM introduziu o primeiro banco de dados lançado foi o IMS, que permitiu um salto significativo no armazenamento de informações
O que temos de diferente nesse Slide? O surgimento do SAS (Statistical Analysis System) – que surgiu em 1972 e permitiu análises estatísticas complexas como estimativa de uso de peças, etc...
Com isso o acesso, mesmo que limitado a pessoas que conheciam a ferramenta, aumentou significativamente, permitindo melhor tomada de decisão.
2002 é considerado o ano do início da era digital, foi com o surgimento de tecnologias como o Ipod e o aumento da população acessando a internet, que novos serviços surgiram. E com isso novas tecnologias também.
Com a diminuição significativa dos custos de hardware, e a criação de software aberto, como o Linux, foi possível o surgimento de novas tecnologias como o Hadoop (Base para BigData) e o Serviço de computação em Nuvem Amazon (AWS) – Ambos em 2006
Esse exemplo é quando recursos de computação começaram a ficar mais baratos, e permitiam a coleta de dados das máquinas de chão-de-fábrica.
Com essa nova tecnologia, o volume de dados aumentou significativamente, e nos anos 2000 já era possível, remotamente, o engenheiro conhecer a performance daquele equipamento de maneira On Line.
E todos os dados coletados permitiam as pessoas acessaram e tomar decisões com as informações, o acesso ficou mais democrático
Surge o Big data, e os equipamentos conectados na Internet (Smartphones com sensores de GPS, temperatura, outros) e IoT, que transferem milhares de dados, não formatados (fotos por exemplo), surge com isso o conceito de Data Lake, onde esses dados, não formatados são armazenados.
O acesso à informação quer era limitado ao computador conectado fisicamente a um cabo, com o surgimento de redes 3G e Wifi, o acesso às informações pode ser feito no celular, tablet e notebooks.
Diversos software permite a usuários com pouca experiência criar dashboards com as informações que estão no Datalake. Surgem linguagens abertas como R e Python que oferecem análises estatísticas complexas e até Aprendizado de Máquina.
Qual o grande desafio do analytics – Entender o problema
A grande questão é que com toda a facilidade que existe hoje, é possível perder muito tempo com problemas que não agrega valor.