Marco Antonio Filgueiras Guimarães, profile picture
Carregado porMarco Antonio Filgueiras Guimarães
216 visualizações

Workshop / Meetup: Visão geral sobre Big Data

O documento fornece uma visão abrangente sobre big data, incluindo sua definição, histórico e aplicações práticas em setores como saúde e esportes. Aborda também os 'vs' do big data, como volume, variedade e velocidade, além de discutir ferramentas de desenvolvimento e bancos de dados NoSQL. Por fim, menciona a relevância do conhecimento em matemática e estatística na análise de dados.

Incorporar apresentação

1 / 105
2 / 105
3 / 105
4 / 105
5 / 105
6 / 105
7 / 105
8 / 105
9 / 105
10 / 105
11 / 105
12 / 105
13 / 105
14 / 105
15 / 105
16 / 105
17 / 105
18 / 105
19 / 105
20 / 105
21 / 105
22 / 105
23 / 105
24 / 105
25 / 105
26 / 105
27 / 105
28 / 105
29 / 105
30 / 105
31 / 105
32 / 105
33 / 105
34 / 105
35 / 105
36 / 105
37 / 105
38 / 105
39 / 105
40 / 105
41 / 105
42 / 105
43 / 105
44 / 105
45 / 105
46 / 105
47 / 105
48 / 105
49 / 105
50 / 105
51 / 105
52 / 105
53 / 105
54 / 105
55 / 105
56 / 105
57 / 105
58 / 105
59 / 105
60 / 105
61 / 105
62 / 105
63 / 105
64 / 105
65 / 105
66 / 105
67 / 105
68 / 105
69 / 105
70 / 105
71 / 105
72 / 105
73 / 105
74 / 105
75 / 105
76 / 105
77 / 105
78 / 105
79 / 105
80 / 105
81 / 105
82 / 105
83 / 105
84 / 105
85 / 105
86 / 105
87 / 105
88 / 105
89 / 105
90 / 105
91 / 105
92 / 105
93 / 105
94 / 105
95 / 105
96 / 105
97 / 105
98 / 105
99 / 105
100 / 105
101 / 105
102 / 105
103 / 105
104 / 105
105 / 105
VISÃO GERAL SOBRE BIG DATA PORQUE NÃO É MODA E VALE A PENA BUSCAR MAIS INFORMAÇÃO SOBRE O ASSUNTO WORKSHOP
BIOGRAFIA RÁPIDA
VISÃO GERAL SOBRE BIG DATA CONTEÚDO • O que é? Como surgiu? Como tem sido útil? • Os “Vs” do Big Data • Quem está usando? • A Matemática: estatística, otimização, Analytics • Ferramentas de Desenvolvimento • Visualização de Dados • Os Bancos de Dados No-SQL • Nuvem: XaaS • Processamento Paralelo • Ecossistema: Hadoop? • As vagas no mercado e os unicórnios • E o que mais? Por onde começar?
O QUE É? TERMO GENÉRICO PARA SE REFERIR A CONJUNTOS DE DADOS TÃO GRANDES OU COMPLEXOS QUE SE TORNAM DIFÍCEIS DE TRABALHAR USANDO FERRAMENTAS CONVENCIONAIS. https://www.slideshare.net/GWOcon/big-data-analytics-with-r (slide 6)
COMO SURGIU? • INFORMATIZAÇÃO CRESCENTE • DISPOSITIVOS PORTÁTEIS • BARATEAMENTO DO HARDWARE • POPULARIZAÇÃO DA INTERNET • CRESCIMENTO DA ECONOMIA DIGITAL • DISPOSITIVOS “CONECTADOS” • SOFTWARE OPEN SOURCE http://www.dailyinfographic.com/what-happens-internet-in-60-seconds https://www.forbes.com/sites/gilpress/2013/05/09/a-very-short-history-of-big-data/#10e2776a65a1
COMO SURGIU? – TIMELINE
COMO SURGIU? – TIMELINE ENXUTA
COMO TEM SIDO ÚTIL? ????????????????????????????????????????????????????????????????????????????????????????????? ????????????????????????????????????????????????????????????????????????????????????????????? ????????????????????????????????????????????????????????????????????????????????????????????? ????????????????????????????????????????????????????????????????????????????????????????????? ????????????????????????????????????????????????????????????????????????????????????????????? ????????????????????????????????????????????????????????????????????????????????????????????? ????????????????????????????????????????????????????????????????????????????????????????????? ????????????????????????????????????????????????????????????????????????????????????????????? ????????????????????????????????????????????????????????????????????????????????????????????? ????????????????????????????????????????????????????????????????????????????????????????????? ?????????????????????????????????????????????????????????????????????????????????????????????
COMO TEM SIDO ÚTIL? DADOS PODEM SER UM ATIVO ESTRATÉGICO PODEROSO SE AJUDAREM UMA EMPRESA A ATINGIR A SUA VISÃO DE NEGÓCIO
COMO TEM SIDO ÚTIL? AO LIDAR COM GRANDES QUANTIDADES DE DADOS... • GENOMA / BIOMEDICINA, SAÚDE PERSONALIZADA • GEOINFORMÁTICA, IMAGENS DE SATÉLITE • INTERPRETAÇÃO DE IMAGENS / RECONHECIMENTO DE PADRÕES • MELHOR ROTA NUM TRAJETO (NAQUELE MOMENTO) • SMART CITIES, IOT (INTERNET DAS COISAS) • DETECÇÃO DE FRAUDES ONLINE • PERFORMANCE DE JOGADORES NUMA EQUIPE
COMO TEM SIDO ÚTIL? EXEMPLO: PERFORMANCE DE JOGADORES NUMA EQUIPE But enterprise software played a part, too, in the form of big data analytics. In October 2013, the German Football Association (DFB) and SAP began collaborating to develop a “Match Insights” software system for the German national team to use in preparation for and during the tournament. SAP delivered a prototype in March 2014 and Joachim Low’s management team has been using the software ever since. http://www.computerweekly.com/news/2240224421/SAP-helps-Germany-lift-the-World-Cup
COMO TEM SIDO ÚTIL? EXEMPLO: PERFORMANCE DE JOGADORES NUMA EQUIPE https://www.paypal.com/stories/br/como-o-big-data-e-a-analise-de-dados-mudaram-os-esportes MBA BIG Data FIAP, Governança de Dados, slide 6 - Prof Marcelo Oliveira
OS “V”S DO BIG DATA Guy Fawkes https://pt.wikipedia.org/wiki/V_for_Vendetta; https://cinefreak.com.br/v-de-vinganca-pode-virar-serie-de-tv/
OS S DO BIG DATA SÃO 3… AO MENOS PENSANDO NO QUE TODOS CONCORDAM… RELACIONADOS ÀS NECESSIDADES DE CAPTURAR, PROCESSAR E RESPONDER AO QUE OS DADOS MOSTRAM TUDO SE RESUME AO QUE É PRECISO PARA FAZER BIG DATA MINING (NÃO É IGUAL A DATA MINING) https://blogs.gartner.com/doug-laney/files/2012/01/ad949-3D-Data-Management-Controlling-Data-Volume-Velocity-and-Variety.pdf http://www.brandsoftheworld.com/logo/v-for-vendetta-0?original=1
OS S DO BIG DATA http://www.brandsoftheworld.com/logo/v-for-vendetta-0?original=1 SÃO 3… VOLUME DE DADOS (QUANTIDADE) VARIEDADE (DIVERSIDADE DE FONTES E TIPOS) ELOCIDADE (ALTA CAPACIDADE DE PROCESSAMENTO)
OS S DO BIG DATA http://www.brandsoftheworld.com/logo/v-for-vendetta-0?original=1 SÃO 3… VOLUME DE DADOS (QUANTIDADE) VARIEDADE (DIVERSIDADE DE FONTES E TIPOS) VELOCIDADE (ALTA CAPACIDADE DE PROCESSAMENTO) ->EXTRAS: VERACIDADE, VARIABILIDADE, VALOR
OS S DO BIG DATA http://www.brandsoftheworld.com/logo/v-for-vendetta-0?original=1 SÃO 3… VOLUME DE DADOS (QUANTIDADE) VARIEDADE (DIVERSIDADE DE FONTES E TIPOS) VELOCIDADE (ALTA CAPACIDADE DE PROCESSAMENTO) ->EXTRAS: VERACIDADE, VARIABILIDADE, VALOR
OS S DO BIG DATA http://www.brandsoftheworld.com/logo/v-for-vendetta-0?original=1 SÃO 3… O RESTO É CONVERSA… MAS TUDO É CENTRADO NOS DADOS VOLUME DE DADOS (QUANTIDADE) VARIEDADE (DIVERSIDADE DE FONTES E TIPOS) VELOCIDADE (ALTA CAPACIDADE DE PROCESSAMENTO – DISTRIBUÍDA)
OS S DO BIG DATA http://www.brandsoftheworld.com/logo/v-for-vendetta-0?original=1 SÃO 3… O RESTO É CONVERSA… MAS TUDO É CENTRADO NOS DADOS VOLUME DE DADOS (QUANTIDADE) VARIEDADE (DIVERSIDADE DE FONTES E TIPOS) VELOCIDADE (ALTA CAPACIDADE DE PROCESSAMENTO – DISTRIBUÍDA) https://blogs.sap.com/2017/09/21/speed-security-and-trust-for-your-big-data/
OS S DO BIG DATA https://blogs.sap.com/2017/09/21/speed-security-and-trust-for-your-big-data/ SÃO 3… O RESTO É CONVERSA… MAS TUDO É CENTRADO NOS DADOS VOLUME DE DADOS (QUANTIDADE) VARIEDADE (DIVERSIDADE DE FONTES E TIPOS) VELOCIDADE (ALTA CAPACIDADE DE PROCESSAMENTO – DISTRIBUÍDA)
OS S DO BIG DATA MBA BIG Data FIAP, Governança de Dados, slide 7 - Prof Marcelo Oliveira
QUEM ESTÁ USANDO…
QUEM ESTÁ USANDO… JOÃO DORIA (HTTP://WWW.BBC.COM/PORTUGUESE/BRASIL-41406420) CIELO (HTTPS://CIELO.RIWEB.COM.BR/#) OPERAÇÃO LAVA-JATO (HTTP://COMPUTERWORLD.COM.BR/POLICIA-FEDERAL-USA-TECNICA-FORENSE-PARA-INVESTIGAR-ENVOLVIDOS-NA-LAVA-JATO) GLOBO.COM (HTTPS://REDEGLOBO.GLOBO.COM/NOVIDADES/NOTICIA/PROJETO-EM-BIG-DATA-DA-GLOBO-E-PREMIADO-NO-IBC.GHTML) SELEÇÃO ALEMÃ DE FUTEBOL (HTTPS://EXAME.ABRIL.COM.BR/TECNOLOGIA/SOLUCAO-DE-BIG-DATA-E-UM-DOS-SEGREDOS-DA-ALEMANHA-NA-COPA-2/ ) AGRONEGÓCIO BRASILEIRO (HTTP://SNA.AGR.BR/USO-DE-BIG-DATA-NO-AGRONEGOCIO-DEVERA-CRESCER-NOS-PROXIMOS-ANOS/)
QUEM ESTÁ USANDO… https://www.bigdatacorp.info/single-post/Os-Dados-e-o-Agronegocio https://www.infoq.com/presentations/nubank-financial-systems https://www.cielo.com.br/venda-mais/cielofarol/, https://cielo.riweb.com.br/ http://www.bbc.com/portuguese/brasil-41406420
A MATEMÁTICA https://atitudereflexiva.wordpress.com/2018/01/01/tributumulus-prandiano/#comment-1656 https://www.providr.com/everybody-hates-chris-then-and-now https://www.biography.com/news/home-alone-25th-anniversary-facts Prof Aguinaldo Prandini Ricieri
A MATEMÁTICA http://www.history.com/topics/womens-history/florence-nightingale https://www.youtube.com/watch?v=sYZnzt0CJtE https://www.obaricentrodamente.com/2014/06/florence-nightingale-e-os-graficos_7.html SEC XIX FOI DA SAÚDE: Florence Nightingale (1820 - 1910) LEMBRADA PELA ENFERMAGEM E ESTATÍSTICA COM USO DE GRÁFICOS!
A MATEMÁTICA ESTATÍSTICA, MUITA ESTATÍSTICA… E MATEMÁTICA AVANÇADA… http://bd2017.spm-pt.org/ https://www.prandiano.com.br/copy-of-big-data https://hbr.org/2012/10/data-scientist-the-sexiest-job-of-the-21st-century Teoria dos Suportes, Dendogramação Big Data, Função Sigmóide e AnovA, Autovalores e Autovetores, Análise Multivariada, Support Vector Machine, Discriminante de Fisher, Discriminante de Hellinger, KmeansS de MacQuenn, Elbow Data Chart, Algoritmo Big Data Fuzzy, Pesquisa Operacional
A MATEMÁTICA http://bd2017.spm-pt.org/ https://www.prandiano.com.br/copy-of-big-data https://hbr.org/2012/10/data-scientist-the-sexiest-job-of-the-21st-century ESTATÍSTICA PARA QUÊ? ANALYTICS!!!
A MATEMÁTICA https://www.thefreedictionary.com/analytics https://www.slideshare.net/GWOcon/big-data-analytics-with-r/6 (slide 9) ANALYTICS: RAMO DA LÓGICA QUE TRATA DA ANÁLISE DE INFORMAÇÃO É A COMBINAÇÃO DE TÉCNICAS DE MATEMÁTICA, ESTATÍSTICA E HEURÍSTICA PARA ENTENDER ALGO A PARTIR DOS DADOS (E OBTER INSIGHTS ETC)
A MATEMÁTICA http://www.dailymail.co.uk/sciencetech/article-3441166/Has-robot-taken-job-New-figures-reveal-America-record-breaking-260-000-robots-working-factories.html OTIMIZAÇÃO E ORDENAÇÃO DE DADOS O TRABALHO ÁRDUO DO COMPUTADOR…
A MATEMÁTICA PROBLEMAS DE OTIMIZAÇÃO SÃO DE COMPLEXIDADE EXPONENCIAL O = 2N (SE 2 POSSIBILIDADES PARA CADA N, COMO “TEM” OU NÃO “TEM”) A PROBABILIDADE E A ESTATÍSTICA VÃO TE AJUDAR A ENTENDER A COMPLEXIDADE DOS DADOS, VER COMO ELES SE COMPORTAM E, ASSIM, ACHAR PADRÕES NELES… MITx: 6.00.2x Introduction to Computational Thinking and Data Science https://courses.edx.org/courses/course-v1:MITx+6.00.2x+3T2017/course/
A MATEMÁTICA NOÇÕES QUE VÃO TE AJUDAR NA ANÁLISE DE DADOS • MÉDIA, MODA, MEDIANA, CURVA NORMAL, DESVIO PADRÃO E OUTLIER • REGRESSÃO LINEAR • CLUSTERIZAÇÃO E K-MEANS
A MATEMÁTICA Média (mean) Moda (mode) Mediana (median) Probabilidade 80% Intervalo de confiança Desvio padrão: dispersão em relação à média Outlier: pontos extremos… Quem “estraga” a média. MedidasdeResumo
A MATEMÁTICA A ESTATÍSTICA VAI TE AJUDAR A ENCONTRAR PADRÕES “OCULTOS” E A LIDAR COM A ALEATORIEDADE, AS INCERTEZAS E COM GERAÇÃO DE AMOSTRAS DE DADOS. PROBLEMA DO MUNDO REAL NÃO CONSEGUIMOS PREVER ALGUMAS SITUAÇÕES POR PURA FALTA DE INFORMAÇÃO SOBRE ELAS OU SUAS CAUSAS. ENFIM, DEVEMOS TRATÁ-LAS COMO ALEATÓRIAS. A ISSO SE CHAMA DE PROCESSO ESTOCÁSTICO.
O OLHAR DO ESTATÍSTICO OLHANDO OS DADOS COMO UM ESTATÍSTICO… VAMOS USAR O SAS, POR EXEMPLO. LÁ VOCÊ NÃO TEM UMA TABELA, TEM UM DATA SET (CONJUNTO DE DADOS). O QUE ERA UMA LINHA DA TABELA, AGORA, TORNA-SE UMA OBSERVAÇÃO. E EM UMA TABELA VOCÊ NÃO TEM COLUNAS, MAS VARIÁVEIS.
O OLHAR DO ESTATÍSTICO …VAR 1 VAR 2 VAR 3 VAR 4 VAR 5 VAR 6 OBS 1 VAR 1 OBS 1 VAR 2 OBS 1 VAR 3 OBS 1 VAR 4 OBS 1 VAR 5 OBS 1 VAR 6 OBS 2 VAR 1 OBS 2 VAR 2 OBS 2 VAR 3 OBS 2 VAR 4 OBS 2 VAR 5 OBS 2 VAR 6 OBS 3 VAR 1 OBS 3 VAR 2 OBS 3 VAR 3 OBS 3 VAR 4 OBS 3 VAR 5 OBS 3 VAR 6 OBS 4 VAR 1 OBS 4 VAR 2 OBS 4 VAR 3 OBS 4 VAR 4 OBS 4 VAR 5 OBS 4 VAR 6 OBS 5 VAR 1 OBS 5 VAR 2 OBS 5 VAR 3 OBS 5 VAR 4 OBS 5 VAR 5 OBS 5 VAR 6 OBS 6 VAR 1 OBS 6 VAR 2 OBS 6 VAR 3 OBS 6 VAR 4 OBS 6 VAR 5 OBS 6 VAR 6 Universo(100%dados)
O OLHAR DO ESTATÍSTICO …Código Nome Moeda Saldo Data Saldo Gênero 1 Marco Guimarães AOA 1000,25 2018/02/15 Masculino OBS 2 VAR 1 OBS 2 VAR 2 OBS 2 VAR 3 OBS 2 VAR 4 OBS 2 VAR 5 OBS 2 VAR 6 OBS 3 VAR 1 OBS 3 VAR 2 OBS 3 VAR 3 OBS 3 VAR 4 OBS 3 VAR 5 OBS 3 VAR 6 OBS 4 VAR 1 OBS 4 VAR 2 OBS 4 VAR 3 OBS 4 VAR 4 OBS 4 VAR 5 OBS 4 VAR 6 OBS 5 VAR 1 OBS 5 VAR 2 OBS 5 VAR 3 OBS 5 VAR 4 OBS 5 VAR 5 OBS 5 VAR 6 OBS 6 VAR 1 OBS 6 VAR 2 OBS 6 VAR 3 OBS 6 VAR 4 OBS 6 VAR 5 OBS 6 VAR 6 Universo(100%dados)
A MATEMÁTICA VARIÁVEIS QUALITATIVAS (TEXTO) E QUANTITATIVAS (NÚMEROS) ASSOCIAÇÃO: VARIÁVEIS QUALITATIVAS CORRELAÇÃO: VARIÁVEIS QUANTITATIVAS FIAP – MBA em BIG DATA, prof Regina Bernal (Análise de Associação e Correlação, 2016)
FIAP – MBA em BIG DATA, prof Regina Bernal (Análise de Associação e Correlação, 2016)
FIAP – MBA em BIG DATA, prof Regina Bernal (Análise de Associação e Correlação, 2016)
ESTATÍSTICA E ANALYTICS • REGRESSÃO LINEAR: MONEYBALL, PREVISÃO DE QUALIDADE DE VINHOS. UTILIZAR UM MODELO PARA FAZER PREVISÕES A PARTIR DE TENDÊNCIAS. • REGRESSÃO LOGÍSITICA: MEDICINA. PROBLEMAS DE CLASSIFICAÇÃO DE INFORMAÇÃO. PROBABILIDADE DE ALGO ACONTECER. USA CONHECIMENTO ESPECIALIZADO PARA JULGAR UMA SITUAÇÃO EM LARGA ESCALA. • CART (ÁRVORES DE CLASSIFICAÇÃO E REGRESSÃO): PREVER DECISÕES JUDICIAIS. MÉTODO AUXILIAR: RANDOM FORESTS: PODE SER MELHOR DO QUE ESPECIALISTAS NAS PREVISÕES... • CLUSTERIZAÇÃO E K-MEANS: NETFLIX (RECOMENDAÇÃO DE FILMES). RECONHECER SEMELHANÇAS E PADRÕES NOS DADOS.
FIAP – MBA em BIG DATA, prof Regina Bernal (Análise de Associação e Correlação, 2016)
O DESENVOLVIMENTO
O DESENVOLVIMENTO PYTHON (NUMPY, PANDAS… JUPYTER NOTEBOOKS) R / RSTUDIO (COMPRADA PELA MICROSOFT) JAVA (HDFS, HBASE, HADOP E QUASE TUDO FEITO EM JAVA) SCALA (MAIS PERFORMANCE QUE PYTHON E USA A MESMA VM DO JAVA) UNIX / LINUX – VMS CLOUDERA E HORTON WORKS… UBUNTU E CENTOS https://www.rstudio.com/products/rstudio/download/#download https://www.python.org/ https://www.scala-lang.org/download/
PYTHON JUPYTER NOTEBOOKS << RODAR CÓDIGO EM QUALQUER LUGAR GRANDE NÚMERO DE PACKAGES (BIBLIOTECAS) NUMPY E PANDAS (INGESTÃO E ANÁLISE DE DADOS) MATPLOTLIB (VISUALIZAÇÃO) SCIKIT-LEARN (MODELOS E MACHINE LEARNING) BEAUTIFULSOUP (LER XML E HTML DE MANEIRA FÁCIL) https://youtu.be/rS0GJMSSHKY
R GRANDE NÚMERO DE PACKAGES (BIBLIOTECAS) CRAN: REPOSITÓRIO DE BIBLIOTECAS CRIADA PARA ESTATÍSTICOS FRAMEWORK PARA DESENVOLVIMENTO WEB (!) ....
VISUALIZAÇÃO DE DADOS 90% DA INFORMAÇÃO TRANSMITIDA AO CÉREBRO É VISUAL. NO CÉREBRO AS INFORMAÇÕES VISUAIS SÃO PROCESSADAS 60.000 VEZES MAIS RÁPIDO DO QUE UM TEXTO.
VISUALIZAÇÃO DE DADOS 90% DA INFORMAÇÃO TRANSMITIDA AO CÉREBRO É VISUAL. NO CÉREBRO AS INFORMAÇÕES VISUAIS SÃO PROCESSADAS 60.000 VEZES MAIS RÁPIDO DO QUE UM TEXTO.
VISUALIZAÇÃO DE DADOS
VISUALIZAÇÃO DE DADOS FIAP – MBA em BIG DATA, AULA prof Rafael Shoji (Exploração de Dados Visuais, 2016)
BANCO DE DADOS https://db-engines.com/en/ranking
BANCO DE DADOS “NO SQL” >>>>> NOT ONLY SQL CHAVE-VALOR: REDIS* (2009), DYNAMO DB* (AMAZON, 2012), MEMCACHED (2003) COLUNAR: CASSANDRA (2008), HBASE (HADOOP - 2008) , DATASTAX (2011) GRAFOS: NEO4J (2007), COSMOS DB* (AZURE, 2014), VIRTUOSO* (1998) DOCUMENTOS: MONGO DB (2009), COUCH DB (2005), COUCHBASE (2011) MOTOR DE BUSCA: ELASTICSEARCH (2010), SOLR/LUCENE (2004), SPLUNK (2003) Nomes sublinhados foram construídos em Java + Nome com * suporta mais tipos de modelos No SQL Fonte: https://db-engines.com/ >>>>> NOT ONLY SQL CHAVE-VALOR: REDIS* (2009), DYNAMO DB* (AMAZON, 2012), MEMCACHED (2003) COLUNAR: CASSANDRA (2008), HBASE (HADOOP - 2008) , DATASTAX (2011) GRAFOS: NEO4J (2007), COSMOS DB* (AZURE, 2014), VIRTUOSO* (1998) DOCUMENTOS: MONGO DB (2009), COUCH DB (2005), COUCHBASE (2011) MOTOR DE BUSCA: ELASTICSEARCH (2010), SOLR/LUCENE (2004), SPLUNK (2003)
NO SQL MAIS POP: MONGO OPEN SOURCE PROJETO INICIADO EM 2009 NÃO SUPORTA SQL, UTILIZA JSON EM API PRÓPRIA SUPORTADO POR VÁRIAS LINGUAGENS: JAVA, C#, DELPHI, GO (GOOGLE), PHP, PYTHON, MATLAB, R, RUBY, SCALA ETC UTILIZAÇÃO: GERENCIAMENTO DE CONTEÚDO: FORBES E EBAY PERSONALIZAÇÃO: EXPEDIA, EHARMONY, TELEFÔNICA IOT (BOSCH), CATÁLOGOS (UNDER ARMOUR), REAL TIME ANALYTICS (BUZZFEED, CHICAGO) https://db-engines.com/en/system/MongoDB https://www.mongodb.com/
NUVEM https://clutch.co/cloud https://www.youtube.com/watch?time_continue=2&v=5kMDIBpxi_k
NUVEM http://sortbenchmark.org/ https://www.wired.com/2015/11/alibaba-cloud-wins-worldwide-battle-of-the-machines/
NUVEM “NUVEM” (CLOUD) É UM TERMO UTILIZADO HÁ DÉCADAS NA ÁREA DE TELECOMUNICAÇÕES CONJUNTO DE ATIVOS QUE COMPÕEM UMA INFRAESTRUTURA E VIABILIZA A OPERAÇÃO TRANSPARENTE E ESCALÁVEL, PONTA-A-PONTA, DOS SISTEMAS DE COMUNICAÇÃO, EM PARTICULAR TELEFONIA (TaaS). FIAP – MBA em BIG DATA, prof Fabian Martins (Arquitetura de Cloud Computing, 2016)
ATRÁS DAS NUVENS TUDO É DATA CENTER FIAP – MBA em BIG DATA, prof Fabian Martins (Arquitetura de Cloud Computing, 2016)
MODELOS DE CLOUD POSSIBILIDADES PARA ADOTAR A “NUVEM” FIAP – MBA em BIG DATA, prof Fabian Martins (Arquitetura de Cloud Computing, 2016)
VIABILIDADE ECONÔMICA: CLOUD DISTRIBUIÇÃO DOS CUSTOS DE INFRA FIAP – MBA em BIG DATA, prof Fabian Martins (Arquitetura de Cloud Computing, 2016)
GERENCIAR A NUVEM (E OS DADOS) SEGURANÇA, GOVERNANÇA E COMPLIANCE FIAP – MBA em BIG DATA, prof Fabian Martins (Arquitetura de Cloud Computing, 2016) https://cloudharmony.com/status
SEGURANÇA, GOVERNANÇA E COMPLIANCE FIAP – MBA em BIG DATA, prof Fabian Martins (Arquitetura de Cloud Computing, 2016) GERENCIAR A NUVEM (E OS DADOS)
SEGURANÇA, GOVERNANÇA E COMPLIANCE FIAP – MBA em BIG DATA, prof Fabian Martins (Arquitetura de Cloud Computing, 2016) GERENCIAR A NUVEM (E OS DADOS)
SEGURANÇA, GOVERNANÇA E COMPLIANCE FIAP – MBA em BIG DATA, prof Fabian Martins (Arquitetura de Cloud Computing, 2016) TRATADOS INTERNACIONAIS LEGISLAÇÃO VIGENTE NO PAÍS / LOCAL ÓRGÃO REGULADORES CÓDIGO DO CONSUMIDOR BOAS PRÁTICAS DE MERCADO GERENCIAR A NUVEM (E OS DADOS)
PROCESSAMENTO PARALELO O PROCESSAMENTO MASSIVO PARALELO (MPP, SIGLA EM INGLÊS) DEPENDE DE HARDWARE E SOFTWARE E TAMBEM TEM SUAS LIMITAÇÕES DE GANHO (LEIS DE AMDAHL E GUSTAFSON). FELIZMENTE A ARQUITETURA TEM EVOLUÍDO E TIRAR PROVEITO DESTA POSSIBILIDADE DE PROCESSAMENTO TEM FICADO MAIS ACESSÍVEL. O HADOOP É UM DOS FRAMEWORKS MAIS CONHECIDOS DE PROCESSAMENTO PARALELO DA ATUALIDADE. FIAP – MBA em BIG DATA, prof Samuel Schmidt (Processamento Massivo Paralelo, 2016)
PROCESSAMENTO PARALELO NÍVEIS DE PARALELISMO (E GRANULARIDADE): • INSTRUÇÃO (BAIXA) PIPELINED, VERY LONG INSTRUCTION WORD (VLIW), SUPER ESCALARES • THREAD (MÉDIA) MULTITHREADING E SIMULTANEOUS MULTITHREADING • PROCESSO (ALTA) MULTIPROCESSADORES E MULTICOMPUTADORES FIAP – MBA em BIG DATA, prof Samuel Schmidt (Processamento Massivo Paralelo, 2016)
PROCESSAMENTO PARALELO 4: UM CONJUNTO DE PROCESSADORES EXECUTA AO MESMO TEMPO SEQUENCIAS DIFERENTES DE INSTRUÇÕES SOBRE CONJUNTOS DE DADOS DIFERENTES. FIAP – MBA em BIG DATA, prof Samuel Schmidt (Processamento Massivo Paralelo, 2016) 1 2 3 4 4
CLUSTER VERSUS GRID FIAP – MBA em BIG DATA, prof Samuel Schmidt (Processamento Massivo Paralelo, 2016) COLVERO; DANTAS; CUNHA, 2005. CONFIGURAÇÃO CLUSTER GRID Domínio Único Múltiplos Nós Milhares Milhões Segurança do processamento e dos recursos Desnecessária (único domínio) Necessária Granularidade do problema Grande Muito Grande Sistemas Operacionais Homogêneo Heterogêneo Observações 1) Geograficamente distribuído 2) Recursos Heterogêneos
ESCALABILIDADE FIAP – MBA em BIG DATA, prof Samuel Schmidt (Processamento Massivo Paralelo, 2016) NÍVEIS DE ESCALABILIDADE • VERTICAL (SCALE UP) DEIXAR O MESMO COMPUTADOR CADA VEZ MAIS POTENTE (+CARO) • HORIZONTAL (SCALE OUT) ADICIONAR MAIS MÁQUINAS PARA TRABALHAR EM PARALELO (+BARATO)
HADOOP E O NOVO PARADIGMA FIAP – MBA em BIG DATA, prof Samuel Schmidt (Processamento Massivo Paralelo, 2016) 2002: PROJETO NUTCH (DOUG CUTTING E CAFARELLA) 2003: GOOGLE PUBLICA GFS E MAP REDUCE 2004: DOUG CRIA NTFS E ADICIONA MAP REDUCE AO NUTCH 2006: YAHOO CONTRATA DOUG. HADOOP NASCE. 2007: NYT CONVERTE 4 TB DE IMAGENS EM MAIS DE 100 EC2S 2008: YAHOO ORDENA 1 TB DE DADOS EM 3,5 MIN, UTILIZANDO 910 NÓS 2009: DOUG SE JUNTA À CLOUDERA, PROJETO SPARK INICIA (BERKELEY) 2010: YAHOO INICIA PROJETO APACHE HADOOP (TORNA OPEN) 2011: APARECEM HORTON WORKS E MAP-R 2013: SPARK VAI PARA APACHE TAMBEM… 2014: INTEL INVESTE MAIS U$ 700 MILHÕES NA CLOUDERA
O ECOSSISTEMA HADOOP HADOOP… DA AMAZON (ELASTIC MAP REDUCE) HADOOP… DA CLOUDERA (CDH DISTRIBUTION) HADOOP… DA HORTONWORKS (HORTON DATA PLATFORM) HADOOP… DA MAPR HADOOP… DA IBM (OPEN PLATFORM) HADOOP… DA MICROSOFT (AZURE’S HD INSIGHT) HADOOP… DA PIVOTAL
O ECOSSISTEMA HADOOP… DA AMAZON (ELASTIC MAP REDUCE) AWS HADOOP… DA CLOUDERA (CDH DISTRIBUTION) HADOOP… DA HORTONWORKS (HORTON DATA PLATFORM) HADOOP… DA MAPR HADOOP… DA IBM (OPEN PLATFORM) HADOOP… DA MICROSOFT (AZURE’S HD INSIGHT) HADOOP… DA PIVOTAL
BRIGA!! FINAL DE 2014… FIAP – MBA em BIG DATA, prof Samuel Schmidt (Processamento Massivo Paralelo, 2016)
O ECOSSISTEMA HADOOP… DA AMAZON (ELASTIC MAP REDUCE) AWS HADOOP… DA CLOUDERA (CDH DISTRIBUTION) HADOOP… DA HORTONWORKS (HORTON DATA PLATFORM) HADOOP… DA MAPR HADOOP… DA IBM (OPEN PLATFORM) HADOOP… DA MICROSOFT (AZURE’S HD INSIGHT) HADOOP… DA PIVOTAL https://www.theregister.co.uk/2017/06/15/ibm_adopts_hortonworks_for_hadoop_distribution/
O ECOSSISTEMA HADOOP… DA CLOUDERA (CDH DISTRIBUTION) HADOOP… DA HORTONWORKS (HORTON DATA PLATFORM) + IBM HADOOP… DA AMAZON (ELASTIC MAP REDUCE) AWS HADOOP… DA MICROSOFT (AZURE’S HD INSIGHT) https://www.sas.com/en_us/software/university-edition/download-software.html#windows
MAIS ALGUÉM? https://www.sas.com/en_us/software/university-edition/download-software.html#windows
MAS VAMOS VOLTAR AO FOCO…
HADOOOP?
APACHE HADOOOP…
APACHE https://www.infoworld.com/article/2607063/open-source-software/88714-15-high-impact-Apache-projects.html#slide2
APACHE https://www.infoworld.com/article/2607063/open-source-software/88714-15-high-impact-Apache-projects.html#slide2
APACHE https://www.infoworld.com/article/2607063/open-source-software/88714-15-high-impact-Apache-projects.html#slide2
APACHE HADOOP Processamento Distribuído de GRANDES volumes de DADOS através de CLUSTERS via modelos de programação HDFS: Hadoop Distributed File System (feito em Java) Map Reduce: sistema baseado no YARN para processamento Paralelo de grandes volumes de dados (large datasets) YARN: yet another resource negotiator – tecnologia para Gerenciamento de CLUSTER
APACHE HADOOP
https://opensource.com/life/14/8/intro-apache-hadoop-big-data
PROCESSAMENTO PARALELO FIAP – MBA em BIG DATA, prof Samuel Schmidt (Processamento Massivo Paralelo, 2016)
PERFIL https://whatsthebigdata.com/2015/10/17/how-to-become-a-unicorn-data-scientist-and-make-more-than-240000/
PERFIL https://www.kdnuggets.com/2015/11/different-data-science-roles-industry.html
PERFIL https://www.kdnuggets.com/2015/11/different-data-science-roles-industry.html
PERFIL https://www.kdnuggets.com/2015/11/different-data-science-roles-industry.html
PERFIL https://www.kdnuggets.com/2015/11/different-data-science-roles-industry.html
PERFIL https://www.kdnuggets.com/2015/11/different-data-science-roles-industry.html
PERFIL https://www.kdnuggets.com/2015/11/different-data-science-roles-industry.html
PERFIL https://www.kdnuggets.com/2015/11/different-data-science-roles-industry.html
PERFIL https://www.kdnuggets.com/2015/11/different-data-science-roles-industry.html Data Analyst Business Analyst Statician Data Engineer Data Architect Manager “O cara”
ONDE ESTUDAR ONLINE YOUTUBE: DIGITE BIG DATA E VEJA O QUE APARECE EDX, COURSERA, ALURA (SITE DA CAELUM - SP) HORTONWORKS, CLOUDERA, SAS, EMC… HTTPS://WWW.KAGGLE.COM/ INFORMAÇÕES ADICIONAIS EM PT-BR: SEMANTIX KD-NUGGETS
EVENTOS NO BRASIL BIGDATA WEEK: SP EM 2015, RJ EM 2016, SP EM 2017 (HTTP://BIGDATAWEEK.COM/CITIES) MEETUPS EM SP (ÚLTIMO NA VIVO, MAIO/2017 – EMPRESAS INCUBADAS)
AFRICA E ANGOLA HTTP://ANGOLA.OPENDATAFORAFRICA.ORG/ E DO MUNDO TODO… HTTPS://DATA.WORLDBANK.ORG/
FONTES (CURSOS) • Material MBA em Big Data FIAP, 2015-2016 • Edx – The Analytics Edge (MITx 15.071x – usa “R”) • Edx – Introduction to Computational Thinking and Data Science (MITx 6.00.2) • Edx – Introduction to Python for Data Science (Microsoft DAT 208x) • Hortonworks – Online Tutorials • Cloudera – Online Tutorials • SAS University (online) https://www.slideshare.net/renangpa/big-data-e-a-globocom-2017 https://db-engines.com/en/ranking http://www.csc.ncsu.edu/faculty/healey/PP/ https://www.infoq.com/presentations/nubank-financial-systems
FONTES - TIMELINE • https://docs.oracle.com/cd/B13789_01/server.101/b10759/intro001.htm; • https://gcn.com/articles/2013/05/30/gcn30-timeline-big-data.aspx; • https://www.biography.com/people/ada-lovelace-20825323; • http://www.computerhistory.org/timeline/ • http://www.lnmb.nl/conferences/2018/programlnmbconference/Aarts.pdf; • http://www.dataversity.net/a-short-history-of-data-warehousing/; • https://www.slideshare.net/GWOcon/big-data-analytics-with-r; • http://iml.jou.ufl.edu/projects/Fall02/Moody/history.html; • https://thoughts.manthan.com/wp-content/uploads/2015/11/timeline-of-analytics.jpg • https://www.forbes.com/sites/gilpress/2013/05/09/a-very-short-history-of-big-data/2/#7fe93f814343 • https://hadoop.apache.org/ • http://sortbenchmark.org • https://www.wired.com/2015/11/alibaba-cloud-wins-worldwide-battle-of-the-machines/
https://www.virtualbox.org/ https://www.vmware.com/ https://www.vmware.com/products/workstation-player/workstation-player-evaluation.html https://www.virtualbox.org/wiki/Downloads VAMOS ESTUDAR?
MUITO OBRIGADO! MARCO ANTONIO FILGUEIRAS GUIMARÃES, 17/02/2018 WORKSHOP

Mais conteúdo relacionado

PDF
Palestra big data_e_mineracao_dedados_5agosto13-versaoslideshare
porpccdias
 
PPTX
OS CINCO Vs DO BIG DATA
porLeonardo Dias
 
PDF
Data Science - A arte de estudar e analisar dados
porDayane Cristine Leite
 
PPT
Big Data
porCarlos Silva
 
PDF
Big Data, Analytics, Aplicações, Aspectos Práticos e o Cientista de Dados
porDan S. Reznik, PhD
 
PPTX
Big Data e NoSQL
porAllexandre Sampaio
 
PPTX
Big Data e Análise de Dados Massivos
porFrancisco Oliveira
 
PDF
O que é BIG DATA e como pode influenciar nossas vidas
porElaine Naomi
 
Palestra big data_e_mineracao_dedados_5agosto13-versaoslideshare
porpccdias
 
OS CINCO Vs DO BIG DATA
porLeonardo Dias
 
Data Science - A arte de estudar e analisar dados
porDayane Cristine Leite
 
Big Data
porCarlos Silva
 
Big Data, Analytics, Aplicações, Aspectos Práticos e o Cientista de Dados
porDan S. Reznik, PhD
 
Big Data e NoSQL
porAllexandre Sampaio
 
Big Data e Análise de Dados Massivos
porFrancisco Oliveira
 
O que é BIG DATA e como pode influenciar nossas vidas
porElaine Naomi
 

Mais procurados

ODP
Introdução ao Big Data para Desenvolvedores Python
porLuiz Eduardo Le Masson
 
PDF
Governança de Dados e Big Data
porCarlos Barbieri
 
PDF
Big Data Analytics - Do MapReduce ao dashboard com Hadoop e Pentaho
porAmbiente Livre
 
PDF
Intelligence, Discovery, Analytics e Data Science: Evolução, Desafios e Oport...
porMauricio Cesar Santos da Purificação
 
PDF
Big Data, o que é isso?
porAmbiente Livre
 
PDF
Apostila sobre Big Data
porFernando Palma
 
PDF
Palestra garimpando com pentaho data mining latinoware
porMarcos Vinicius Fidelis
 
PDF
Bigdata - Leandro Wanderley
porLeandro Couto
 
PDF
Hadoop, Big Data e Cloud Computing
porAmazon Web Services LATAM
 
DOCX
Trabalho tecnologia da informação, TI
porDANILLO RIBEIRO CUNHA
 
PPT
BIGDATA: Da teoria à Pratica
porDaniel Checchia
 
PDF
Open Source Data Science - Elaborando uma plataforma de Big Data & Analytics ...
porAmbiente Livre
 
PDF
Contexto de Big Data, Ciência de Dados e KDD - Pós Graduação em Big Data
porFabrício Barth
 
PPT
O que é Data Science?
porCiência e Dados
 
ODP
Palestra Introdução a Big Data
porAmtera Semantic Systems
 
PPTX
Aula Magna Sobre BI & BigData na UNIA, Luanda - Angola
poralexculpado
 
PDF
Big Data
porRandy Ambrosio Qj
 
PDF
Data science
porNauber Gois
 
PDF
Pentaho Data Mining - FTSL - Fórum de Tecnologia de Software Livre - Serpro -...
porMarcos Vinicius Fidelis
 
PPT
Big Data em 8 perguntas - 09.10.2014 - DATANORTE / GOV RN
porMarcos Luiz Lins Filho
 
Introdução ao Big Data para Desenvolvedores Python
porLuiz Eduardo Le Masson
 
Governança de Dados e Big Data
porCarlos Barbieri
 
Big Data Analytics - Do MapReduce ao dashboard com Hadoop e Pentaho
porAmbiente Livre
 
Intelligence, Discovery, Analytics e Data Science: Evolução, Desafios e Oport...
porMauricio Cesar Santos da Purificação
 
Big Data, o que é isso?
porAmbiente Livre
 
Apostila sobre Big Data
porFernando Palma
 
Palestra garimpando com pentaho data mining latinoware
porMarcos Vinicius Fidelis
 
Bigdata - Leandro Wanderley
porLeandro Couto
 
Hadoop, Big Data e Cloud Computing
porAmazon Web Services LATAM
 
Trabalho tecnologia da informação, TI
porDANILLO RIBEIRO CUNHA
 
BIGDATA: Da teoria à Pratica
porDaniel Checchia
 
Open Source Data Science - Elaborando uma plataforma de Big Data & Analytics ...
porAmbiente Livre
 
Contexto de Big Data, Ciência de Dados e KDD - Pós Graduação em Big Data
porFabrício Barth
 
O que é Data Science?
porCiência e Dados
 
Palestra Introdução a Big Data
porAmtera Semantic Systems
 
Aula Magna Sobre BI & BigData na UNIA, Luanda - Angola
poralexculpado
 
Big Data
porRandy Ambrosio Qj
 
Data science
porNauber Gois
 
Pentaho Data Mining - FTSL - Fórum de Tecnologia de Software Livre - Serpro -...
porMarcos Vinicius Fidelis
 
Big Data em 8 perguntas - 09.10.2014 - DATANORTE / GOV RN
porMarcos Luiz Lins Filho
 

Semelhante a Workshop / Meetup: Visão geral sobre Big Data

PDF
Big data - Uma visão geral da coisa...
porArthur Souza
 
PPTX
BIG data
porEdgar Nishiyama
 
PDF
Big Data e Data Science - Tecnologia e Mercado
porHélio Silva
 
PDF
aula1 - Bigdata.pdf
porCyberboy11
 
PPTX
Big Data e profissionais da informação
porFabiana Andrade Pereira
 
PPTX
Aula BigData.pptx
porFernando farias
 
PDF
Aula - BIG DATA (conceitos, recursos, tendências e oportunidades.)
pormariacamilamendesgom
 
PPT
Big Data - uma visão executiva
porVivaldo Jose Breternitz
 
PPTX
BigData
porAlexandra Joca
 
PDF
Governança de Dados e Big Data_v02
porCarlos Barbieri
 
PDF
Big Data e Data Science: admirável mundo novo - IV SIC IFNMG
porPetronio Candido
 
ODP
Big Data - Conceitos Básicos
porChristiano Anderson
 
PDF
Texto - 3º cictec - Big Data.docx
porcictec
 
PDF
Data Discovery, Olap e edição de dados bea
porJaquelineSilva45692
 
PDF
Aula CRP-0420-2016-04: Big Data 1
porAulas LULI: CRP-0357, CRP-0422 e CRP-0420
 
PDF
Palestra Big Data SCTI
porBruna Pereira
 
PPTX
Big data
porTiago Marques
 
PPTX
Qmeeting 2015 Big Data
porRoberto Oliveira
 
PPT
Big data = Oportunidades
porGustavo Santade
 
PPT
Big Data e suas Vertentes
porUnicamp
 
Big data - Uma visão geral da coisa...
porArthur Souza
 
BIG data
porEdgar Nishiyama
 
Big Data e Data Science - Tecnologia e Mercado
porHélio Silva
 
aula1 - Bigdata.pdf
porCyberboy11
 
Big Data e profissionais da informação
porFabiana Andrade Pereira
 
Aula BigData.pptx
porFernando farias
 
Aula - BIG DATA (conceitos, recursos, tendências e oportunidades.)
pormariacamilamendesgom
 
Big Data - uma visão executiva
porVivaldo Jose Breternitz
 
BigData
porAlexandra Joca
 
Governança de Dados e Big Data_v02
porCarlos Barbieri
 
Big Data e Data Science: admirável mundo novo - IV SIC IFNMG
porPetronio Candido
 
Big Data - Conceitos Básicos
porChristiano Anderson
 
Texto - 3º cictec - Big Data.docx
porcictec
 
Data Discovery, Olap e edição de dados bea
porJaquelineSilva45692
 
Aula CRP-0420-2016-04: Big Data 1
porAulas LULI: CRP-0357, CRP-0422 e CRP-0420
 
Palestra Big Data SCTI
porBruna Pereira
 
Big data
porTiago Marques
 
Qmeeting 2015 Big Data
porRoberto Oliveira
 
Big data = Oportunidades
porGustavo Santade
 
Big Data e suas Vertentes
porUnicamp
 

Workshop / Meetup: Visão geral sobre Big Data

  • 1.
    VISÃO GERAL SOBRE BIGDATA PORQUE NÃO É MODA E VALE A PENA BUSCAR MAIS INFORMAÇÃO SOBRE O ASSUNTO WORKSHOP
  • 2.
  • 3.
    VISÃO GERAL SOBREBIG DATA CONTEÚDO • O que é? Como surgiu? Como tem sido útil? • Os “Vs” do Big Data • Quem está usando? • A Matemática: estatística, otimização, Analytics • Ferramentas de Desenvolvimento • Visualização de Dados • Os Bancos de Dados No-SQL • Nuvem: XaaS • Processamento Paralelo • Ecossistema: Hadoop? • As vagas no mercado e os unicórnios • E o que mais? Por onde começar?
  • 4.
    O QUE É? TERMOGENÉRICO PARA SE REFERIR A CONJUNTOS DE DADOS TÃO GRANDES OU COMPLEXOS QUE SE TORNAM DIFÍCEIS DE TRABALHAR USANDO FERRAMENTAS CONVENCIONAIS. https://www.slideshare.net/GWOcon/big-data-analytics-with-r (slide 6)
  • 5.
    COMO SURGIU? • INFORMATIZAÇÃOCRESCENTE • DISPOSITIVOS PORTÁTEIS • BARATEAMENTO DO HARDWARE • POPULARIZAÇÃO DA INTERNET • CRESCIMENTO DA ECONOMIA DIGITAL • DISPOSITIVOS “CONECTADOS” • SOFTWARE OPEN SOURCE http://www.dailyinfographic.com/what-happens-internet-in-60-seconds https://www.forbes.com/sites/gilpress/2013/05/09/a-very-short-history-of-big-data/#10e2776a65a1
  • 6.
  • 7.
    COMO SURGIU? –TIMELINE ENXUTA
  • 8.
    COMO TEM SIDOÚTIL? ????????????????????????????????????????????????????????????????????????????????????????????? ????????????????????????????????????????????????????????????????????????????????????????????? ????????????????????????????????????????????????????????????????????????????????????????????? ????????????????????????????????????????????????????????????????????????????????????????????? ????????????????????????????????????????????????????????????????????????????????????????????? ????????????????????????????????????????????????????????????????????????????????????????????? ????????????????????????????????????????????????????????????????????????????????????????????? ????????????????????????????????????????????????????????????????????????????????????????????? ????????????????????????????????????????????????????????????????????????????????????????????? ????????????????????????????????????????????????????????????????????????????????????????????? ?????????????????????????????????????????????????????????????????????????????????????????????
  • 9.
    COMO TEM SIDOÚTIL? DADOS PODEM SER UM ATIVO ESTRATÉGICO PODEROSO SE AJUDAREM UMA EMPRESA A ATINGIR A SUA VISÃO DE NEGÓCIO
  • 10.
    COMO TEM SIDOÚTIL? AO LIDAR COM GRANDES QUANTIDADES DE DADOS... • GENOMA / BIOMEDICINA, SAÚDE PERSONALIZADA • GEOINFORMÁTICA, IMAGENS DE SATÉLITE • INTERPRETAÇÃO DE IMAGENS / RECONHECIMENTO DE PADRÕES • MELHOR ROTA NUM TRAJETO (NAQUELE MOMENTO) • SMART CITIES, IOT (INTERNET DAS COISAS) • DETECÇÃO DE FRAUDES ONLINE • PERFORMANCE DE JOGADORES NUMA EQUIPE
  • 11.
    COMO TEM SIDOÚTIL? EXEMPLO: PERFORMANCE DE JOGADORES NUMA EQUIPE But enterprise software played a part, too, in the form of big data analytics. In October 2013, the German Football Association (DFB) and SAP began collaborating to develop a “Match Insights” software system for the German national team to use in preparation for and during the tournament. SAP delivered a prototype in March 2014 and Joachim Low’s management team has been using the software ever since. http://www.computerweekly.com/news/2240224421/SAP-helps-Germany-lift-the-World-Cup
  • 12.
    COMO TEM SIDOÚTIL? EXEMPLO: PERFORMANCE DE JOGADORES NUMA EQUIPE https://www.paypal.com/stories/br/como-o-big-data-e-a-analise-de-dados-mudaram-os-esportes MBA BIG Data FIAP, Governança de Dados, slide 6 - Prof Marcelo Oliveira
  • 13.
    OS “V”S DOBIG DATA Guy Fawkes https://pt.wikipedia.org/wiki/V_for_Vendetta; https://cinefreak.com.br/v-de-vinganca-pode-virar-serie-de-tv/
  • 14.
    OS S DOBIG DATA SÃO 3… AO MENOS PENSANDO NO QUE TODOS CONCORDAM… RELACIONADOS ÀS NECESSIDADES DE CAPTURAR, PROCESSAR E RESPONDER AO QUE OS DADOS MOSTRAM TUDO SE RESUME AO QUE É PRECISO PARA FAZER BIG DATA MINING (NÃO É IGUAL A DATA MINING) https://blogs.gartner.com/doug-laney/files/2012/01/ad949-3D-Data-Management-Controlling-Data-Volume-Velocity-and-Variety.pdf http://www.brandsoftheworld.com/logo/v-for-vendetta-0?original=1
  • 15.
    OS S DOBIG DATA http://www.brandsoftheworld.com/logo/v-for-vendetta-0?original=1 SÃO 3… VOLUME DE DADOS (QUANTIDADE) VARIEDADE (DIVERSIDADE DE FONTES E TIPOS) ELOCIDADE (ALTA CAPACIDADE DE PROCESSAMENTO)
  • 16.
    OS S DOBIG DATA http://www.brandsoftheworld.com/logo/v-for-vendetta-0?original=1 SÃO 3… VOLUME DE DADOS (QUANTIDADE) VARIEDADE (DIVERSIDADE DE FONTES E TIPOS) VELOCIDADE (ALTA CAPACIDADE DE PROCESSAMENTO) ->EXTRAS: VERACIDADE, VARIABILIDADE, VALOR
  • 17.
    OS S DOBIG DATA http://www.brandsoftheworld.com/logo/v-for-vendetta-0?original=1 SÃO 3… VOLUME DE DADOS (QUANTIDADE) VARIEDADE (DIVERSIDADE DE FONTES E TIPOS) VELOCIDADE (ALTA CAPACIDADE DE PROCESSAMENTO) ->EXTRAS: VERACIDADE, VARIABILIDADE, VALOR
  • 18.
    OS S DOBIG DATA http://www.brandsoftheworld.com/logo/v-for-vendetta-0?original=1 SÃO 3… O RESTO É CONVERSA… MAS TUDO É CENTRADO NOS DADOS VOLUME DE DADOS (QUANTIDADE) VARIEDADE (DIVERSIDADE DE FONTES E TIPOS) VELOCIDADE (ALTA CAPACIDADE DE PROCESSAMENTO – DISTRIBUÍDA)
  • 19.
    OS S DOBIG DATA http://www.brandsoftheworld.com/logo/v-for-vendetta-0?original=1 SÃO 3… O RESTO É CONVERSA… MAS TUDO É CENTRADO NOS DADOS VOLUME DE DADOS (QUANTIDADE) VARIEDADE (DIVERSIDADE DE FONTES E TIPOS) VELOCIDADE (ALTA CAPACIDADE DE PROCESSAMENTO – DISTRIBUÍDA) https://blogs.sap.com/2017/09/21/speed-security-and-trust-for-your-big-data/
  • 20.
    OS S DOBIG DATA https://blogs.sap.com/2017/09/21/speed-security-and-trust-for-your-big-data/ SÃO 3… O RESTO É CONVERSA… MAS TUDO É CENTRADO NOS DADOS VOLUME DE DADOS (QUANTIDADE) VARIEDADE (DIVERSIDADE DE FONTES E TIPOS) VELOCIDADE (ALTA CAPACIDADE DE PROCESSAMENTO – DISTRIBUÍDA)
  • 21.
    OS S DOBIG DATA MBA BIG Data FIAP, Governança de Dados, slide 7 - Prof Marcelo Oliveira
  • 22.
  • 23.
    QUEM ESTÁ USANDO… JOÃODORIA (HTTP://WWW.BBC.COM/PORTUGUESE/BRASIL-41406420) CIELO (HTTPS://CIELO.RIWEB.COM.BR/#) OPERAÇÃO LAVA-JATO (HTTP://COMPUTERWORLD.COM.BR/POLICIA-FEDERAL-USA-TECNICA-FORENSE-PARA-INVESTIGAR-ENVOLVIDOS-NA-LAVA-JATO) GLOBO.COM (HTTPS://REDEGLOBO.GLOBO.COM/NOVIDADES/NOTICIA/PROJETO-EM-BIG-DATA-DA-GLOBO-E-PREMIADO-NO-IBC.GHTML) SELEÇÃO ALEMÃ DE FUTEBOL (HTTPS://EXAME.ABRIL.COM.BR/TECNOLOGIA/SOLUCAO-DE-BIG-DATA-E-UM-DOS-SEGREDOS-DA-ALEMANHA-NA-COPA-2/ ) AGRONEGÓCIO BRASILEIRO (HTTP://SNA.AGR.BR/USO-DE-BIG-DATA-NO-AGRONEGOCIO-DEVERA-CRESCER-NOS-PROXIMOS-ANOS/)
  • 24.
  • 25.
  • 26.
  • 27.
    A MATEMÁTICA ESTATÍSTICA, MUITAESTATÍSTICA… E MATEMÁTICA AVANÇADA… http://bd2017.spm-pt.org/ https://www.prandiano.com.br/copy-of-big-data https://hbr.org/2012/10/data-scientist-the-sexiest-job-of-the-21st-century Teoria dos Suportes, Dendogramação Big Data, Função Sigmóide e AnovA, Autovalores e Autovetores, Análise Multivariada, Support Vector Machine, Discriminante de Fisher, Discriminante de Hellinger, KmeansS de MacQuenn, Elbow Data Chart, Algoritmo Big Data Fuzzy, Pesquisa Operacional
  • 28.
  • 29.
    A MATEMÁTICA https://www.thefreedictionary.com/analytics https://www.slideshare.net/GWOcon/big-data-analytics-with-r/6 (slide9) ANALYTICS: RAMO DA LÓGICA QUE TRATA DA ANÁLISE DE INFORMAÇÃO É A COMBINAÇÃO DE TÉCNICAS DE MATEMÁTICA, ESTATÍSTICA E HEURÍSTICA PARA ENTENDER ALGO A PARTIR DOS DADOS (E OBTER INSIGHTS ETC)
  • 30.
  • 31.
    A MATEMÁTICA PROBLEMAS DEOTIMIZAÇÃO SÃO DE COMPLEXIDADE EXPONENCIAL O = 2N (SE 2 POSSIBILIDADES PARA CADA N, COMO “TEM” OU NÃO “TEM”) A PROBABILIDADE E A ESTATÍSTICA VÃO TE AJUDAR A ENTENDER A COMPLEXIDADE DOS DADOS, VER COMO ELES SE COMPORTAM E, ASSIM, ACHAR PADRÕES NELES… MITx: 6.00.2x Introduction to Computational Thinking and Data Science https://courses.edx.org/courses/course-v1:MITx+6.00.2x+3T2017/course/
  • 32.
    A MATEMÁTICA NOÇÕES QUEVÃO TE AJUDAR NA ANÁLISE DE DADOS • MÉDIA, MODA, MEDIANA, CURVA NORMAL, DESVIO PADRÃO E OUTLIER • REGRESSÃO LINEAR • CLUSTERIZAÇÃO E K-MEANS
  • 33.
    A MATEMÁTICA Média (mean) Moda(mode) Mediana (median) Probabilidade 80% Intervalo de confiança Desvio padrão: dispersão em relação à média Outlier: pontos extremos… Quem “estraga” a média. MedidasdeResumo
  • 34.
    A MATEMÁTICA A ESTATÍSTICAVAI TE AJUDAR A ENCONTRAR PADRÕES “OCULTOS” E A LIDAR COM A ALEATORIEDADE, AS INCERTEZAS E COM GERAÇÃO DE AMOSTRAS DE DADOS. PROBLEMA DO MUNDO REAL NÃO CONSEGUIMOS PREVER ALGUMAS SITUAÇÕES POR PURA FALTA DE INFORMAÇÃO SOBRE ELAS OU SUAS CAUSAS. ENFIM, DEVEMOS TRATÁ-LAS COMO ALEATÓRIAS. A ISSO SE CHAMA DE PROCESSO ESTOCÁSTICO.
  • 35.
    O OLHAR DOESTATÍSTICO OLHANDO OS DADOS COMO UM ESTATÍSTICO… VAMOS USAR O SAS, POR EXEMPLO. LÁ VOCÊ NÃO TEM UMA TABELA, TEM UM DATA SET (CONJUNTO DE DADOS). O QUE ERA UMA LINHA DA TABELA, AGORA, TORNA-SE UMA OBSERVAÇÃO. E EM UMA TABELA VOCÊ NÃO TEM COLUNAS, MAS VARIÁVEIS.
  • 36.
    O OLHAR DOESTATÍSTICO …VAR 1 VAR 2 VAR 3 VAR 4 VAR 5 VAR 6 OBS 1 VAR 1 OBS 1 VAR 2 OBS 1 VAR 3 OBS 1 VAR 4 OBS 1 VAR 5 OBS 1 VAR 6 OBS 2 VAR 1 OBS 2 VAR 2 OBS 2 VAR 3 OBS 2 VAR 4 OBS 2 VAR 5 OBS 2 VAR 6 OBS 3 VAR 1 OBS 3 VAR 2 OBS 3 VAR 3 OBS 3 VAR 4 OBS 3 VAR 5 OBS 3 VAR 6 OBS 4 VAR 1 OBS 4 VAR 2 OBS 4 VAR 3 OBS 4 VAR 4 OBS 4 VAR 5 OBS 4 VAR 6 OBS 5 VAR 1 OBS 5 VAR 2 OBS 5 VAR 3 OBS 5 VAR 4 OBS 5 VAR 5 OBS 5 VAR 6 OBS 6 VAR 1 OBS 6 VAR 2 OBS 6 VAR 3 OBS 6 VAR 4 OBS 6 VAR 5 OBS 6 VAR 6 Universo(100%dados)
  • 37.
    O OLHAR DOESTATÍSTICO …Código Nome Moeda Saldo Data Saldo Gênero 1 Marco Guimarães AOA 1000,25 2018/02/15 Masculino OBS 2 VAR 1 OBS 2 VAR 2 OBS 2 VAR 3 OBS 2 VAR 4 OBS 2 VAR 5 OBS 2 VAR 6 OBS 3 VAR 1 OBS 3 VAR 2 OBS 3 VAR 3 OBS 3 VAR 4 OBS 3 VAR 5 OBS 3 VAR 6 OBS 4 VAR 1 OBS 4 VAR 2 OBS 4 VAR 3 OBS 4 VAR 4 OBS 4 VAR 5 OBS 4 VAR 6 OBS 5 VAR 1 OBS 5 VAR 2 OBS 5 VAR 3 OBS 5 VAR 4 OBS 5 VAR 5 OBS 5 VAR 6 OBS 6 VAR 1 OBS 6 VAR 2 OBS 6 VAR 3 OBS 6 VAR 4 OBS 6 VAR 5 OBS 6 VAR 6 Universo(100%dados)
  • 38.
    A MATEMÁTICA VARIÁVEIS QUALITATIVAS(TEXTO) E QUANTITATIVAS (NÚMEROS) ASSOCIAÇÃO: VARIÁVEIS QUALITATIVAS CORRELAÇÃO: VARIÁVEIS QUANTITATIVAS FIAP – MBA em BIG DATA, prof Regina Bernal (Análise de Associação e Correlação, 2016)
  • 39.
    FIAP – MBAem BIG DATA, prof Regina Bernal (Análise de Associação e Correlação, 2016)
  • 40.
    FIAP – MBAem BIG DATA, prof Regina Bernal (Análise de Associação e Correlação, 2016)
  • 41.
    ESTATÍSTICA E ANALYTICS •REGRESSÃO LINEAR: MONEYBALL, PREVISÃO DE QUALIDADE DE VINHOS. UTILIZAR UM MODELO PARA FAZER PREVISÕES A PARTIR DE TENDÊNCIAS. • REGRESSÃO LOGÍSITICA: MEDICINA. PROBLEMAS DE CLASSIFICAÇÃO DE INFORMAÇÃO. PROBABILIDADE DE ALGO ACONTECER. USA CONHECIMENTO ESPECIALIZADO PARA JULGAR UMA SITUAÇÃO EM LARGA ESCALA. • CART (ÁRVORES DE CLASSIFICAÇÃO E REGRESSÃO): PREVER DECISÕES JUDICIAIS. MÉTODO AUXILIAR: RANDOM FORESTS: PODE SER MELHOR DO QUE ESPECIALISTAS NAS PREVISÕES... • CLUSTERIZAÇÃO E K-MEANS: NETFLIX (RECOMENDAÇÃO DE FILMES). RECONHECER SEMELHANÇAS E PADRÕES NOS DADOS.
  • 42.
    FIAP – MBAem BIG DATA, prof Regina Bernal (Análise de Associação e Correlação, 2016)
  • 43.
  • 44.
    O DESENVOLVIMENTO PYTHON (NUMPY,PANDAS… JUPYTER NOTEBOOKS) R / RSTUDIO (COMPRADA PELA MICROSOFT) JAVA (HDFS, HBASE, HADOP E QUASE TUDO FEITO EM JAVA) SCALA (MAIS PERFORMANCE QUE PYTHON E USA A MESMA VM DO JAVA) UNIX / LINUX – VMS CLOUDERA E HORTON WORKS… UBUNTU E CENTOS https://www.rstudio.com/products/rstudio/download/#download https://www.python.org/ https://www.scala-lang.org/download/
  • 45.
    PYTHON JUPYTER NOTEBOOKS <<RODAR CÓDIGO EM QUALQUER LUGAR GRANDE NÚMERO DE PACKAGES (BIBLIOTECAS) NUMPY E PANDAS (INGESTÃO E ANÁLISE DE DADOS) MATPLOTLIB (VISUALIZAÇÃO) SCIKIT-LEARN (MODELOS E MACHINE LEARNING) BEAUTIFULSOUP (LER XML E HTML DE MANEIRA FÁCIL) https://youtu.be/rS0GJMSSHKY
  • 46.
    R GRANDE NÚMERO DEPACKAGES (BIBLIOTECAS) CRAN: REPOSITÓRIO DE BIBLIOTECAS CRIADA PARA ESTATÍSTICOS FRAMEWORK PARA DESENVOLVIMENTO WEB (!) ....
  • 47.
    VISUALIZAÇÃO DE DADOS 90%DA INFORMAÇÃO TRANSMITIDA AO CÉREBRO É VISUAL. NO CÉREBRO AS INFORMAÇÕES VISUAIS SÃO PROCESSADAS 60.000 VEZES MAIS RÁPIDO DO QUE UM TEXTO.
  • 48.
    VISUALIZAÇÃO DE DADOS 90%DA INFORMAÇÃO TRANSMITIDA AO CÉREBRO É VISUAL. NO CÉREBRO AS INFORMAÇÕES VISUAIS SÃO PROCESSADAS 60.000 VEZES MAIS RÁPIDO DO QUE UM TEXTO.
  • 49.
  • 50.
    VISUALIZAÇÃO DE DADOS FIAP– MBA em BIG DATA, AULA prof Rafael Shoji (Exploração de Dados Visuais, 2016)
  • 51.
  • 52.
    BANCO DE DADOS“NO SQL” >>>>> NOT ONLY SQL CHAVE-VALOR: REDIS* (2009), DYNAMO DB* (AMAZON, 2012), MEMCACHED (2003) COLUNAR: CASSANDRA (2008), HBASE (HADOOP - 2008) , DATASTAX (2011) GRAFOS: NEO4J (2007), COSMOS DB* (AZURE, 2014), VIRTUOSO* (1998) DOCUMENTOS: MONGO DB (2009), COUCH DB (2005), COUCHBASE (2011) MOTOR DE BUSCA: ELASTICSEARCH (2010), SOLR/LUCENE (2004), SPLUNK (2003) Nomes sublinhados foram construídos em Java + Nome com * suporta mais tipos de modelos No SQL Fonte: https://db-engines.com/ >>>>> NOT ONLY SQL CHAVE-VALOR: REDIS* (2009), DYNAMO DB* (AMAZON, 2012), MEMCACHED (2003) COLUNAR: CASSANDRA (2008), HBASE (HADOOP - 2008) , DATASTAX (2011) GRAFOS: NEO4J (2007), COSMOS DB* (AZURE, 2014), VIRTUOSO* (1998) DOCUMENTOS: MONGO DB (2009), COUCH DB (2005), COUCHBASE (2011) MOTOR DE BUSCA: ELASTICSEARCH (2010), SOLR/LUCENE (2004), SPLUNK (2003)
  • 53.
    NO SQL MAISPOP: MONGO OPEN SOURCE PROJETO INICIADO EM 2009 NÃO SUPORTA SQL, UTILIZA JSON EM API PRÓPRIA SUPORTADO POR VÁRIAS LINGUAGENS: JAVA, C#, DELPHI, GO (GOOGLE), PHP, PYTHON, MATLAB, R, RUBY, SCALA ETC UTILIZAÇÃO: GERENCIAMENTO DE CONTEÚDO: FORBES E EBAY PERSONALIZAÇÃO: EXPEDIA, EHARMONY, TELEFÔNICA IOT (BOSCH), CATÁLOGOS (UNDER ARMOUR), REAL TIME ANALYTICS (BUZZFEED, CHICAGO) https://db-engines.com/en/system/MongoDB https://www.mongodb.com/
  • 54.
  • 55.
  • 56.
    NUVEM “NUVEM” (CLOUD) ÉUM TERMO UTILIZADO HÁ DÉCADAS NA ÁREA DE TELECOMUNICAÇÕES CONJUNTO DE ATIVOS QUE COMPÕEM UMA INFRAESTRUTURA E VIABILIZA A OPERAÇÃO TRANSPARENTE E ESCALÁVEL, PONTA-A-PONTA, DOS SISTEMAS DE COMUNICAÇÃO, EM PARTICULAR TELEFONIA (TaaS). FIAP – MBA em BIG DATA, prof Fabian Martins (Arquitetura de Cloud Computing, 2016)
  • 57.
    ATRÁS DAS NUVENS TUDOÉ DATA CENTER FIAP – MBA em BIG DATA, prof Fabian Martins (Arquitetura de Cloud Computing, 2016)
  • 58.
    MODELOS DE CLOUD POSSIBILIDADESPARA ADOTAR A “NUVEM” FIAP – MBA em BIG DATA, prof Fabian Martins (Arquitetura de Cloud Computing, 2016)
  • 59.
    VIABILIDADE ECONÔMICA: CLOUD DISTRIBUIÇÃODOS CUSTOS DE INFRA FIAP – MBA em BIG DATA, prof Fabian Martins (Arquitetura de Cloud Computing, 2016)
  • 60.
    GERENCIAR A NUVEM(E OS DADOS) SEGURANÇA, GOVERNANÇA E COMPLIANCE FIAP – MBA em BIG DATA, prof Fabian Martins (Arquitetura de Cloud Computing, 2016) https://cloudharmony.com/status
  • 61.
    SEGURANÇA, GOVERNANÇA ECOMPLIANCE FIAP – MBA em BIG DATA, prof Fabian Martins (Arquitetura de Cloud Computing, 2016) GERENCIAR A NUVEM (E OS DADOS)
  • 62.
    SEGURANÇA, GOVERNANÇA ECOMPLIANCE FIAP – MBA em BIG DATA, prof Fabian Martins (Arquitetura de Cloud Computing, 2016) GERENCIAR A NUVEM (E OS DADOS)
  • 63.
    SEGURANÇA, GOVERNANÇA ECOMPLIANCE FIAP – MBA em BIG DATA, prof Fabian Martins (Arquitetura de Cloud Computing, 2016) TRATADOS INTERNACIONAIS LEGISLAÇÃO VIGENTE NO PAÍS / LOCAL ÓRGÃO REGULADORES CÓDIGO DO CONSUMIDOR BOAS PRÁTICAS DE MERCADO GERENCIAR A NUVEM (E OS DADOS)
  • 64.
    PROCESSAMENTO PARALELO O PROCESSAMENTOMASSIVO PARALELO (MPP, SIGLA EM INGLÊS) DEPENDE DE HARDWARE E SOFTWARE E TAMBEM TEM SUAS LIMITAÇÕES DE GANHO (LEIS DE AMDAHL E GUSTAFSON). FELIZMENTE A ARQUITETURA TEM EVOLUÍDO E TIRAR PROVEITO DESTA POSSIBILIDADE DE PROCESSAMENTO TEM FICADO MAIS ACESSÍVEL. O HADOOP É UM DOS FRAMEWORKS MAIS CONHECIDOS DE PROCESSAMENTO PARALELO DA ATUALIDADE. FIAP – MBA em BIG DATA, prof Samuel Schmidt (Processamento Massivo Paralelo, 2016)
  • 65.
    PROCESSAMENTO PARALELO NÍVEIS DEPARALELISMO (E GRANULARIDADE): • INSTRUÇÃO (BAIXA) PIPELINED, VERY LONG INSTRUCTION WORD (VLIW), SUPER ESCALARES • THREAD (MÉDIA) MULTITHREADING E SIMULTANEOUS MULTITHREADING • PROCESSO (ALTA) MULTIPROCESSADORES E MULTICOMPUTADORES FIAP – MBA em BIG DATA, prof Samuel Schmidt (Processamento Massivo Paralelo, 2016)
  • 66.
    PROCESSAMENTO PARALELO 4: UMCONJUNTO DE PROCESSADORES EXECUTA AO MESMO TEMPO SEQUENCIAS DIFERENTES DE INSTRUÇÕES SOBRE CONJUNTOS DE DADOS DIFERENTES. FIAP – MBA em BIG DATA, prof Samuel Schmidt (Processamento Massivo Paralelo, 2016) 1 2 3 4 4
  • 67.
    CLUSTER VERSUS GRID FIAP– MBA em BIG DATA, prof Samuel Schmidt (Processamento Massivo Paralelo, 2016) COLVERO; DANTAS; CUNHA, 2005. CONFIGURAÇÃO CLUSTER GRID Domínio Único Múltiplos Nós Milhares Milhões Segurança do processamento e dos recursos Desnecessária (único domínio) Necessária Granularidade do problema Grande Muito Grande Sistemas Operacionais Homogêneo Heterogêneo Observações 1) Geograficamente distribuído 2) Recursos Heterogêneos
  • 68.
    ESCALABILIDADE FIAP – MBAem BIG DATA, prof Samuel Schmidt (Processamento Massivo Paralelo, 2016) NÍVEIS DE ESCALABILIDADE • VERTICAL (SCALE UP) DEIXAR O MESMO COMPUTADOR CADA VEZ MAIS POTENTE (+CARO) • HORIZONTAL (SCALE OUT) ADICIONAR MAIS MÁQUINAS PARA TRABALHAR EM PARALELO (+BARATO)
  • 69.
    HADOOP E ONOVO PARADIGMA FIAP – MBA em BIG DATA, prof Samuel Schmidt (Processamento Massivo Paralelo, 2016) 2002: PROJETO NUTCH (DOUG CUTTING E CAFARELLA) 2003: GOOGLE PUBLICA GFS E MAP REDUCE 2004: DOUG CRIA NTFS E ADICIONA MAP REDUCE AO NUTCH 2006: YAHOO CONTRATA DOUG. HADOOP NASCE. 2007: NYT CONVERTE 4 TB DE IMAGENS EM MAIS DE 100 EC2S 2008: YAHOO ORDENA 1 TB DE DADOS EM 3,5 MIN, UTILIZANDO 910 NÓS 2009: DOUG SE JUNTA À CLOUDERA, PROJETO SPARK INICIA (BERKELEY) 2010: YAHOO INICIA PROJETO APACHE HADOOP (TORNA OPEN) 2011: APARECEM HORTON WORKS E MAP-R 2013: SPARK VAI PARA APACHE TAMBEM… 2014: INTEL INVESTE MAIS U$ 700 MILHÕES NA CLOUDERA
  • 70.
    O ECOSSISTEMA HADOOP HADOOP…DA AMAZON (ELASTIC MAP REDUCE) HADOOP… DA CLOUDERA (CDH DISTRIBUTION) HADOOP… DA HORTONWORKS (HORTON DATA PLATFORM) HADOOP… DA MAPR HADOOP… DA IBM (OPEN PLATFORM) HADOOP… DA MICROSOFT (AZURE’S HD INSIGHT) HADOOP… DA PIVOTAL
  • 71.
    O ECOSSISTEMA HADOOP… DAAMAZON (ELASTIC MAP REDUCE) AWS HADOOP… DA CLOUDERA (CDH DISTRIBUTION) HADOOP… DA HORTONWORKS (HORTON DATA PLATFORM) HADOOP… DA MAPR HADOOP… DA IBM (OPEN PLATFORM) HADOOP… DA MICROSOFT (AZURE’S HD INSIGHT) HADOOP… DA PIVOTAL
  • 72.
    BRIGA!! FINAL DE 2014… FIAP –MBA em BIG DATA, prof Samuel Schmidt (Processamento Massivo Paralelo, 2016)
  • 73.
    O ECOSSISTEMA HADOOP… DAAMAZON (ELASTIC MAP REDUCE) AWS HADOOP… DA CLOUDERA (CDH DISTRIBUTION) HADOOP… DA HORTONWORKS (HORTON DATA PLATFORM) HADOOP… DA MAPR HADOOP… DA IBM (OPEN PLATFORM) HADOOP… DA MICROSOFT (AZURE’S HD INSIGHT) HADOOP… DA PIVOTAL https://www.theregister.co.uk/2017/06/15/ibm_adopts_hortonworks_for_hadoop_distribution/
  • 74.
    O ECOSSISTEMA HADOOP… DACLOUDERA (CDH DISTRIBUTION) HADOOP… DA HORTONWORKS (HORTON DATA PLATFORM) + IBM HADOOP… DA AMAZON (ELASTIC MAP REDUCE) AWS HADOOP… DA MICROSOFT (AZURE’S HD INSIGHT) https://www.sas.com/en_us/software/university-edition/download-software.html#windows
  • 75.
  • 76.
    MAS VAMOS VOLTARAO FOCO…
  • 77.
  • 78.
  • 79.
  • 80.
  • 81.
  • 82.
    APACHE HADOOP Processamento Distribuídode GRANDES volumes de DADOS através de CLUSTERS via modelos de programação HDFS: Hadoop Distributed File System (feito em Java) Map Reduce: sistema baseado no YARN para processamento Paralelo de grandes volumes de dados (large datasets) YARN: yet another resource negotiator – tecnologia para Gerenciamento de CLUSTER
  • 83.
  • 85.
  • 87.
    PROCESSAMENTO PARALELO FIAP –MBA em BIG DATA, prof Samuel Schmidt (Processamento Massivo Paralelo, 2016)
  • 90.
  • 91.
  • 92.
  • 93.
  • 94.
  • 95.
  • 96.
  • 97.
  • 98.
  • 99.
    ONDE ESTUDAR ONLINE YOUTUBE:DIGITE BIG DATA E VEJA O QUE APARECE EDX, COURSERA, ALURA (SITE DA CAELUM - SP) HORTONWORKS, CLOUDERA, SAS, EMC… HTTPS://WWW.KAGGLE.COM/ INFORMAÇÕES ADICIONAIS EM PT-BR: SEMANTIX KD-NUGGETS
  • 100.
    EVENTOS NO BRASIL BIGDATAWEEK: SP EM 2015, RJ EM 2016, SP EM 2017 (HTTP://BIGDATAWEEK.COM/CITIES) MEETUPS EM SP (ÚLTIMO NA VIVO, MAIO/2017 – EMPRESAS INCUBADAS)
  • 101.
    AFRICA E ANGOLA HTTP://ANGOLA.OPENDATAFORAFRICA.ORG/ EDO MUNDO TODO… HTTPS://DATA.WORLDBANK.ORG/
  • 102.
    FONTES (CURSOS) • MaterialMBA em Big Data FIAP, 2015-2016 • Edx – The Analytics Edge (MITx 15.071x – usa “R”) • Edx – Introduction to Computational Thinking and Data Science (MITx 6.00.2) • Edx – Introduction to Python for Data Science (Microsoft DAT 208x) • Hortonworks – Online Tutorials • Cloudera – Online Tutorials • SAS University (online) https://www.slideshare.net/renangpa/big-data-e-a-globocom-2017 https://db-engines.com/en/ranking http://www.csc.ncsu.edu/faculty/healey/PP/ https://www.infoq.com/presentations/nubank-financial-systems
  • 103.
    FONTES - TIMELINE •https://docs.oracle.com/cd/B13789_01/server.101/b10759/intro001.htm; • https://gcn.com/articles/2013/05/30/gcn30-timeline-big-data.aspx; • https://www.biography.com/people/ada-lovelace-20825323; • http://www.computerhistory.org/timeline/ • http://www.lnmb.nl/conferences/2018/programlnmbconference/Aarts.pdf; • http://www.dataversity.net/a-short-history-of-data-warehousing/; • https://www.slideshare.net/GWOcon/big-data-analytics-with-r; • http://iml.jou.ufl.edu/projects/Fall02/Moody/history.html; • https://thoughts.manthan.com/wp-content/uploads/2015/11/timeline-of-analytics.jpg • https://www.forbes.com/sites/gilpress/2013/05/09/a-very-short-history-of-big-data/2/#7fe93f814343 • https://hadoop.apache.org/ • http://sortbenchmark.org • https://www.wired.com/2015/11/alibaba-cloud-wins-worldwide-battle-of-the-machines/
  • 104.
  • 105.
    MUITO OBRIGADO! MARCO ANTONIO FILGUEIRASGUIMARÃES, 17/02/2018 WORKSHOP