Big Data & Datamining - Google Big Query

1. DISCIPLINA: BIG DATA E DATA MINING
CONCEITOS
PROF. VICENTE FERNANDES TINO, M.SC
TINO@POSGRADO.NET.BR – 92 988088808.
AULA 5

2. 2
INDUSTRIA 4.0 – ID85A
Módulos C/H Datas
Mapa de Fluxo de Valor e
Virtualização
45
horas
05, 06, 07, 12, 13, 14, 19, 20, 21 de
dezembro de 2018.
Simulação de Processos
Industriais
45
horas
30, 31 de janeiro. 01, 13, 14, 15, 27, 28
de fevereiro. 01 de março de 2019.
Big Data Analysis e Data Mining
para Indústria
45
horas
13, 14, 15, 27, 28, 29 de março. 10, 11,
12 de abril de 2019.
IoT Aplicado aos Negócios e
Realidade Aumentada
45
horas
24, 25, 26 de abril. 08, 09, 10, 22, 23, 24
de maio de 2019.
Robótica Colaborativa e
Exoesqueleto
45
horas
05, 06, 07, 12, 13, 14 de junho. 03, 04,
05 de julho de 2019.
Veículos Aéreos Não Tripulados
(DRONES)
45
horas
31 de julho. 01, 02, 14, 15, 16, 28, 29, 30
de agosto de 2019.
Manutenção Aditiva e Preditiva
com Prototipagem 3D
45
horas
11, 12, 13, 25, 26, 27 de setembro. 09,
10, 11 de outubro de 2019.
Cyber Security
45
horas
30, 31 de outubro. 01, 13, 14, 15, 27, 28,
29 de novembro de 2019.

3. 3
ESTRUTURA DA DISCIPLINAEstruturaeModelagem
deDados,Dataware
House,BigData,
BusinessInteligence
FerramentasdeBI-
QLik
ConceitosdeIAe
MineraçãodeDados
FerramentaOrange
Conceitosde
Armazenamentonas
Nuvens
FerramentaBigQuery
Google

4. SUMÁRIO
CONCEITOS
INFRAESTRUTURA
GOOGLE BIGQUERY
REDSHIFT Vs BIGQUERY
SQL
CRIAR UMA CONTA (HANDS ON) 4

5. 5
BIG DATA?
 Big data é um termo que descreve o
grande volume de dados tanto
estruturados quanto não-estruturados
que sobrecarrega as empresas
diariamente.

6. 6
5 V do BIG DATA

7. SUMÁRIO
CONCEITOS
INFRAESTRUTURA
GOOGLE BIGQUERY
REDSHIFT Vs BIGQUERY
SQL
CRIAR UMA CONTA (HANDS ON) 7

8. Infraestrutura Padrão
8

9. Infraestrutura com Middleware
9

10. Infraestrutura com Middleware
10

11. SUMÁRIO
CONCEITOS
INFRAESTRUTURA
GOOGLE BIGQUERY
REDSHIFT Vs BIGQUERY
SQL
CRIAR UMA CONTA (HANDS ON) 11

12. Google BigQuery
12
https://youtu.be/eyBK9nj-7AA

13. BigQuery peça do Google Cloud
13

14. Características do Big Query
14

15. 15
Características do Big Query

16. DW Arquitetura
16

17. DW Arquitetura
17

18. Estimativa de Valores (U$)
18

19. Estimativa de Valores (U$)
19

20. SUMÁRIO
CONCEITOS
INFRAESTRUTURA
GOOGLE BIGQUERY
REDSHIFT Vs BIGQUERY
SQL
CRIAR UMA CONTA (HANDS ON) 20

21. RedShift Vs BigQuery
21

22. RedShift Vs BigQuery
22

23. SUMÁRIO
CONCEITOS
INFRAESTRUTURA
GOOGLE BIGQUERY
REDSHIFT Vs BIGQUERY
SQL
CRIAR UMA CONTA (HANDS ON) 23

24. 24
SQL – Structure Query Language
COMANDOS de Manipulação de Dados
SELECT: Extrair, consultar, buscar, listar dados das tabelas.
INSERT INTO: Inserir, cadastrar, incluir registros nas tabelas.
UPDATE: Atualizar, alterar, modificar dados das tabelas.
DELETE: Deletar, excluir, eliminar dados das tabelas.

25. 25
SQL Exemplos
SELECT
date,
SUM(totals.visits) AS visits,
SUM(totals.pageviews) AS pageviews,
SUM(totals.transactions) AS transactions,
SUM(totals.transactionRevenue)/1000000 AS revenue
FROM `bigquery-public-data.google_analytics_sample.ga_sessions_*`
WHERE
_TABLE_SUFFIX BETWEEN
FORMAT_DATE('%Y%m%d',DATE_SUB(CURRENT_DATE(), INTERVAL 36 MONTH))
AND
FORMAT_DATE('%Y%m%d',DATE_SUB(CURRENT_DATE(), INTERVAL 1 DAY))
GROUP BY date
ORDER BY date ASC

26. SUMÁRIO
CONCEITOS
INFRAESTRUTURA
GOOGLE BIGQUERY
REDSHIFT Vs BIGQUERY
SQL
CRIAR UMA CONTA (HANDS ON) 26

27. 27
https://cloud.google.com/bigquery/

28. 28
https://cloud.google.com/bigquery/

29. 29
https://cloud.google.com/bigquery/

30. 30
https://cloud.google.com/bigquery/

31. 31
https://cloud.google.com/bigquery/

32. 32
https://cloud.google.com/bigquery/

33. 33
https://cloud.google.com/bigquery/

34. 34
https://cloud.google.com/bigquery/

35. 35
https://cloud.google.com/bigquery/

36. 36
https://cloud.google.com/bigquery/

37. 37
https://cloud.google.com/bigquery/

38. 38
https://cloud.google.com/bigquery/

39. 39
https://cloud.google.com/bigquery/

40. Rápido Glossário
40
REST – Representational State Transfer
JSON – JavaScript Object Notation
Web UI – Web User Interface
SQL – Select Query Language

41. 41
BOA NOITE