SlideShare uma empresa Scribd logo
1 de 47
Baixar para ler offline
Big Data e Mineração de
Dados
Prof. Paulo Cesar de Carvalho Dias
Paulo.dias@uniseb.com.br
Sumário Geral
• Parte 1 - Big Data e Mineração de
dados
• Parte 2 - Pós-Graduação em Banco
de Dados e Mineração de Dados
UniSEB
• Parte 4 - Exemplo de aplicação (Prof.
Reginaldo)
BIG DATA
Parte 1 -
Parte 1 - Big Data: Sumário
• O fenômeno e as histórias que a mídia
apresenta
• O que é Big Data.
• Big Data: a infraestrutura
Big Data na Mídia
• Ultimamente há diversas histórias sobre
Big Data:
You Tube: http://youtu.be/LsMt5jp1a9k
Big Data na Mídia
http://www.forbes.com/sites/kashmirhill/2012/02/16/how-target-figured-out-a-teen-girl-was-pregnant-before-her-father-did/
http://youtu.be/XH1wQEgROg4
Big Data na Mídia
http://www.fivethirtyeight.com/
http://blogs.scientificamerican.com/cocktail-party-physics/2012/11/07/why-math-is-like-the-honey-badger-nate-silver-ascendant/
Big Data na Mídia
http://www.forbes.com/sites/kashmirhill/2012/02/16/how-target-figured-out-a-teen-girl-was-pregnant-before-her-father-did/
Os 3Vs do Big Data
• Big Data é qualquer fonte de dados
que possui no mínimo três
características comuns:
– Volume extremamente elevado;
– Velocidade extremamente elevada;
– Variedade extremamente elevada.
Os 3Vs do Big Data
Fonte: ibm
http://www.ibm.com/midmarket/br/pt/img/ssa_img_ibm_bigdata_110612.jpg
Volume maior de dados...
Fonte: ibm
http://www.ibm.com/midmarket/br/pt/img/ssa_img_ibm_bigdata_110612.jpg
http://monetate.com/infographic/the-
retailers-guide-to-big-
data/#axzz2HaZVK816
Volume maior de dados...
Fonte: ibm
http://www.ibm.com/midmarket/br/pt/img/ssa_img_ibm_bigdata_110612.jpg
Volume maior de dados...
• A quantidade dados aumentou muito
nos últimos anos:
http://monetate.com/infographic/the-retailers-guide-to-big-data/#axzz2HaZVK816
O que gera tanta
quantidade de dados?
• Computadores e dispositivos: informações
geradas por máquinas sem a intervenção
humana
• Humanos: através de sua interação com as
máquinas e computadores
Variedade dos dados:
•Dados com comprimento e tipo
definidos.
•Exemplos: números, datas, strings,
etc
Dados
estruturados
•Dados sem um formato
específico.
•Exemplos: imagens de satélite,
dados científicos, fotos, vídeos,
documentos, mídia social, Web,
etc
Dados não
estruturados
•Dados que não são aderentes a
um esquema fixo mas podem ser
auto-definídos.
•Exemplos: JSON, EDI, XML
Dados
semiestruturados
Velocidade dos dados
• A revolução das tecnologias de
comunicação aumentou muito a
velocidade de transmissão de dados.
Componentes Tecnológicos
do Big Data
Interfacesealimentadoresde/parainternet
Infraestrutura física redundante
Infraestrutura de segurança
Dispositivos (computadores, notebooks, tablets,
smarphones)
Banco de dados Operacional (estruturado, não
estruturado e semiestruturado)
“Organização” de banco de dados e ferramentas
Datawarehouses e Data Marts analiticos
Relatórios e visualização
Aplicações Big Data
Ferramentas analíticas
Interfacesealimentadoresde/paraaplicações
Infraestrutura física
• Requisitos:
– Desempenho: um parâmetro importante é a
latência e o tempo de resposta.
– Disponibilidade: uptime, tempo médio entre
falhas.
– Escalabilidade: quão fácil a infra estrutura pode
ser ampliada ou reduzida em função da
dinâmica do negócio.
– Flexibilidade: quão rapidamente a infraestrutura
pode ser alterada e recuperar-se de falhas.
– Custo: quer pagar quanto??
Infraestrutura física
• Computação em nuvem pode ser uma boa
alternativa
– Definição de computação em nuvem: é um
método de fornecer um conjunto de recursos
computacionais incluindo aplicativos,
armazenamento, rede, ambientes de
desenvolvimento, plataformas de implantação e
processos de negócio.
Infraestrutura física
• Modelos de computação em nuvem
– Infrastructure as a Service (IaaS): fornecimento
de serviços computacionais incluindo hardware,
rede, armazenamento e espaço em
datacenters por aluguel de recursos.
– Platform as a Service (PaaS): combina IaaS com
um conjunto abstrato de serviços de
middleware, ferramentas de desenvolvimento
de software, ferramentas de implantação as
quais permitem à organização ter um modo
consistente de criar implantar aplicações na
nuvem.
Infraestrutura física
• Modelos de computação em nuvem
– Software as a Service (SaaS): aplicações criadas
e hospedadas por um provedor. O cliente paga
por serviço por usuário em contratos mensais ou
anuais.
– Data as a Service (DaaS): serviço independente
da plataforma que conecta o cliente com a
nuvem para armazenar e recuperar dados.
Infraestrutura física
• Exemplos de nuvens:
Componentes Tecnológicos
do Big Data
Interfacesealimentadoresde/parainternet
Infraestrutura física redundante
Infraestrutura de segurança
Dispositivos (computadores, notebooks, tablets,
smarphones)
Banco de dados operacional (estruturado, não
estruturado e semiestruturado)
“Organização” de banco de dados e ferramentas
Datawarehouses e Data Marts analiticos
Relatórios e visualização
Aplicações Big Data
Ferramentas analíticas
Interfacesealimentadoresde/paraaplicações
Infraestrutura de segurança
• A segurança envolve diversos
aspectos:
– Acesso aos dados
– Acesso aos aplicativos
– Criptografia de dados
– Detecção de ameaças
Infraestrutura de segurança
• A segurança envolve diversos
aspectos:
– Acesso aos dados
– Acesso aos aplicativos
– Criptografia de dados
– Detecção de ameaças
Bancos de dados
operacionais
• Bancos de dados relacionais
• Bancos de dados Not Only SQL
(NoSQL)
Bancos de dados
operacionais
• Bancos de dados relacionais
– Dados estruturados
– ACID (Atomicidade, Consistência,
Isolamento e Durabilidade)
Bancos de dados
operacionais
• Bancos de dados Not Only SQL
(NoSQL)
– Não são baseados no modelo tradicional
de tabelas e chaves dos RDBMs.
– Escaláveis
– Modelos próprios de dados e queries
– Alguns possuem consistência eventual:
em vez de ACID e alguns são BASE
(Basically Available, Soft state, and
Eventual Consistency)
Bancos de dados
operacionais
• Bancos de dados Not Only SQL
(NoSQL)
– Banco de dados chave-valor (key-value)
– Banco de dados de documentos
Bancos de dados
operacionais
• Bancos de dados Not Only SQL
(NoSQL)
– Banco de dados de grafos:
– Banco de dados espaciais
Bancos de dados
operacionais
• Bancos de dados Not Only SQL
(NoSQL)
– Banco de dados em colunas:
HBase é um banco de dados distribuido open-source orientado
a coluna, modelado a partir do Google BigTable e escrito
em Java.
O Hbase tem fácil integração com o Hadoop, sendo assim,
pode utilizar o MapReduce para distribuir o processamento dos
dados, podendo processar facilmente vários terabytes de
dados.
Organização de banco de
dados e ferramentas
• Esta parte da infraestrutura captura,
valida e monta vários elementos de
big data em coleções relevantes.
• Tecnologias envolvidas:
– Sistemas de arquivos distribuídos.
– Serviços de serialização para persistência de
dados e chamadas remota de procedimentos
– Serviços de coordenação: para possibilitar
aplicações distribuídas.
Organização de banco de
dados e ferramentas
• A tecnologia mais conhecida desta
parte do framework é o MapReduce
• MapReduce é um modelo de
programação para o processamento
de grandes conjuntos de dados com
um algoritmo distribuído paralelo em
um cluster.
Organização de banco de
dados e ferramentas
• Um programa de MapReduce
compreende:
– um map () procedimento que realiza a filtragem
e ordenação (como classificação os alunos pelo
primeiro nome em filas, uma fila para cada
nome) e
– Reduce () procedimento que executa uma
operação de resumo (como a contagem do
número de alunos em cada fila, produzindo
freqüências nome).
Organização de banco de
dados e ferramentas
• MapReduce:
Organização de banco de
dados e ferramentas
• Apache Hadoop é um framework de
software open-source que suporta
aplicações intensivas de dados distribuídos,
licenciado sob a licença Apache v2.
Organização de banco de
dados e ferramentas
• Ele suporta a execução de aplicações em
grandes aglomerados de hardware
commodity.
• Hadoop MapReduce foi obtido a partir do
Google e do sistema de arquivo do Google
(GFS).
Mineração de dados
• Mineração de dados envolve a
exploração e análise de grande
quantidade de dados com o objetivo
de encontrar padrões
Mineração de dados
• Mineração de dados utiliza técnicas
estatísticas e de inteligência artificial.
• O objetivo da mineração de dados
pode ser feita para:
– Classificar elementos de um conjunto de
dados.
– Prever valores de variáveis aleatórias.
Mineração de dados
• Mineração de dados utiliza técnicas
estatísticas e de inteligência artificial.
• O objetivo da mineração de dados
pode ser feita para:
– Classificar elementos de um conjunto de
dados.
– Prever valores de variáveis aleatórias.
Mineração de dados
• Exemplos de algoritmos utilizados na
mineração de dados:
– Árvores de classificação
– Regressão logística
– Redes neurais
– Técnicas de agrupamento (clustering)
PÓS-GRADUAÇÃO EM BANCO
DE DADOS E MINERAÇÃO DE
DADOS UNISEB
Parte 2 -
Introdução
• Justificativa do curso:
– Grande número de empresas de software
na região;
– Crescimento do setor e grande demanda
por profissionais qualificados na área de TI;
– Aumento da concorrência entre as
empresas que necessitam de profissionais
cada vez mais capacitados e atualizados
43
Objetivo do curso
• Geral:
– O UNISEB COC formará especialistas na
área de Banco de Dados e Mineração
de Dados com domínio da técnica e
capacidade de identificar problemas,
oportunidades e propor soluções
inovadoras para o armazenamento,
disponibilização e mineração de dados
de empresas de pequeno, médio e
grande porte.
44
Metodologia:
• Aulas Teóricas:
– Serão expositivo-dialogadas e utiliza-se das
técnicas de dinâmicas de grupo, estudo dirigido
e seminários, sempre articulando os saberes
teóricos aos saberes práticos dos atores
envolvidos no processo.
– Para apoio do curso existe um ambiente virtual
em que algumas informações e material
bibliográfico são disponibilizados, além da
possibilidade do agendamento de chat.
• Aulas Práticas:
– Aulas práticas serão desenvolvidas em sala de
aula e laboratório de informática.
45
Pós-Graduação em Banco de
Dados e Mineração de Dados
• Contato comercial: 3603-9803
EXEMPLO DE APLICAÇÃO
(PROF. REGINALDO)
Parte 3 -

Mais conteúdo relacionado

Mais procurados

Big Data Analytics - Do MapReduce ao dashboard com Hadoop e Pentaho
Big Data Analytics - Do MapReduce ao dashboard com Hadoop e PentahoBig Data Analytics - Do MapReduce ao dashboard com Hadoop e Pentaho
Big Data Analytics - Do MapReduce ao dashboard com Hadoop e PentahoAmbiente Livre
 
Big Data, o que é isso?
Big Data, o que é isso?Big Data, o que é isso?
Big Data, o que é isso?Ambiente Livre
 
Big Data e Análise de Dados Massivos
Big Data e Análise de Dados MassivosBig Data e Análise de Dados Massivos
Big Data e Análise de Dados MassivosFrancisco Oliveira
 
Big Data Analytics - Data Science - Aplicação e Tecnologia
Big Data Analytics - Data Science - Aplicação e TecnologiaBig Data Analytics - Data Science - Aplicação e Tecnologia
Big Data Analytics - Data Science - Aplicação e TecnologiaHélio Silva
 
Data Science - A arte de estudar e analisar dados
Data Science - A arte de estudar e analisar dadosData Science - A arte de estudar e analisar dados
Data Science - A arte de estudar e analisar dadosDayane Cristine Leite
 
Big data: Conceitos e Desafios
Big data: Conceitos e DesafiosBig data: Conceitos e Desafios
Big data: Conceitos e DesafiosFlávio Sousa
 
Palestra: Big Data Open Source com Hadoop - FLISOL 2014 - Curitiba
Palestra: Big Data Open Source com Hadoop - FLISOL 2014 - CuritibaPalestra: Big Data Open Source com Hadoop - FLISOL 2014 - Curitiba
Palestra: Big Data Open Source com Hadoop - FLISOL 2014 - CuritibaMarcio Junior Vieira
 
Big Data em 8 perguntas - 09.10.2014 - DATANORTE / GOV RN
Big Data em 8 perguntas -  09.10.2014 - DATANORTE / GOV RNBig Data em 8 perguntas -  09.10.2014 - DATANORTE / GOV RN
Big Data em 8 perguntas - 09.10.2014 - DATANORTE / GOV RNMarcos Luiz Lins Filho
 
BIGDATA: Da teoria à Pratica
BIGDATA: Da teoria à PraticaBIGDATA: Da teoria à Pratica
BIGDATA: Da teoria à PraticaDaniel Checchia
 
Pentaho com Hadoop – O Canivete Suíço do Cientistas de Dados para Big Data An...
Pentaho com Hadoop – O Canivete Suíço do Cientistas de Dados para Big Data An...Pentaho com Hadoop – O Canivete Suíço do Cientistas de Dados para Big Data An...
Pentaho com Hadoop – O Canivete Suíço do Cientistas de Dados para Big Data An...Ambiente Livre
 
Contexto de Big Data, Ciência de Dados e KDD - Pós Graduação em Big Data
Contexto de Big Data, Ciência de Dados e KDD - Pós Graduação em Big DataContexto de Big Data, Ciência de Dados e KDD - Pós Graduação em Big Data
Contexto de Big Data, Ciência de Dados e KDD - Pós Graduação em Big DataFabrício Barth
 
Big Data e Data Science: admirável mundo novo - IV SIC IFNMG
Big Data e Data Science: admirável mundo novo - IV SIC IFNMGBig Data e Data Science: admirável mundo novo - IV SIC IFNMG
Big Data e Data Science: admirável mundo novo - IV SIC IFNMGPetronio Candido
 
Big Data, Analytics, Aplicações, Aspectos Práticos e o Cientista de Dados
Big Data, Analytics, Aplicações, Aspectos Práticos e o Cientista de DadosBig Data, Analytics, Aplicações, Aspectos Práticos e o Cientista de Dados
Big Data, Analytics, Aplicações, Aspectos Práticos e o Cientista de DadosDan S. Reznik, PhD
 

Mais procurados (20)

Big Data Analytics - Do MapReduce ao dashboard com Hadoop e Pentaho
Big Data Analytics - Do MapReduce ao dashboard com Hadoop e PentahoBig Data Analytics - Do MapReduce ao dashboard com Hadoop e Pentaho
Big Data Analytics - Do MapReduce ao dashboard com Hadoop e Pentaho
 
Big Data, o que é isso?
Big Data, o que é isso?Big Data, o que é isso?
Big Data, o que é isso?
 
Big Data e Análise de Dados Massivos
Big Data e Análise de Dados MassivosBig Data e Análise de Dados Massivos
Big Data e Análise de Dados Massivos
 
Big Data Analytics - Data Science - Aplicação e Tecnologia
Big Data Analytics - Data Science - Aplicação e TecnologiaBig Data Analytics - Data Science - Aplicação e Tecnologia
Big Data Analytics - Data Science - Aplicação e Tecnologia
 
Big data
Big dataBig data
Big data
 
Data Science - A arte de estudar e analisar dados
Data Science - A arte de estudar e analisar dadosData Science - A arte de estudar e analisar dados
Data Science - A arte de estudar e analisar dados
 
Big Data - Conceitos Básicos
Big Data - Conceitos BásicosBig Data - Conceitos Básicos
Big Data - Conceitos Básicos
 
Big data: Conceitos e Desafios
Big data: Conceitos e DesafiosBig data: Conceitos e Desafios
Big data: Conceitos e Desafios
 
BigData
BigDataBigData
BigData
 
Palestra: Big Data Open Source com Hadoop - FLISOL 2014 - Curitiba
Palestra: Big Data Open Source com Hadoop - FLISOL 2014 - CuritibaPalestra: Big Data Open Source com Hadoop - FLISOL 2014 - Curitiba
Palestra: Big Data Open Source com Hadoop - FLISOL 2014 - Curitiba
 
Big Data em 8 perguntas - 09.10.2014 - DATANORTE / GOV RN
Big Data em 8 perguntas -  09.10.2014 - DATANORTE / GOV RNBig Data em 8 perguntas -  09.10.2014 - DATANORTE / GOV RN
Big Data em 8 perguntas - 09.10.2014 - DATANORTE / GOV RN
 
Treinamento hadoop - dia1
Treinamento hadoop - dia1Treinamento hadoop - dia1
Treinamento hadoop - dia1
 
BIGDATA: Da teoria à Pratica
BIGDATA: Da teoria à PraticaBIGDATA: Da teoria à Pratica
BIGDATA: Da teoria à Pratica
 
Pentaho com Hadoop – O Canivete Suíço do Cientistas de Dados para Big Data An...
Pentaho com Hadoop – O Canivete Suíço do Cientistas de Dados para Big Data An...Pentaho com Hadoop – O Canivete Suíço do Cientistas de Dados para Big Data An...
Pentaho com Hadoop – O Canivete Suíço do Cientistas de Dados para Big Data An...
 
Big Data e NoSQL
Big Data e NoSQLBig Data e NoSQL
Big Data e NoSQL
 
Contexto de Big Data, Ciência de Dados e KDD - Pós Graduação em Big Data
Contexto de Big Data, Ciência de Dados e KDD - Pós Graduação em Big DataContexto de Big Data, Ciência de Dados e KDD - Pós Graduação em Big Data
Contexto de Big Data, Ciência de Dados e KDD - Pós Graduação em Big Data
 
Big Data e Data Science: admirável mundo novo - IV SIC IFNMG
Big Data e Data Science: admirável mundo novo - IV SIC IFNMGBig Data e Data Science: admirável mundo novo - IV SIC IFNMG
Big Data e Data Science: admirável mundo novo - IV SIC IFNMG
 
Big Data
Big DataBig Data
Big Data
 
Big Data, Analytics, Aplicações, Aspectos Práticos e o Cientista de Dados
Big Data, Analytics, Aplicações, Aspectos Práticos e o Cientista de DadosBig Data, Analytics, Aplicações, Aspectos Práticos e o Cientista de Dados
Big Data, Analytics, Aplicações, Aspectos Práticos e o Cientista de Dados
 
Hadoop, Big Data e Cloud Computing
Hadoop, Big Data e Cloud ComputingHadoop, Big Data e Cloud Computing
Hadoop, Big Data e Cloud Computing
 

Destaque

O que é BIG DATA e como pode influenciar nossas vidas
O que é BIG DATA e como pode influenciar nossas vidasO que é BIG DATA e como pode influenciar nossas vidas
O que é BIG DATA e como pode influenciar nossas vidasElaine Naomi
 
Big Data e Seus Impactos
Big Data e Seus ImpactosBig Data e Seus Impactos
Big Data e Seus ImpactosAlex Silva
 
Apostila sobre Big Data
Apostila sobre Big DataApostila sobre Big Data
Apostila sobre Big DataFernando Palma
 
Como o Big Data pode tornar a publicidade mais relevante entre marcas e pessoas
Como o Big Data pode tornar a publicidade mais relevante entre marcas e pessoasComo o Big Data pode tornar a publicidade mais relevante entre marcas e pessoas
Como o Big Data pode tornar a publicidade mais relevante entre marcas e pessoasRafael da Silva
 
Big Data e Governança de Dados, via DMM-Data Management Maturiy Model
Big Data e Governança de Dados, via DMM-Data Management Maturiy ModelBig Data e Governança de Dados, via DMM-Data Management Maturiy Model
Big Data e Governança de Dados, via DMM-Data Management Maturiy ModelCarlos Barbieri
 
Psicologia e Comportamento nas Redes Sociais: da Web 1.0 à Big Data
Psicologia e Comportamento nas Redes Sociais: da Web 1.0 à Big DataPsicologia e Comportamento nas Redes Sociais: da Web 1.0 à Big Data
Psicologia e Comportamento nas Redes Sociais: da Web 1.0 à Big DataLuciana Manfroi
 
Modelos analiticos crm
Modelos analiticos crmModelos analiticos crm
Modelos analiticos crmRamón Díaz
 
Pentaho Hadoop Big Data e Data Lakes
Pentaho Hadoop Big Data e Data LakesPentaho Hadoop Big Data e Data Lakes
Pentaho Hadoop Big Data e Data LakesAmbiente Livre
 
Big Data
Big DataBig Data
Big DataNGDATA
 
Evento iab adtech e data - edvaldo acir e priscilla erthal - vizury e netshoes
Evento iab adtech e data - edvaldo acir e priscilla erthal - vizury e netshoesEvento iab adtech e data - edvaldo acir e priscilla erthal - vizury e netshoes
Evento iab adtech e data - edvaldo acir e priscilla erthal - vizury e netshoesIAB Brasil
 
CLASSIFICAÇÃO DE TEXTOS APLICADA À AVALIAÇÃO ECONÔMICA - TCC
CLASSIFICAÇÃO DE TEXTOS APLICADA À AVALIAÇÃO ECONÔMICA - TCCCLASSIFICAÇÃO DE TEXTOS APLICADA À AVALIAÇÃO ECONÔMICA - TCC
CLASSIFICAÇÃO DE TEXTOS APLICADA À AVALIAÇÃO ECONÔMICA - TCCVivaldo Jose Breternitz
 
Novos desafios para big data
Novos desafios para big dataNovos desafios para big data
Novos desafios para big dataCaio Gomes
 
Marcas e Engajamento Digital: algumas considerações
Marcas e Engajamento Digital: algumas consideraçõesMarcas e Engajamento Digital: algumas considerações
Marcas e Engajamento Digital: algumas consideraçõesTarcízio Silva
 
Cibercultura aula 06 comunicação digital (of. 2)
Cibercultura   aula 06   comunicação digital (of. 2)Cibercultura   aula 06   comunicação digital (of. 2)
Cibercultura aula 06 comunicação digital (of. 2)Caio Oliveira
 
Wiseminer Data Preparation & Smart Analytics - 2016 02
Wiseminer Data Preparation & Smart Analytics - 2016 02Wiseminer Data Preparation & Smart Analytics - 2016 02
Wiseminer Data Preparation & Smart Analytics - 2016 02Leonardo Couto
 
BIG DATA, de Fabiana Andrade
BIG DATA, de Fabiana AndradeBIG DATA, de Fabiana Andrade
BIG DATA, de Fabiana Andradebibliocampsp
 

Destaque (19)

O que é BIG DATA e como pode influenciar nossas vidas
O que é BIG DATA e como pode influenciar nossas vidasO que é BIG DATA e como pode influenciar nossas vidas
O que é BIG DATA e como pode influenciar nossas vidas
 
Big Data e Seus Impactos
Big Data e Seus ImpactosBig Data e Seus Impactos
Big Data e Seus Impactos
 
Big Data na Nuvem
Big Data na NuvemBig Data na Nuvem
Big Data na Nuvem
 
Apostila sobre Big Data
Apostila sobre Big DataApostila sobre Big Data
Apostila sobre Big Data
 
Como o Big Data pode tornar a publicidade mais relevante entre marcas e pessoas
Como o Big Data pode tornar a publicidade mais relevante entre marcas e pessoasComo o Big Data pode tornar a publicidade mais relevante entre marcas e pessoas
Como o Big Data pode tornar a publicidade mais relevante entre marcas e pessoas
 
Big data apresentacao
Big data apresentacaoBig data apresentacao
Big data apresentacao
 
Big Data e Governança de Dados, via DMM-Data Management Maturiy Model
Big Data e Governança de Dados, via DMM-Data Management Maturiy ModelBig Data e Governança de Dados, via DMM-Data Management Maturiy Model
Big Data e Governança de Dados, via DMM-Data Management Maturiy Model
 
Psicologia e Comportamento nas Redes Sociais: da Web 1.0 à Big Data
Psicologia e Comportamento nas Redes Sociais: da Web 1.0 à Big DataPsicologia e Comportamento nas Redes Sociais: da Web 1.0 à Big Data
Psicologia e Comportamento nas Redes Sociais: da Web 1.0 à Big Data
 
Modelos analiticos crm
Modelos analiticos crmModelos analiticos crm
Modelos analiticos crm
 
Pentaho Hadoop Big Data e Data Lakes
Pentaho Hadoop Big Data e Data LakesPentaho Hadoop Big Data e Data Lakes
Pentaho Hadoop Big Data e Data Lakes
 
Big Data
Big DataBig Data
Big Data
 
Evento iab adtech e data - edvaldo acir e priscilla erthal - vizury e netshoes
Evento iab adtech e data - edvaldo acir e priscilla erthal - vizury e netshoesEvento iab adtech e data - edvaldo acir e priscilla erthal - vizury e netshoes
Evento iab adtech e data - edvaldo acir e priscilla erthal - vizury e netshoes
 
CLASSIFICAÇÃO DE TEXTOS APLICADA À AVALIAÇÃO ECONÔMICA - TCC
CLASSIFICAÇÃO DE TEXTOS APLICADA À AVALIAÇÃO ECONÔMICA - TCCCLASSIFICAÇÃO DE TEXTOS APLICADA À AVALIAÇÃO ECONÔMICA - TCC
CLASSIFICAÇÃO DE TEXTOS APLICADA À AVALIAÇÃO ECONÔMICA - TCC
 
Novos desafios para big data
Novos desafios para big dataNovos desafios para big data
Novos desafios para big data
 
Marcas e Engajamento Digital: algumas considerações
Marcas e Engajamento Digital: algumas consideraçõesMarcas e Engajamento Digital: algumas considerações
Marcas e Engajamento Digital: algumas considerações
 
Cibercultura aula 06 comunicação digital (of. 2)
Cibercultura   aula 06   comunicação digital (of. 2)Cibercultura   aula 06   comunicação digital (of. 2)
Cibercultura aula 06 comunicação digital (of. 2)
 
Wiseminer Data Preparation & Smart Analytics - 2016 02
Wiseminer Data Preparation & Smart Analytics - 2016 02Wiseminer Data Preparation & Smart Analytics - 2016 02
Wiseminer Data Preparation & Smart Analytics - 2016 02
 
BIG DATA, de Fabiana Andrade
BIG DATA, de Fabiana AndradeBIG DATA, de Fabiana Andrade
BIG DATA, de Fabiana Andrade
 
Big Data, JVM e Redes Sociais
Big Data, JVM e Redes SociaisBig Data, JVM e Redes Sociais
Big Data, JVM e Redes Sociais
 

Semelhante a Big Data, Mineração de Dados e Pós-Graduação

aula01_Fundamentos de Banco de Dados.pptx.pdf
aula01_Fundamentos de Banco de Dados.pptx.pdfaula01_Fundamentos de Banco de Dados.pptx.pdf
aula01_Fundamentos de Banco de Dados.pptx.pdfssuser7a84f91
 
Carreira do profissional de dados
Carreira do profissional de dadosCarreira do profissional de dados
Carreira do profissional de dadosEdvaldo Castro
 
Sparsi big data
Sparsi big dataSparsi big data
Sparsi big datasparsi
 
Minicurso: O que o twitter está pensando? Extraindo informações do twitter ut...
Minicurso: O que o twitter está pensando? Extraindo informações do twitter ut...Minicurso: O que o twitter está pensando? Extraindo informações do twitter ut...
Minicurso: O que o twitter está pensando? Extraindo informações do twitter ut...Adolfo Guimaraes
 
Planejamento e Gerenciamento de Capacidade para Sistemas Distribuídos
Planejamento e Gerenciamento de Capacidade para Sistemas DistribuídosPlanejamento e Gerenciamento de Capacidade para Sistemas Distribuídos
Planejamento e Gerenciamento de Capacidade para Sistemas Distribuídosluanrjesus
 
Material Modelagem - Prof. Marcos Alexandruk
Material Modelagem - Prof. Marcos AlexandrukMaterial Modelagem - Prof. Marcos Alexandruk
Material Modelagem - Prof. Marcos AlexandrukHebert Alquimim
 
DataOps, Data Mesh e Data Fabric. Melhores práticas para seu projeto de arqui...
DataOps, Data Mesh e Data Fabric. Melhores práticas para seu projeto de arqui...DataOps, Data Mesh e Data Fabric. Melhores práticas para seu projeto de arqui...
DataOps, Data Mesh e Data Fabric. Melhores práticas para seu projeto de arqui...Eduardo Hahn
 
Workshop BigData, Hadoop e Data Science - Cetax x Deal
Workshop BigData, Hadoop e Data Science - Cetax x DealWorkshop BigData, Hadoop e Data Science - Cetax x Deal
Workshop BigData, Hadoop e Data Science - Cetax x DealMarco Garcia
 
Introdução a SGBDs
Introdução a SGBDsIntrodução a SGBDs
Introdução a SGBDsUFRN
 
Plano de ensino - Princípios de Sistemas da Informação
Plano de ensino - Princípios de Sistemas da InformaçãoPlano de ensino - Princípios de Sistemas da Informação
Plano de ensino - Princípios de Sistemas da Informaçãoefjunior
 
PRINC DE SIST DE INFORMACAO
PRINC DE SIST DE INFORMACAOPRINC DE SIST DE INFORMACAO
PRINC DE SIST DE INFORMACAOpaulocsm
 
Aula 01 - Introdução ao Sistema de Informação
Aula 01 - Introdução ao Sistema de InformaçãoAula 01 - Introdução ao Sistema de Informação
Aula 01 - Introdução ao Sistema de InformaçãoDaniel Brandão
 

Semelhante a Big Data, Mineração de Dados e Pós-Graduação (20)

aula01_Fundamentos de Banco de Dados.pptx.pdf
aula01_Fundamentos de Banco de Dados.pptx.pdfaula01_Fundamentos de Banco de Dados.pptx.pdf
aula01_Fundamentos de Banco de Dados.pptx.pdf
 
Carreira do profissional de dados
Carreira do profissional de dadosCarreira do profissional de dados
Carreira do profissional de dados
 
Sparsi big data
Sparsi big dataSparsi big data
Sparsi big data
 
Minicurso: O que o twitter está pensando? Extraindo informações do twitter ut...
Minicurso: O que o twitter está pensando? Extraindo informações do twitter ut...Minicurso: O que o twitter está pensando? Extraindo informações do twitter ut...
Minicurso: O que o twitter está pensando? Extraindo informações do twitter ut...
 
Planejamento e Gerenciamento de Capacidade para Sistemas Distribuídos
Planejamento e Gerenciamento de Capacidade para Sistemas DistribuídosPlanejamento e Gerenciamento de Capacidade para Sistemas Distribuídos
Planejamento e Gerenciamento de Capacidade para Sistemas Distribuídos
 
TA1 - Slides Acessibilidade.pdf
TA1 - Slides Acessibilidade.pdfTA1 - Slides Acessibilidade.pdf
TA1 - Slides Acessibilidade.pdf
 
Material Modelagem - Prof. Marcos Alexandruk
Material Modelagem - Prof. Marcos AlexandrukMaterial Modelagem - Prof. Marcos Alexandruk
Material Modelagem - Prof. Marcos Alexandruk
 
DataOps, Data Mesh e Data Fabric. Melhores práticas para seu projeto de arqui...
DataOps, Data Mesh e Data Fabric. Melhores práticas para seu projeto de arqui...DataOps, Data Mesh e Data Fabric. Melhores práticas para seu projeto de arqui...
DataOps, Data Mesh e Data Fabric. Melhores práticas para seu projeto de arqui...
 
Big Data
Big DataBig Data
Big Data
 
Aula BigData.pptx
Aula BigData.pptxAula BigData.pptx
Aula BigData.pptx
 
Workshop BigData, Hadoop e Data Science - Cetax x Deal
Workshop BigData, Hadoop e Data Science - Cetax x DealWorkshop BigData, Hadoop e Data Science - Cetax x Deal
Workshop BigData, Hadoop e Data Science - Cetax x Deal
 
Introdução a SGBDs
Introdução a SGBDsIntrodução a SGBDs
Introdução a SGBDs
 
Bigadata casese opotunidades
Bigadata casese opotunidadesBigadata casese opotunidades
Bigadata casese opotunidades
 
Sistemas de Informação - Aula05 - cap5 bd e business intelligence
Sistemas de Informação - Aula05 - cap5 bd e business intelligenceSistemas de Informação - Aula05 - cap5 bd e business intelligence
Sistemas de Informação - Aula05 - cap5 bd e business intelligence
 
Sistemas de informações_geográficas
Sistemas de informações_geográficasSistemas de informações_geográficas
Sistemas de informações_geográficas
 
Pentaho Weka latinoware
Pentaho Weka latinowarePentaho Weka latinoware
Pentaho Weka latinoware
 
Plano de ensino - Princípios de Sistemas da Informação
Plano de ensino - Princípios de Sistemas da InformaçãoPlano de ensino - Princípios de Sistemas da Informação
Plano de ensino - Princípios de Sistemas da Informação
 
PRINC DE SIST DE INFORMACAO
PRINC DE SIST DE INFORMACAOPRINC DE SIST DE INFORMACAO
PRINC DE SIST DE INFORMACAO
 
Aulas TSI33A - Banco de Dados I (TSI UTFPR-Toledo)
Aulas TSI33A - Banco de Dados I (TSI UTFPR-Toledo)Aulas TSI33A - Banco de Dados I (TSI UTFPR-Toledo)
Aulas TSI33A - Banco de Dados I (TSI UTFPR-Toledo)
 
Aula 01 - Introdução ao Sistema de Informação
Aula 01 - Introdução ao Sistema de InformaçãoAula 01 - Introdução ao Sistema de Informação
Aula 01 - Introdução ao Sistema de Informação
 

Último

Bingo da potenciação e radiciação de números inteiros
Bingo da potenciação e radiciação de números inteirosBingo da potenciação e radiciação de números inteiros
Bingo da potenciação e radiciação de números inteirosAntnyoAllysson
 
BRASIL - DOMÍNIOS MORFOCLIMÁTICOS - Fund 2.pdf
BRASIL - DOMÍNIOS MORFOCLIMÁTICOS - Fund 2.pdfBRASIL - DOMÍNIOS MORFOCLIMÁTICOS - Fund 2.pdf
BRASIL - DOMÍNIOS MORFOCLIMÁTICOS - Fund 2.pdfHenrique Pontes
 
ADJETIVO para 8 ano. Ensino funda.mental
ADJETIVO para 8 ano. Ensino funda.mentalADJETIVO para 8 ano. Ensino funda.mental
ADJETIVO para 8 ano. Ensino funda.mentalSilvana Silva
 
Prática de interpretação de imagens de satélite no QGIS
Prática de interpretação de imagens de satélite no QGISPrática de interpretação de imagens de satélite no QGIS
Prática de interpretação de imagens de satélite no QGISVitor Vieira Vasconcelos
 
Gametogênese, formação dos gametas masculino e feminino
Gametogênese, formação dos gametas masculino e femininoGametogênese, formação dos gametas masculino e feminino
Gametogênese, formação dos gametas masculino e femininoCelianeOliveira8
 
Dança Contemporânea na arte da dança primeira parte
Dança Contemporânea na arte da dança primeira parteDança Contemporânea na arte da dança primeira parte
Dança Contemporânea na arte da dança primeira partecoletivoddois
 
Linguagem verbal , não verbal e mista.pdf
Linguagem verbal , não verbal e mista.pdfLinguagem verbal , não verbal e mista.pdf
Linguagem verbal , não verbal e mista.pdfLaseVasconcelos1
 
DIGNITAS INFINITA - DIGNIDADE HUMANA -Declaração do Dicastério para a Doutrin...
DIGNITAS INFINITA - DIGNIDADE HUMANA -Declaração do Dicastério para a Doutrin...DIGNITAS INFINITA - DIGNIDADE HUMANA -Declaração do Dicastério para a Doutrin...
DIGNITAS INFINITA - DIGNIDADE HUMANA -Declaração do Dicastério para a Doutrin...Martin M Flynn
 
LIVRO A BELA BORBOLETA. Ziraldo e Zélio.
LIVRO A BELA BORBOLETA. Ziraldo e Zélio.LIVRO A BELA BORBOLETA. Ziraldo e Zélio.
LIVRO A BELA BORBOLETA. Ziraldo e Zélio.HildegardeAngel
 
A Inteligência Artificial na Educação e a Inclusão Linguística
A Inteligência Artificial na Educação e a Inclusão LinguísticaA Inteligência Artificial na Educação e a Inclusão Linguística
A Inteligência Artificial na Educação e a Inclusão LinguísticaFernanda Ledesma
 
Aula - 2º Ano - Cultura e Sociedade - Conceitos-chave
Aula - 2º Ano - Cultura e Sociedade - Conceitos-chaveAula - 2º Ano - Cultura e Sociedade - Conceitos-chave
Aula - 2º Ano - Cultura e Sociedade - Conceitos-chaveaulasgege
 
Slides Lição 2, Central Gospel, A Volta Do Senhor Jesus , 1Tr24.pptx
Slides Lição 2, Central Gospel, A Volta Do Senhor Jesus , 1Tr24.pptxSlides Lição 2, Central Gospel, A Volta Do Senhor Jesus , 1Tr24.pptx
Slides Lição 2, Central Gospel, A Volta Do Senhor Jesus , 1Tr24.pptxLuizHenriquedeAlmeid6
 
O guia definitivo para conquistar a aprovação em concurso público.pdf
O guia definitivo para conquistar a aprovação em concurso público.pdfO guia definitivo para conquistar a aprovação em concurso público.pdf
O guia definitivo para conquistar a aprovação em concurso público.pdfErasmo Portavoz
 
Free-Netflix-PowerPoint-Template-pptheme-1.pptx
Free-Netflix-PowerPoint-Template-pptheme-1.pptxFree-Netflix-PowerPoint-Template-pptheme-1.pptx
Free-Netflix-PowerPoint-Template-pptheme-1.pptxkarinasantiago54
 
PLANEJAMENTO anual do 3ANO fundamental 1 MG.pdf
PLANEJAMENTO anual do  3ANO fundamental 1 MG.pdfPLANEJAMENTO anual do  3ANO fundamental 1 MG.pdf
PLANEJAMENTO anual do 3ANO fundamental 1 MG.pdfProfGleide
 
TREINAMENTO - BOAS PRATICAS DE HIGIENE NA COZINHA.ppt
TREINAMENTO - BOAS PRATICAS DE HIGIENE NA COZINHA.pptTREINAMENTO - BOAS PRATICAS DE HIGIENE NA COZINHA.ppt
TREINAMENTO - BOAS PRATICAS DE HIGIENE NA COZINHA.pptAlineSilvaPotuk
 
637743470-Mapa-Mental-Portugue-s-1.pdf 4 ano
637743470-Mapa-Mental-Portugue-s-1.pdf 4 ano637743470-Mapa-Mental-Portugue-s-1.pdf 4 ano
637743470-Mapa-Mental-Portugue-s-1.pdf 4 anoAdelmaTorres2
 
PPT _ Módulo 3_Direito Comercial_2023_2024.pdf
PPT _ Módulo 3_Direito Comercial_2023_2024.pdfPPT _ Módulo 3_Direito Comercial_2023_2024.pdf
PPT _ Módulo 3_Direito Comercial_2023_2024.pdfAnaGonalves804156
 
PRÉ-MODERNISMO - GUERRA DE CANUDOS E OS SERTÕES
PRÉ-MODERNISMO - GUERRA DE CANUDOS E OS SERTÕESPRÉ-MODERNISMO - GUERRA DE CANUDOS E OS SERTÕES
PRÉ-MODERNISMO - GUERRA DE CANUDOS E OS SERTÕESpatriciasofiacunha18
 
HORA DO CONTO3_BECRE D. CARLOS I_2023_2024
HORA DO CONTO3_BECRE D. CARLOS I_2023_2024HORA DO CONTO3_BECRE D. CARLOS I_2023_2024
HORA DO CONTO3_BECRE D. CARLOS I_2023_2024Sandra Pratas
 

Último (20)

Bingo da potenciação e radiciação de números inteiros
Bingo da potenciação e radiciação de números inteirosBingo da potenciação e radiciação de números inteiros
Bingo da potenciação e radiciação de números inteiros
 
BRASIL - DOMÍNIOS MORFOCLIMÁTICOS - Fund 2.pdf
BRASIL - DOMÍNIOS MORFOCLIMÁTICOS - Fund 2.pdfBRASIL - DOMÍNIOS MORFOCLIMÁTICOS - Fund 2.pdf
BRASIL - DOMÍNIOS MORFOCLIMÁTICOS - Fund 2.pdf
 
ADJETIVO para 8 ano. Ensino funda.mental
ADJETIVO para 8 ano. Ensino funda.mentalADJETIVO para 8 ano. Ensino funda.mental
ADJETIVO para 8 ano. Ensino funda.mental
 
Prática de interpretação de imagens de satélite no QGIS
Prática de interpretação de imagens de satélite no QGISPrática de interpretação de imagens de satélite no QGIS
Prática de interpretação de imagens de satélite no QGIS
 
Gametogênese, formação dos gametas masculino e feminino
Gametogênese, formação dos gametas masculino e femininoGametogênese, formação dos gametas masculino e feminino
Gametogênese, formação dos gametas masculino e feminino
 
Dança Contemporânea na arte da dança primeira parte
Dança Contemporânea na arte da dança primeira parteDança Contemporânea na arte da dança primeira parte
Dança Contemporânea na arte da dança primeira parte
 
Linguagem verbal , não verbal e mista.pdf
Linguagem verbal , não verbal e mista.pdfLinguagem verbal , não verbal e mista.pdf
Linguagem verbal , não verbal e mista.pdf
 
DIGNITAS INFINITA - DIGNIDADE HUMANA -Declaração do Dicastério para a Doutrin...
DIGNITAS INFINITA - DIGNIDADE HUMANA -Declaração do Dicastério para a Doutrin...DIGNITAS INFINITA - DIGNIDADE HUMANA -Declaração do Dicastério para a Doutrin...
DIGNITAS INFINITA - DIGNIDADE HUMANA -Declaração do Dicastério para a Doutrin...
 
LIVRO A BELA BORBOLETA. Ziraldo e Zélio.
LIVRO A BELA BORBOLETA. Ziraldo e Zélio.LIVRO A BELA BORBOLETA. Ziraldo e Zélio.
LIVRO A BELA BORBOLETA. Ziraldo e Zélio.
 
A Inteligência Artificial na Educação e a Inclusão Linguística
A Inteligência Artificial na Educação e a Inclusão LinguísticaA Inteligência Artificial na Educação e a Inclusão Linguística
A Inteligência Artificial na Educação e a Inclusão Linguística
 
Aula - 2º Ano - Cultura e Sociedade - Conceitos-chave
Aula - 2º Ano - Cultura e Sociedade - Conceitos-chaveAula - 2º Ano - Cultura e Sociedade - Conceitos-chave
Aula - 2º Ano - Cultura e Sociedade - Conceitos-chave
 
Slides Lição 2, Central Gospel, A Volta Do Senhor Jesus , 1Tr24.pptx
Slides Lição 2, Central Gospel, A Volta Do Senhor Jesus , 1Tr24.pptxSlides Lição 2, Central Gospel, A Volta Do Senhor Jesus , 1Tr24.pptx
Slides Lição 2, Central Gospel, A Volta Do Senhor Jesus , 1Tr24.pptx
 
O guia definitivo para conquistar a aprovação em concurso público.pdf
O guia definitivo para conquistar a aprovação em concurso público.pdfO guia definitivo para conquistar a aprovação em concurso público.pdf
O guia definitivo para conquistar a aprovação em concurso público.pdf
 
Free-Netflix-PowerPoint-Template-pptheme-1.pptx
Free-Netflix-PowerPoint-Template-pptheme-1.pptxFree-Netflix-PowerPoint-Template-pptheme-1.pptx
Free-Netflix-PowerPoint-Template-pptheme-1.pptx
 
PLANEJAMENTO anual do 3ANO fundamental 1 MG.pdf
PLANEJAMENTO anual do  3ANO fundamental 1 MG.pdfPLANEJAMENTO anual do  3ANO fundamental 1 MG.pdf
PLANEJAMENTO anual do 3ANO fundamental 1 MG.pdf
 
TREINAMENTO - BOAS PRATICAS DE HIGIENE NA COZINHA.ppt
TREINAMENTO - BOAS PRATICAS DE HIGIENE NA COZINHA.pptTREINAMENTO - BOAS PRATICAS DE HIGIENE NA COZINHA.ppt
TREINAMENTO - BOAS PRATICAS DE HIGIENE NA COZINHA.ppt
 
637743470-Mapa-Mental-Portugue-s-1.pdf 4 ano
637743470-Mapa-Mental-Portugue-s-1.pdf 4 ano637743470-Mapa-Mental-Portugue-s-1.pdf 4 ano
637743470-Mapa-Mental-Portugue-s-1.pdf 4 ano
 
PPT _ Módulo 3_Direito Comercial_2023_2024.pdf
PPT _ Módulo 3_Direito Comercial_2023_2024.pdfPPT _ Módulo 3_Direito Comercial_2023_2024.pdf
PPT _ Módulo 3_Direito Comercial_2023_2024.pdf
 
PRÉ-MODERNISMO - GUERRA DE CANUDOS E OS SERTÕES
PRÉ-MODERNISMO - GUERRA DE CANUDOS E OS SERTÕESPRÉ-MODERNISMO - GUERRA DE CANUDOS E OS SERTÕES
PRÉ-MODERNISMO - GUERRA DE CANUDOS E OS SERTÕES
 
HORA DO CONTO3_BECRE D. CARLOS I_2023_2024
HORA DO CONTO3_BECRE D. CARLOS I_2023_2024HORA DO CONTO3_BECRE D. CARLOS I_2023_2024
HORA DO CONTO3_BECRE D. CARLOS I_2023_2024
 

Big Data, Mineração de Dados e Pós-Graduação

  • 1. Big Data e Mineração de Dados Prof. Paulo Cesar de Carvalho Dias Paulo.dias@uniseb.com.br
  • 2. Sumário Geral • Parte 1 - Big Data e Mineração de dados • Parte 2 - Pós-Graduação em Banco de Dados e Mineração de Dados UniSEB • Parte 4 - Exemplo de aplicação (Prof. Reginaldo)
  • 4. Parte 1 - Big Data: Sumário • O fenômeno e as histórias que a mídia apresenta • O que é Big Data. • Big Data: a infraestrutura
  • 5. Big Data na Mídia • Ultimamente há diversas histórias sobre Big Data: You Tube: http://youtu.be/LsMt5jp1a9k
  • 6. Big Data na Mídia http://www.forbes.com/sites/kashmirhill/2012/02/16/how-target-figured-out-a-teen-girl-was-pregnant-before-her-father-did/ http://youtu.be/XH1wQEgROg4
  • 7. Big Data na Mídia http://www.fivethirtyeight.com/ http://blogs.scientificamerican.com/cocktail-party-physics/2012/11/07/why-math-is-like-the-honey-badger-nate-silver-ascendant/
  • 8. Big Data na Mídia http://www.forbes.com/sites/kashmirhill/2012/02/16/how-target-figured-out-a-teen-girl-was-pregnant-before-her-father-did/
  • 9. Os 3Vs do Big Data • Big Data é qualquer fonte de dados que possui no mínimo três características comuns: – Volume extremamente elevado; – Velocidade extremamente elevada; – Variedade extremamente elevada.
  • 10. Os 3Vs do Big Data Fonte: ibm http://www.ibm.com/midmarket/br/pt/img/ssa_img_ibm_bigdata_110612.jpg
  • 11. Volume maior de dados... Fonte: ibm http://www.ibm.com/midmarket/br/pt/img/ssa_img_ibm_bigdata_110612.jpg http://monetate.com/infographic/the- retailers-guide-to-big- data/#axzz2HaZVK816
  • 12. Volume maior de dados... Fonte: ibm http://www.ibm.com/midmarket/br/pt/img/ssa_img_ibm_bigdata_110612.jpg
  • 13. Volume maior de dados... • A quantidade dados aumentou muito nos últimos anos: http://monetate.com/infographic/the-retailers-guide-to-big-data/#axzz2HaZVK816
  • 14. O que gera tanta quantidade de dados? • Computadores e dispositivos: informações geradas por máquinas sem a intervenção humana • Humanos: através de sua interação com as máquinas e computadores
  • 15. Variedade dos dados: •Dados com comprimento e tipo definidos. •Exemplos: números, datas, strings, etc Dados estruturados •Dados sem um formato específico. •Exemplos: imagens de satélite, dados científicos, fotos, vídeos, documentos, mídia social, Web, etc Dados não estruturados •Dados que não são aderentes a um esquema fixo mas podem ser auto-definídos. •Exemplos: JSON, EDI, XML Dados semiestruturados
  • 16. Velocidade dos dados • A revolução das tecnologias de comunicação aumentou muito a velocidade de transmissão de dados.
  • 17. Componentes Tecnológicos do Big Data Interfacesealimentadoresde/parainternet Infraestrutura física redundante Infraestrutura de segurança Dispositivos (computadores, notebooks, tablets, smarphones) Banco de dados Operacional (estruturado, não estruturado e semiestruturado) “Organização” de banco de dados e ferramentas Datawarehouses e Data Marts analiticos Relatórios e visualização Aplicações Big Data Ferramentas analíticas Interfacesealimentadoresde/paraaplicações
  • 18. Infraestrutura física • Requisitos: – Desempenho: um parâmetro importante é a latência e o tempo de resposta. – Disponibilidade: uptime, tempo médio entre falhas. – Escalabilidade: quão fácil a infra estrutura pode ser ampliada ou reduzida em função da dinâmica do negócio. – Flexibilidade: quão rapidamente a infraestrutura pode ser alterada e recuperar-se de falhas. – Custo: quer pagar quanto??
  • 19. Infraestrutura física • Computação em nuvem pode ser uma boa alternativa – Definição de computação em nuvem: é um método de fornecer um conjunto de recursos computacionais incluindo aplicativos, armazenamento, rede, ambientes de desenvolvimento, plataformas de implantação e processos de negócio.
  • 20. Infraestrutura física • Modelos de computação em nuvem – Infrastructure as a Service (IaaS): fornecimento de serviços computacionais incluindo hardware, rede, armazenamento e espaço em datacenters por aluguel de recursos. – Platform as a Service (PaaS): combina IaaS com um conjunto abstrato de serviços de middleware, ferramentas de desenvolvimento de software, ferramentas de implantação as quais permitem à organização ter um modo consistente de criar implantar aplicações na nuvem.
  • 21. Infraestrutura física • Modelos de computação em nuvem – Software as a Service (SaaS): aplicações criadas e hospedadas por um provedor. O cliente paga por serviço por usuário em contratos mensais ou anuais. – Data as a Service (DaaS): serviço independente da plataforma que conecta o cliente com a nuvem para armazenar e recuperar dados.
  • 23. Componentes Tecnológicos do Big Data Interfacesealimentadoresde/parainternet Infraestrutura física redundante Infraestrutura de segurança Dispositivos (computadores, notebooks, tablets, smarphones) Banco de dados operacional (estruturado, não estruturado e semiestruturado) “Organização” de banco de dados e ferramentas Datawarehouses e Data Marts analiticos Relatórios e visualização Aplicações Big Data Ferramentas analíticas Interfacesealimentadoresde/paraaplicações
  • 24. Infraestrutura de segurança • A segurança envolve diversos aspectos: – Acesso aos dados – Acesso aos aplicativos – Criptografia de dados – Detecção de ameaças
  • 25. Infraestrutura de segurança • A segurança envolve diversos aspectos: – Acesso aos dados – Acesso aos aplicativos – Criptografia de dados – Detecção de ameaças
  • 26. Bancos de dados operacionais • Bancos de dados relacionais • Bancos de dados Not Only SQL (NoSQL)
  • 27. Bancos de dados operacionais • Bancos de dados relacionais – Dados estruturados – ACID (Atomicidade, Consistência, Isolamento e Durabilidade)
  • 28. Bancos de dados operacionais • Bancos de dados Not Only SQL (NoSQL) – Não são baseados no modelo tradicional de tabelas e chaves dos RDBMs. – Escaláveis – Modelos próprios de dados e queries – Alguns possuem consistência eventual: em vez de ACID e alguns são BASE (Basically Available, Soft state, and Eventual Consistency)
  • 29. Bancos de dados operacionais • Bancos de dados Not Only SQL (NoSQL) – Banco de dados chave-valor (key-value) – Banco de dados de documentos
  • 30. Bancos de dados operacionais • Bancos de dados Not Only SQL (NoSQL) – Banco de dados de grafos: – Banco de dados espaciais
  • 31. Bancos de dados operacionais • Bancos de dados Not Only SQL (NoSQL) – Banco de dados em colunas: HBase é um banco de dados distribuido open-source orientado a coluna, modelado a partir do Google BigTable e escrito em Java. O Hbase tem fácil integração com o Hadoop, sendo assim, pode utilizar o MapReduce para distribuir o processamento dos dados, podendo processar facilmente vários terabytes de dados.
  • 32. Organização de banco de dados e ferramentas • Esta parte da infraestrutura captura, valida e monta vários elementos de big data em coleções relevantes. • Tecnologias envolvidas: – Sistemas de arquivos distribuídos. – Serviços de serialização para persistência de dados e chamadas remota de procedimentos – Serviços de coordenação: para possibilitar aplicações distribuídas.
  • 33. Organização de banco de dados e ferramentas • A tecnologia mais conhecida desta parte do framework é o MapReduce • MapReduce é um modelo de programação para o processamento de grandes conjuntos de dados com um algoritmo distribuído paralelo em um cluster.
  • 34. Organização de banco de dados e ferramentas • Um programa de MapReduce compreende: – um map () procedimento que realiza a filtragem e ordenação (como classificação os alunos pelo primeiro nome em filas, uma fila para cada nome) e – Reduce () procedimento que executa uma operação de resumo (como a contagem do número de alunos em cada fila, produzindo freqüências nome).
  • 35. Organização de banco de dados e ferramentas • MapReduce:
  • 36. Organização de banco de dados e ferramentas • Apache Hadoop é um framework de software open-source que suporta aplicações intensivas de dados distribuídos, licenciado sob a licença Apache v2.
  • 37. Organização de banco de dados e ferramentas • Ele suporta a execução de aplicações em grandes aglomerados de hardware commodity. • Hadoop MapReduce foi obtido a partir do Google e do sistema de arquivo do Google (GFS).
  • 38. Mineração de dados • Mineração de dados envolve a exploração e análise de grande quantidade de dados com o objetivo de encontrar padrões
  • 39. Mineração de dados • Mineração de dados utiliza técnicas estatísticas e de inteligência artificial. • O objetivo da mineração de dados pode ser feita para: – Classificar elementos de um conjunto de dados. – Prever valores de variáveis aleatórias.
  • 40. Mineração de dados • Mineração de dados utiliza técnicas estatísticas e de inteligência artificial. • O objetivo da mineração de dados pode ser feita para: – Classificar elementos de um conjunto de dados. – Prever valores de variáveis aleatórias.
  • 41. Mineração de dados • Exemplos de algoritmos utilizados na mineração de dados: – Árvores de classificação – Regressão logística – Redes neurais – Técnicas de agrupamento (clustering)
  • 42. PÓS-GRADUAÇÃO EM BANCO DE DADOS E MINERAÇÃO DE DADOS UNISEB Parte 2 -
  • 43. Introdução • Justificativa do curso: – Grande número de empresas de software na região; – Crescimento do setor e grande demanda por profissionais qualificados na área de TI; – Aumento da concorrência entre as empresas que necessitam de profissionais cada vez mais capacitados e atualizados 43
  • 44. Objetivo do curso • Geral: – O UNISEB COC formará especialistas na área de Banco de Dados e Mineração de Dados com domínio da técnica e capacidade de identificar problemas, oportunidades e propor soluções inovadoras para o armazenamento, disponibilização e mineração de dados de empresas de pequeno, médio e grande porte. 44
  • 45. Metodologia: • Aulas Teóricas: – Serão expositivo-dialogadas e utiliza-se das técnicas de dinâmicas de grupo, estudo dirigido e seminários, sempre articulando os saberes teóricos aos saberes práticos dos atores envolvidos no processo. – Para apoio do curso existe um ambiente virtual em que algumas informações e material bibliográfico são disponibilizados, além da possibilidade do agendamento de chat. • Aulas Práticas: – Aulas práticas serão desenvolvidas em sala de aula e laboratório de informática. 45
  • 46. Pós-Graduação em Banco de Dados e Mineração de Dados • Contato comercial: 3603-9803
  • 47. EXEMPLO DE APLICAÇÃO (PROF. REGINALDO) Parte 3 -