Pré-processamento em Big Data

•

2 gostaram•923 visualizações

Apresentação feita no PPGEE - Programa de Pós Graduação de Engenharia Elétrica da Universidade Federal do Pará Uma explanação geral sobre o funcionamento das principais ferramentas disponíveis no mercado para análise e pré-processamento de dados

Tecnologia

Pré-processamento:
ferramentas e aplicações
João Gabriel Lima
jgabriel.ufpa@gmail.com

Importância do Pré-Processamento
● Seleção de atributos
● Limpeza dos Dados
● Transformação
● Construção de atributos
● Discretização

Big Data 6 Vs
• Volume
• Variedade
• Velocidade
• Valor
• Variabilidade
• Veracidade
V
5 29/09/14

Open-Source
Desenvolvimento Acadêmico
Inovação
Novos Paradigmas
Critérios

Considerações Finais
●Hot Topic
●Muitas ferramentas e frameworks disponíveis
● Importante conhecer o domínio
●Cuidado! Não existe chave mestra!
● Potencial em aprendizagem de máquina

Mais conteúdo relacionado

Destaque

Manual cassandra NoSQL

lignia

Apache Cassandra - Base de datos

Zteeven Zalinas

Fast Data:The Rebirth of Streaming Analytics

Tony Baer

It used to be black and white. If you needed MapReduce processing, you chose Hadoop; if you needed standard query and reporting, you chose a SQL data warehouse. The decision is no longer clear cut. With YARN clearing the way for Hadoop to accept multiple workloads, Hadoop is no longer your father’s MapReduce machine – as frameworks are rapidly emerging for interactive SQL, search, streaming and other workloads. We are on the path toward a federated world of analytic and operational decision stores, but as the boundaries between platform types grow fuzzier, deciding what platforms to use and where to run which workloads grow trickier.

Hadoop, SQL & NoSQL: No Longer an Either-or Question

Tony Baer

Instalacion,Configuracion y Creacion de Una Base de Datos en Apache Cassandra...

Daniel Briian

Temos a necessidade de processar e analisar milhões de dados. Nessa palestra vamos compartilhar a experiência adquirida ao construir uma arquitetura que utiliza Kafka como fonte de dados para o processamento de milhões de mensagens com Spark Streaming, persistência no Cassandra e utilizando o Zeppelin para a apresentação de dashboards estratégicos para o negócio. Utilizando esta arquitetura, foi possível criar um ambiente para análise de dados de navegação do usuário pelo site, assim como métricas de venda e interação dos usuários via chat. Através dessa plataforma viabilizamos insights, validação de novas features e a possibilidade de aplicação de algoritmos preditivos que otimizem os objetivos de negócio.

Elytics - Construindo uma plataforma de big data

Elo7

Apache cassandra

MARTINILDEFONSOTORRES

Great Visualizations and Analytics using Business Intelligence Open Source

Stratebi

Hadoop MapReduce Streaming and Pipes

Hanborq Inc.

Manual apache cassandra y comandos en la shell

Kevin López

Up and running with pyspark

Krishna Sangeeth KS

Building a Recommendation Engine Using Diverse Features by Divyanshu Vats

Spark Summit

Desenvolvimento Mobile: Android e iOS caminhando juntos

Elo7

PyCon APAC 2016 Keynote

Wes McKinney

Improving data interoperability in Python and R

Wes McKinney

A Spark Framework For < $100, < 1 Hour, Accurate Personalized DNA Analy...

Spark Summit

Succinct Spark: Fast Interactive Queries on Compressed RDDs by Rachit Agarwal

Spark Summit

Introduccion a Cassandra

Stratebi

Video Games at Scale: Improving the gaming experience with Apache Spark

Spark Summit

Are you tired of struggling with your existing data analytic applications? When MapReduce first emerged it was a great boon to the big data world, but modern big data processing demands have outgrown this framework. That’s where Apache Spark steps in, boasting speeds 10-100x faster than Hadoop and setting the world record in large scale sorting. Spark’s general abstraction means it can expand beyond simple batch processing, making it capable of such things as blazing-fast, iterative algorithms and exactly once streaming semantics. This combined with it’s interactive shell make it a powerful tool useful for everybody, from data tinkerers to data scientists to data developers.

The How and Why of Fast Data Analytics with Apache Spark

Legacy Typesafe (now Lightbend)

Destaque (20)

Manual cassandra NoSQL

Apache Cassandra - Base de datos

Fast Data:The Rebirth of Streaming Analytics

Hadoop, SQL & NoSQL: No Longer an Either-or Question

Instalacion,Configuracion y Creacion de Una Base de Datos en Apache Cassandra...

Elytics - Construindo uma plataforma de big data

Apache cassandra

Great Visualizations and Analytics using Business Intelligence Open Source

Hadoop MapReduce Streaming and Pipes

Manual apache cassandra y comandos en la shell

Up and running with pyspark

Building a Recommendation Engine Using Diverse Features by Divyanshu Vats

Desenvolvimento Mobile: Android e iOS caminhando juntos

PyCon APAC 2016 Keynote

Improving data interoperability in Python and R

A Spark Framework For < $100, < 1 Hour, Accurate Personalized DNA Analy...

Succinct Spark: Fast Interactive Queries on Compressed RDDs by Rachit Agarwal

Introduccion a Cassandra

Video Games at Scale: Improving the gaming experience with Apache Spark

The How and Why of Fast Data Analytics with Apache Spark

Semelhante a Pré-processamento em Big Data

Palestra apresentada no FISL 16 - Serão apresentados os conceitos gerais sobre Big Data, as características as atividades do profissional de Big Data ( Cientista de Dados ), como tornar-se um cientista de dados, as principais ferramentas de mercado, e como este profissional pode usar o potencial das ferramentas de software livre e software aberto para dominar esta área de atuação. Uma visão geral sobre Hadoop, Cassandra, MongoDB, noSQL, BI, Data Mining e Analitycs entre outros conceitos emergentes da área de governança de dados será repassada aos participantes.

Cientista de Dados – Dominando o Big Data com Software Livre

Ambiente Livre

PostgreSQL em projetos de Business Analytics e Big Data Analytics com Pentaho

Ambiente Livre

Treinamento hadoop - dia4

Alexandre Uehara

Big Data, JVM e Redes Sociais

José Renato Pequeno

Big Data Analytics - Do MapReduce ao dashboard com Hadoop e Pentaho

Ambiente Livre

O Apache Hadoop tem se tornado o framework padrão para processamento de Big Data. Com ele, podemos processar grandes volumes de dados utilizando hardware de baixo custo de forma paralela e distribuída. Essas características podem ser úteis no cotidiano do desenvolvedor, otimizando a execução de rotinas batch e geração de relatórios, por exemplo. Nesta palestra serão mostrados os passos para desenvolver uma solução utilizando algumas ferramentas que fazem parte do ecossistema do Hadoop: MapReduce, HDFS e HBase.

Bigdata na pratica: Resolvendo problemas de performance com hadoop

tdc-globalcode

Palestra: Cientista de Dados – Dominando o Big Data com Software Livre

Ambiente Livre

Palestra Introdução a Big Data

Amtera Semantic Systems

Ferramentas e Aplicações em Big Data

Alvaro Viebrantz

XXXI JAI - Apache Hadoop: conceitos teóricos e práticos, evolução e novas pos...

Ivanilton Polato

[DTC21] Lucas Gomes - Do 0 ao 100 no Big Data

Deep Tech Brasil

OS CINCO Vs DO BIG DATA

Leonardo Dias

Modelos de computação distribuída no Hadoop O desenvolvimento de uma aplicação distribuída requer diversos conhecimentos para lidar com problemas como: particionamento de entrada, escalonamento da execução, comunicação entre as máquinas e falhas no cluster. Para que o desenvolvedor possa focar somente na aplicação que está sendo desenvolvida, diversos modelos para processar os dados distribuídos foram criados. Cada modelo tem suas características, pontos fracos e fortes, que os fazem apropriados para determinados tipos de aplicações. A apresentação irá abordar os temas: Hadoop 2/Map Reduce; Bulk Synchronous Parallel; Pregel; Dremel; Processamento de Stream; Próximas tecnologias. Tiago Cardoso Co-fundador e CTO da Zahpee. Mestre em Ciência da Computação pela UFMG. Co-fundador e CTO da Zahpee, trabalha há mais de quatro anos no desenvolvimento de produtos para coleta, processamento e visualização de dados.

Modelos de computação distribuída no Hadoop

Big Data Week São Paulo

Pentaho com Hadoop – O Canivete Suíço do Cientistas de Dados para Big Data An...

Ambiente Livre

Treinamento hadoop - dia3

Alexandre Uehara

Indústria 4.0: como a IoT e Big Data mudarão a forma como lidamos com a tecno...

Vinícius Barros

Rails Summit 2008 - Web Operations - George Guimarães - Pagestacker

George Guimarães

Big data para programadores convencionais

Roberto Oliveira

Xen e CoreOS: solução para data mining com NodeJS e ElasticSearch

Bernardo Donadio

Oficina técnica da Infraestrutura Nacional de Dados Abertos - INDA

nitaibezerra

Semelhante a Pré-processamento em Big Data (20)

Cientista de Dados – Dominando o Big Data com Software Livre

PostgreSQL em projetos de Business Analytics e Big Data Analytics com Pentaho

Treinamento hadoop - dia4

Big Data, JVM e Redes Sociais

Big Data Analytics - Do MapReduce ao dashboard com Hadoop e Pentaho

Bigdata na pratica: Resolvendo problemas de performance com hadoop

Palestra: Cientista de Dados – Dominando o Big Data com Software Livre

Palestra Introdução a Big Data

Ferramentas e Aplicações em Big Data

XXXI JAI - Apache Hadoop: conceitos teóricos e práticos, evolução e novas pos...

[DTC21] Lucas Gomes - Do 0 ao 100 no Big Data

OS CINCO Vs DO BIG DATA

Modelos de computação distribuída no Hadoop

Pentaho com Hadoop – O Canivete Suíço do Cientistas de Dados para Big Data An...

Treinamento hadoop - dia3

Indústria 4.0: como a IoT e Big Data mudarão a forma como lidamos com a tecno...

Rails Summit 2008 - Web Operations - George Guimarães - Pagestacker

Big data para programadores convencionais

Xen e CoreOS: solução para data mining com NodeJS e ElasticSearch

Oficina técnica da Infraestrutura Nacional de Dados Abertos - INDA

Mais de João Gabriel Lima

Cooking with data

João Gabriel Lima

We are a company that delivers value to our customers by lowering costs with digital marketing and increasing the efficiency of campaigns and their conversions. Using the most advanced artificial intelligence models in the neuro-marketing perspective, we have been able to predict the effectiveness of a marketing campaign before it is published. After its publication, we evaluated the campaign, segmenting the public according to the standard extracted from each market segment, delivering information for strategic and efficient management.

Deep marketing - Indoor Customer Segmentation

João Gabriel Lima

Aplicações de Alto Desempenho com JHipster Full Stack

João Gabriel Lima

Realidade aumentada com react native e ARKit

João Gabriel Lima

JS - IA

João Gabriel Lima

Com a crescente onda de dados gerados, está cada vez mais claro que tecnologias de preparação e processamento de Big Data precisam se apoiar em Inteligência Artificial. Nesta palestra apresento o estado da arte em Big Data e IA, mostro claramente a relação entre esses tópicos, dando um direcionamento de como esses conceitos devem ser aplicados. Foi mostrado um estudo de caso da Operação Serenata de Amor, proposta por cientistas de dados e jornalistas para o combate à corrupção no Brasil.

Big data e Inteligência Artificial

João Gabriel Lima

Mineração de Dados no Weka - Regressão Linear

João Gabriel Lima

Segurança na Internet - Estudos de caso

João Gabriel Lima

Segurança na Internet - Google Hacking

João Gabriel Lima

Segurança na Internet - Conceitos fundamentais

João Gabriel Lima

Web Machine Learning

João Gabriel Lima

Mineração de Dados com RapidMiner - Um Estudo de caso sobre o Churn Rate em...

João Gabriel Lima

Mineração de dados com RapidMiner + WEKA - Clusterização

João Gabriel Lima

Mineração de dados na prática com RapidMiner e Weka

João Gabriel Lima

Visualizacao de dados - Come to the dark side

João Gabriel Lima

REST x SOAP : Qual abordagem escolher?

João Gabriel Lima

Game of data - Predição e Análise da série Game Of Thrones a partir do uso de...

João Gabriel Lima

E-trânsito cidadão - IPVA em suas mãos

João Gabriel Lima

[Estácio - IESAM] Automatizando Tarefas com Gulp.js

João Gabriel Lima

Palestra apresentada no JsDay Recife 2015, onde mostro uma visão geral sobre o cenário da Internet das Coisas com Javascript. Primeiramente destaco os conceitos gerais, em seguida justifico o uso de javascript, além disso, mostro as principais ferramentas, bibliotecas e API's. Cito os principais projetos na área e mostro um projeto na prática implementado em javascript, utilizando a tecnologia bluetooth para contrução de smarthomes, provendo a comunicação entre o dispositivo controlador e o smartphone do usuário.

Hackeando a Internet das Coisas com Javascript

João Gabriel Lima

Mais de João Gabriel Lima (20)

Cooking with data

Deep marketing - Indoor Customer Segmentation

Aplicações de Alto Desempenho com JHipster Full Stack

Realidade aumentada com react native e ARKit

JS - IA

Big data e Inteligência Artificial

Mineração de Dados no Weka - Regressão Linear

Segurança na Internet - Estudos de caso

Segurança na Internet - Google Hacking

Segurança na Internet - Conceitos fundamentais

Web Machine Learning

Mineração de Dados com RapidMiner - Um Estudo de caso sobre o Churn Rate em...

Mineração de dados com RapidMiner + WEKA - Clusterização

Mineração de dados na prática com RapidMiner e Weka

Visualizacao de dados - Come to the dark side

REST x SOAP : Qual abordagem escolher?

Game of data - Predição e Análise da série Game Of Thrones a partir do uso de...

E-trânsito cidadão - IPVA em suas mãos

[Estácio - IESAM] Automatizando Tarefas com Gulp.js

Hackeando a Internet das Coisas com Javascript

Último

Padrões de Projeto: Proxy e Command com exemplo

Danilo Pinotti

LOGÍSTICA EMPRESARIAL — ATIVIDADE DE ESTUDO 1 Olá, estudante! Iniciamos, agora, a Atividade 1. Prepare-se para colocar em prática os conceitos estudados durante a disciplina! Caso surjam dúvidas, não hesite em contatar os professores da disciplina. Desejamos sucesso na sua atividade! "A gestão da cadeia de abastecimento, também conhecida como Supply Chain Management, envolve as práticas gerenciais necessárias para que todas as empresas agreguem valor ao cliente ao longo de todo o processo, desde a fabricação dos materiais até a distribuição e entrega final dos bens e serviços (MARTINS; LAUGENI, 2015, p. 189). Essa abordagem busca integrar os diversos atores da cadeia, proporcionando uma visão abrangente e contínua de todo o processo produtivo, desde a aquisição da matéria-prima até a entrega ao cliente final. A evolução do supply chain culminou na concepção da cadeia logística integrada. a) Relacione as fases de evolução do Supply Chain Management, apresentando suas principais características. b) Descreva, de forma detalhada, o fluxo de informação da Logística Integrada. c) Quais estratégias as empresas podem adotar para integrar de forma eficaz a tecnologia da informação na cadeia logística?

ATIVIDADE 1 - LOGÍSTICA EMPRESARIAL - 52_2024.docx

2m Assessoria

Árvores binárias são uma das estruturas de dados mais fundamentais e poderosas na ciência da computação, essenciais para o entendimento e aplicação de algoritmos eficientes. Elas permitem operações de busca, inserção e remoção em tempos de execução competitivos, especialmente quando estão balanceadas. Uma árvore binária é uma estrutura de dados em que cada nó possui no máximo dois filhos, que são referenciados como subárvore esquerda e subárvore direita. Considerando os conceitos fundamentais de uma árvore binária, defina o conceito de PROFUNDIDADE de uma árvore binária e discuta como essa medida impacta as operações realizadas na estrutura.

ATIVIDADE 1 - ESTRUTURA DE DADOS II - 52_2024.docx

2m Assessoria

A margem de contribuição é uma medida fundamental para entender a lucratividade de um produto, serviço, departamento ou da empresa como um todo. Ela representa o valor que sobra da receita depois de subtrair os custos e despesas variáveis associados à produção ou venda desse produto ou serviço. Essa quantia é chamada de "margem de contribuição" porque é a parte do dinheiro que efetivamente contribui para cobrir os custos fixos e gerar lucro. Fonte: FRAGALLI, Adriana Casavechia; CASTRO, Silvio Cesar de. Custos da Produção. Maringá - PR.: Unicesumar, 2022. Dado o contexto fornecido sobre os Margem de Contribuição dentro de uma empresa, é possível expandir a análise para que seja apurada de diferentes formas dentro de uma organizacional. Essas apurações podem ser (1) Global da Empresa, (2) Global de uma filial, (3) Divisão de Negócios, (4) Departamental, (5) Total por produto e (6) Unitário. Neste sentido, explique como cada uma dessas apurações consiste no contexto prático de margem de contribuição.

ATIVIDADE 1 - CUSTOS DE PRODUÇÃO - 52_2024.docx

2m Assessoria

No mundo digital atual, a informação é considerada uma das principais matérias-primas para o desenvolvimento econômico e social. Com a evolução tecnológica e a disseminação da internet, a quantidade de dados gerados e disponíveis diariamente cresce de forma exponencial. Nesse contexto, a gestão da informação assume um papel fundamental para as organizações, uma vez que permite a captação, armazenamento, processamento, análise e disseminação dos dados de forma estruturada e eficiente. Saes, Danillo Xavier. Gestão da Informação. Maringá-Pr.: UniCesumar, 2019. [Unidade I, p. 16 a 28] Para que possamos construir uma reflexão significativa sobre a gestão da informação no mundo organizacional, vamos realizar a presente atividade em 2 momentos. 1. Defina e diferencie: DADO, INFORMAÇÃO e CONHECIMENTO. 2. Faça uma reflexão sobre o uso da informação no contexto organizacional que está inserido na sociedade do conhecimento, destacando qual a relevância do uso das tecnologias digitais como apoio para a gestão da informação.

ATIVIDADE 1 - GCOM - GESTÃO DA INFORMAÇÃO - 54_2024.docx

2m Assessoria

Boas práticas de programação com Object Calisthenics

Danilo Pinotti