SlideShare uma empresa Scribd logo
1 de 10
Baixar para ler offline
O FUTURO ESTA NOS DADOS
Alexandra Alcântara da Silva*
Fernando Santos**
RESUMO
Neste artigo será abordado um assunto que está sendo comentada pelo mundo Business
e pela internet, ‘grande volume de dados’, sua importância, dificuldades e como poderá
ser solucionado. Hoje a informação é muito mais importante que algo material, dados
custa caro e representam para as empresas um excelente acervo estratégico para diversas
áreas de negócios. Em 2013 está previsto que os dados devem dobrar e em 2015 esses
dados irão triplicar ficando assim difícil de gerencia-los. Nesse trabalho iremos
apresentar uma solução para isso, uma tecnologia de monitoramento chamada Big Data
e a utilização das ferramentas como Hadoop, MapReduce e InfoSphere para extração
dessas informações. Primeira etapa desse processo é coletar os dados através de um
meio de rede social como é o caso do Twitter, podendo assim fazer essa coleta de
informações, buscando por palavras chaves que formarão uma rede de características e
dados para se conseguir uma resposta final. O Hadoop junto com o InfoSphere da IBM
faz com que esses dados sejam coletados e dê um retorno para melhores investimentos.
O controle desses dados será de suma importância para lucros futuros.
Palavras-chave: Analise de dados; Grande volume de dados; Big Data; Mapeamento de
dados.
1. INTRODUÇÂO
Tratar de grandes volumes de dados e gerenciamento do mesmo sempre foi um
desafio para o mundo dos negócios, porém hoje a tecnologia tem tido grandes avanços
em relação a esses problemas. Na bolsa de valores, dados, que podem chegar a mais de
um Tera por ano, faz com que o gerenciamento fique difícil de ser extraído e
organizado, ou em outros casos como saber qual a melhor cotação e o histórico de
empresas que estão com ações em alta. Como coletar dados tão imensos para poder ter
um retorno de negocio mais seguro? E o que as empresas que trabalham com a bolsa ou
outros negócios estão fazendo?
Apresentamos o Big Data que é visto como uma arma contra os problemas
socioeconômicos. Na teoria é um conjunto de soluções tecnológicas, capaz de lidar com
*Graduada em Sistema de Informação na Faculdade Joaquim Nabuco, Analista de Sistema da Apevisa
email: alexandrasilva27@gmail.com
**Graduado em Sistema de Informação na Faculdade Joaquim Nabuco, Analista de Suporte, email:
fernandosantosinf@gmail.com
2
dados digitais em volume, variedade e velocidade. Essa é a nova sensação do momento
‘Grandes Dados’ que quando são coletados dão um retorno inteligente com maior
rapidez. Bem como a computação em nuvem hoje tem tido uma evolução e as empresas
estão investindo pesado nela e o conceito de Big Data trabalhado em cima de Cloud
Computer, portanto tornando maior a busca por essa técnica. Difundindo fortemente nas
organizações, que podem ter acesso e controle dos seus dados em qualquer lugar do
mundo, a computação em nuvem junto com a técnica de mapeamento colabora para um
crescimento devastador da utilização desse novo meio de ‘Business Intelligence’.
O objetivo desse artigo é mostrar técnicas e ferramentas para extração desses
grandes dados, dando como exemplo a bolsa de valores, que possui um grande volume
de informações relacionado a cotações e modificações das mesmas, extraindo-as de
forma inteligente e rápida, com isso armazenando, gerenciando e processando essa
grande massa de dados.
O artigo está organizado da seguinte forma, inicialmente será abordado os
grandes volumes de dados e o mercado no tópico 2 em seguida será tratado o futuro
dessa técnica no 2.1 Big Data e o Futuro, no 2.2 Companies e os Dados trata o que o
mundo empresarial anda fazendo com a utilização do Big Data, no 2.3 Mapeando e
cruzando resultados e por fim o 3.0 as Considerações finais.
2. GRANDES VOLUMES DE DADOS E O MERCADO
Já pensou uma situação onde dados de uma loja virtual que vende tanto para o
Brasil como para o exterior, rodando numa plataforma que não suporte nem metade das
informações contida em seu banco de dados, e ainda seu retorno e extração deveria ser
em tempo real?
Há alguns anos atrás o mercado sofria com essas situações apesar de que seu
volume de dados não era tão imenso como é hoje, pesquisas feitas relatam que a cada
dois anos o volume de dados dobra. Uma dessas pesquisas foi feita por Anderson
Figueiredo analista da IDC Brasil, prevendo que esse ano será gerados 2,7 zettabytes de
informações, esse numero subirá para oito zettabytes em 2015. Com tantas informações
para serem gerenciadas as empresas terão que buscar um modo de lhe dar com essa
montanha de informações e coletar apenas os dados de valor para os negócios,
infelizmente esse pesquisa ainda afirma que 51% das empresas não adotaram nenhum
3
tipo de ferramenta para resolver esse problema. Outro estudo foi feito recentemente pela
Oracle informavam que a falta de controle de dados faz as empresas perderem em
média 14% de seu faturamento.
Um bom exemplo mesmo é a bolsa de valores que antigamente, mesmo
possuindo grandes dados, fazia suas transações de negócios na própria bolsa, em cada
cidade de todos os pais, o famoso pregão viva-voz. Hoje essas transações são cada vez
mais realizadas em tempo real. O mercado está cada dia mais consciente que
informação é tudo para os negócios, investir em dados está dando a muitas empresas
grandes retorno financeiro e a visão de como interagir com esses dados tirando proveito
dos mesmos. Hoje as corretoras se organizam e possuem ferramentas que tem o objetivo
de gerenciar e retornar dados que darão um norte aqueles que pretendem investir.
‘Gerenciar grandes volumes de dados com eficiência e inteligência pode ser
possível com novas tecnologias de mineração. - Big Data é um grande negocio?’.
Titulo de um artigo tirado da ComputerWorld EUA feito por Stacy Collet (em 02 de
Setembro de 2011,s/d) que retrata se o Big Data é viável ou não.
Abaixo a Figura 01 tirada do site visual.ly mostra como o Big Data pode mapear
grande informações e apresenta-los de forma simples ao mundo.
Figura 01: Gráficos e imagens do site visual.ly mostra como Big Data pode dar retorno através de
dados sobre o nicho de mercado. – EUA – 2012.
4
FONTE: VISUAL. LY – 2012.
O Business Intelligence já era bem chamativo para o setor de analise de dados e
negócios quando o Big Data apareceu se mostrando bem mais atrativo e rápido para as
respostas, que necessitavam de maior precisão em seu retorno. Hoje no século 21
“Inteligência de Negócio” é o carro chefe tanto para o mundo Business como para o
mundo de TI. Na feira CeBit na Alemanha desse ano o Big Data foi mostrado como o
mais novo meio de pesquisa de negócios, como no filme Moneyball com Brad Pitt onde
ele usa ferramentas e o conceito do Big Data para coletar dados com o objetivo de
formar o melhor time de beisebol, assim popularizando a ideia. Sobre a aplicação para
extração de dados na bolsa de valores, não foi utilizado até o momento, porém em breve
será um chamativo.
2.1 Big Data e o Futuro
Recentemente foi anunciado que o Big Data seria utilizado na copa do mundo
de 2014, essa noticia mostra como o método de extração e analise de dados, esta cada
vez mais tomando espaço no mercado, Marcelo Leite, diretor de produtos da BT para a
América Latina explica em seu artigo postado no Portal da BT a metodologia que pode
prever os negócios. Também usado nos jogos olímpicos o método está crescendo cada
vez mais, a empresa SAS no Brasil está focando a ideia como uma nova corrida do
ouro.
Mas o Big Data não só serve para os negócios, o meio ambiente mesmo está
tendo seus privilégios também, empresas como a OPower que tem a proposta de ser
capaz de economizar um terawatt hora de energia, que é o equivalente à energia
consumida por 100.000 lares americanos por ano até o final de 2012.
O Big Data está crescendo tanto que a EMC promove escola de verão em Big
Data no Rio de Janeiro e a SAP seleciona estudantes para programa de estágio no Sul do
País. Hoje a busca por cientista de dados esta imensa, salários altíssimos para esses
profissionais.
Em reportagem do jornal O Globo, o executivo de operações da EMC, Pat
Gelsinger, afirmou que o mercado global de Big Data já movimenta US$ 70
bilhões por ano, e a tendência é que tenha um crescimento de quase 40% até
2015. (DARROW, 2012, s/p)
5
Muitas novas ferramentas foram criadas para à utilização desses métodos de
análise de grandes dados, no Vale do Silício uma empresa chamada de Cloudera lançou
um projeto de código aberto chamado Broca, que procura imitar a eficaz ferramenta de
análise de dados construído pelo Google que usa a metodologia do Big Data.
2.2 Companies e os Dados
Como foi dito anteriormente o acúmulo de dados tem sido imenso de uns tempos
para cá e em 2012 esse volume absurdamente cresceu. Com estudos e pesquisa de que
isso seria um problema empresas como Yahoo, Amazon, Intel, IBM e outros se
dedicaram a essa solução, tanto para aumento financeiro como inovação de mercado.
A Amazon que oferece um conjunto de serviços baseados em Cloud Computing
como o seu Amazon Web Services (AWS) e Amazon Elastic MapReduce, torna mais
fácil e econômico aos clientes extrair e processar informações de grandes volumes de
dados, volume esse que é através do AWS, tem a análise de mapeamento de genoma,
análise de dados de serviços financeiros e análise de logs da web entre outros. Abaixo
matéria tirada da ComputerWorld Blakeley arquiteto da Mazda mostra os investimentos
dessa técnica.
A Mazda Motor Corp, que possui 900 revendedores e 800 funcionários nos
EUA, gerencia cerca de 90 terabytes de dados. O arquiteto de infraestrutura
das operações da Mazda na América do Norte, Barry Blakeley, diz que as
unidades de negócios e os revendedores estão gerando quantidades cada vez
maiores de arquivos de dados analíticos, materiais de marketing, bases de
dados para inteligência de negócios, dados do Microsoft SharePoint e muito
mais. "Temos tudo virtualizados, incluindo o armazenamento", afirma
Blakeley. (BRANDON,2011, s/p)
Derrick Harrys escreveu no site Gigaom.com que recentemente o Yahoo e o
Facebook investiram na analise de grande dados e adotaram um serviço em uma nova
plataforma chamada Continuuity, sendo em nuvem é um ambiente de desenvolvimento
em tempo de execução que fica em cima da infraestrutura do Hadoop e abstrai a
complexidade de escrever apps. Abaixo a Figura 02 mostra a interface dessa ferramenta
que tem como objetivo extrair grandes informações geradas por essas redes sociais.
6
Figura 02: Face do sistema Continuuity – EUA – 2012.
FONTE: CONTINUUITY – 2012.
Mas é a IBM que está investindo pesado, já tem a Web Site Educacional Big
Data University com direito a vídeo aulas, material, downloads das ferramentas e
certificações, mostrando como o Big Data Funciona e as ferramentas utilizadas. A
buscar por grandes dados de forma organizada estão aumentando cada vez mais entre as
empresas, como é o caso da Terada, HP, Walmart, Google e muitos outros gigantes que
estão aproveitando essa febre.
2.3 Mapeando e cruzando resultados
Tanto o BigSheets, Hadoop e o MapReduce são excelentes ferramentas
utilizadas para o levantamento de grandes dados , usaremos o Hadoop na plataforma
Cloudera um sistema operacional Linux para os estudos do mapeamento. As cotações
da bolsa são gigantescas, precisando muitas vezes ser simples de ser analisada, o Big
Data já foi recomendando para ser utilizado na área de cotações da bolsa, mas por falta
de profissionais na área encontrasse só em especulações.
Ao iniciarmos o Cloudera vamos para o Hadoop e fazemos uma busca
organizada por esses valores colocando palavras chaves como ‘compra’ e ‘alta’,
retornando com isso algumas informações que ainda pode ser peneirada para um melhor
7
entendimento. No caso do BigSheets essas respostas são bem mais rápidas e eficientes
buscando através do twitter ou facebook dados estatísticos para ser aplicado no negocio.
Um dos módulos interessantes das ferramentas do Big data é o bubble chart
‘gráfico de bolhas’ ele mostra de uma forma bem macro todas as informações desejadas
e uma visão de como será aplicadas, pode passar o mouse sobre cada bolha para ver o
que os projetos têm e quanto eles valem. Abaixo um exemplo do bubble chart é a
Figura 03, que mostra resultados obtidos através do BigSheets sobre educação e os
professores nos EUA.
Figura 03: bubble chart sobre educação e professores nos EUA – 2009.
FONTE: OUSEFUL.INFO – 2009.
Depois de ter utilizado algumas ferramentas e as técnicas de mapeamento
citadas, pode-se observar que houve uma grande busca pela empresa de logística LLX
em novembro de 2012, que teve um ótimo desempenho e aumento de acionista, outras
empresas do setor de energia teve várias buscas também, retornando assim informações
de forma prática e rápida. Através desses comentários tanto dos que trabalham na área
como os que são investidores assíduos, pode-se com isso ter retornado aos leigos ou
aqueles que desejam essas informações, uma orientação em quem ou o que investir.
3 CONSIDERAÇÕES FINAIS
Os conceitos vistos para a elaboração desse trabalho foram técnica de
mapeamento de análises, as ferramentas open source usadas nesse processo, como o
8
meio empresarial está aceitando a ideia e qual as vantagens que essa nova metodologia
está trazendo para os negócios, tornando assim mais fácil a buscar por informações.
Os resultados encontrados através da busca feita pelas ferramentas que rodam o
Hadoop em sua plataforma trouxeram em formas de gráficos e números dados que antes
não tinham um retorno tão direto e tão rápido, utilizado anteriormente pelas ferramentas
Business Intelligence.
Mesmo essa técnica sendo nova existe muitas empresas que estão começando a
buscar informações sobre o Big Data e o valor que os dados têm para os negócios,
fazendo com que seja fácil disseminar essa ideia tanto no Brasil como em outros países.
A Bolsa de Valores ainda é uma área de negócios que está madura em relação à
‘Grandes Dados’, porém futuramente terá um ótimo rendimento quando começar a
utilizar essa técnica para buscar informações em relação a cotações do dia, fazendo uma
avaliação de simples palavras, cruzando assim dados e disponibilizando informações
sobre qual empresa será mais viável para investir e uma previsão sobre o futuro de
alguns investimentos.
O Big Data se for usado de maneira correta, permite também aos analistas
identificar tendências e dá ideias de nicho que ajudam a criar valor e inovações muito
mais rápido do que os métodos convencionais.
REFERÊNCIAS BIBLIOGRÁFICAS
Autor não informado. Big Data na Copa do Mundo de 2014.Disponível em:
http://letstalk.globalservices.bt.com/pt/2012/09/big-data-na-copa-do-mundo-de-2014
Acesso em: 03 Setembro 2012.
BRANDON, JOHN, Confira técnicas para vencer o desafio de gerenciar Big Data,
Disponível em: computerworld.uol.com.br/tecnologia/2011/10/13/confira-tecnicas-para-
vencer-o-desafio-de-gerenciar-big-data, Acesso em: 14 de Outubro de 2011.
COLLET, STACY. Big Data: é um grande negócio? Disponível em:
http://computerworld.uol.com.br/tecnologia/2011/09/02/big-data-e-um-g. Acesso
em: 02 de Setembro de 2011.
CONTINUUITY, Figura 02, Face do sistema Continuuity, Fonte:
www.continuuity.com/technology.
DARROW, BARB, Amazon Launches home-grown NoSQL database, Disponível em:
http://gigaom.com/cloud/amazon-launches-home-grown-nosql-database, Acesso em: 18
de Janeiro de 2012.
9
FIGUEIREDO, ANDERSON. Big Data: volume de dados no mundo crescerá 60% em
2012. Disponível em: http://cio.uol.com.br/tecnologia/2012/05/27/big-data-volume-de-
dados-no-mundo-crescera-60-em-2012. Acesso em: 27 de Maio de 2012.
HARRYS, DERRICK. Ex-Yahoo e Facebook big data vets do Hadoop for developer,
Disponível em: http://gigaom.com/data/ex-yahoo-facebook-big-data-vets-launch-paas-
for-hadoop, Acesso em: 23 de Outubro de 2012.
OUSEFUL, Figura 03, Burble Chat, Fonte: http://blog.ouseful.info/2009/02/27/simple-
embeddable-twitter-map-mashup.
VISUAL. LY, Figura01, Gráfico Big Data, Fonte: http://visual.ly/big-data.
9
FIGUEIREDO, ANDERSON. Big Data: volume de dados no mundo crescerá 60% em
2012. Disponível em: http://cio.uol.com.br/tecnologia/2012/05/27/big-data-volume-de-
dados-no-mundo-crescera-60-em-2012. Acesso em: 27 de Maio de 2012.
HARRYS, DERRICK. Ex-Yahoo e Facebook big data vets do Hadoop for developer,
Disponível em: http://gigaom.com/data/ex-yahoo-facebook-big-data-vets-launch-paas-
for-hadoop, Acesso em: 23 de Outubro de 2012.
OUSEFUL, Figura 03, Burble Chat, Fonte: http://blog.ouseful.info/2009/02/27/simple-
embeddable-twitter-map-mashup.
VISUAL. LY, Figura01, Gráfico Big Data, Fonte: http://visual.ly/big-data.

Mais conteúdo relacionado

Mais procurados

TCC_EderBatistaMacedo_v6
TCC_EderBatistaMacedo_v6TCC_EderBatistaMacedo_v6
TCC_EderBatistaMacedo_v6Eder Macedo
 
Apresentação Moneris 2011
Apresentação  Moneris 2011Apresentação  Moneris 2011
Apresentação Moneris 2011Helder Beça
 
Caderno de administração ( fundamentos da contabilidade)
Caderno de administração ( fundamentos da contabilidade)Caderno de administração ( fundamentos da contabilidade)
Caderno de administração ( fundamentos da contabilidade)Universidade de Pernambuco
 
Criando uma empresa Fictícia
Criando uma empresa Fictícia Criando uma empresa Fictícia
Criando uma empresa Fictícia Gabriel Henrique
 
Gestao financeira 3 e 4
Gestao financeira 3 e 4Gestao financeira 3 e 4
Gestao financeira 3 e 4Arleno
 
a reestruturação financeira da empresa SOFT MÓVEIS - Gestão Financeira.pdf
a reestruturação financeira da empresa SOFT MÓVEIS - Gestão Financeira.pdfa reestruturação financeira da empresa SOFT MÓVEIS - Gestão Financeira.pdf
a reestruturação financeira da empresa SOFT MÓVEIS - Gestão Financeira.pdfHELENO FAVACHO
 
Projecto de Franchising de Gestão e Contabilidade
Projecto de Franchising de Gestão e ContabilidadeProjecto de Franchising de Gestão e Contabilidade
Projecto de Franchising de Gestão e ContabilidadeInes Loureiro
 
Estratégias para internacionalização e exportação de serviços de software e c...
Estratégias para internacionalização e exportação de serviços de software e c...Estratégias para internacionalização e exportação de serviços de software e c...
Estratégias para internacionalização e exportação de serviços de software e c...ohenrique
 
Finanças - Questões de Provas do Enade 2009 - 2015 (com gabarito)
Finanças - Questões de Provas do Enade 2009 - 2015 (com gabarito)Finanças - Questões de Provas do Enade 2009 - 2015 (com gabarito)
Finanças - Questões de Provas do Enade 2009 - 2015 (com gabarito)Milton Henrique do Couto Neto
 
Plano de negócios Penelope Autopeças
Plano de negócios Penelope AutopeçasPlano de negócios Penelope Autopeças
Plano de negócios Penelope AutopeçasAndré Xavier
 
Contabilidade comercial contabilidade-ifsul (1)
Contabilidade comercial contabilidade-ifsul (1)Contabilidade comercial contabilidade-ifsul (1)
Contabilidade comercial contabilidade-ifsul (1)Neto Mendes Mendes
 
Plano de Negocio Djhonny Donfecções
Plano de Negocio Djhonny Donfecções Plano de Negocio Djhonny Donfecções
Plano de Negocio Djhonny Donfecções Vitor Savicki
 
Pirelli & C Portugal Ed Consulting
Pirelli & C Portugal  Ed ConsultingPirelli & C Portugal  Ed Consulting
Pirelli & C Portugal Ed ConsultingED Consulting
 
Apostila contabilidade avancada
Apostila contabilidade avancadaApostila contabilidade avancada
Apostila contabilidade avancadazeramento contabil
 
Demonstrações financeiras 2012 book
Demonstrações financeiras 2012 bookDemonstrações financeiras 2012 book
Demonstrações financeiras 2012 bookEmbraer RI
 

Mais procurados (18)

TCC_EderBatistaMacedo_v6
TCC_EderBatistaMacedo_v6TCC_EderBatistaMacedo_v6
TCC_EderBatistaMacedo_v6
 
Apresentação Moneris 2011
Apresentação  Moneris 2011Apresentação  Moneris 2011
Apresentação Moneris 2011
 
Caderno de administração ( fundamentos da contabilidade)
Caderno de administração ( fundamentos da contabilidade)Caderno de administração ( fundamentos da contabilidade)
Caderno de administração ( fundamentos da contabilidade)
 
Criando uma empresa Fictícia
Criando uma empresa Fictícia Criando uma empresa Fictícia
Criando uma empresa Fictícia
 
Gestao financeira 3 e 4
Gestao financeira 3 e 4Gestao financeira 3 e 4
Gestao financeira 3 e 4
 
a reestruturação financeira da empresa SOFT MÓVEIS - Gestão Financeira.pdf
a reestruturação financeira da empresa SOFT MÓVEIS - Gestão Financeira.pdfa reestruturação financeira da empresa SOFT MÓVEIS - Gestão Financeira.pdf
a reestruturação financeira da empresa SOFT MÓVEIS - Gestão Financeira.pdf
 
Gestao financeira
Gestao financeiraGestao financeira
Gestao financeira
 
Projecto de Franchising de Gestão e Contabilidade
Projecto de Franchising de Gestão e ContabilidadeProjecto de Franchising de Gestão e Contabilidade
Projecto de Franchising de Gestão e Contabilidade
 
Estratégias para internacionalização e exportação de serviços de software e c...
Estratégias para internacionalização e exportação de serviços de software e c...Estratégias para internacionalização e exportação de serviços de software e c...
Estratégias para internacionalização e exportação de serviços de software e c...
 
Finanças - Questões de Provas do Enade 2009 - 2015 (com gabarito)
Finanças - Questões de Provas do Enade 2009 - 2015 (com gabarito)Finanças - Questões de Provas do Enade 2009 - 2015 (com gabarito)
Finanças - Questões de Provas do Enade 2009 - 2015 (com gabarito)
 
Plano de negócios Penelope Autopeças
Plano de negócios Penelope AutopeçasPlano de negócios Penelope Autopeças
Plano de negócios Penelope Autopeças
 
Contabilidade comercial contabilidade-ifsul (1)
Contabilidade comercial contabilidade-ifsul (1)Contabilidade comercial contabilidade-ifsul (1)
Contabilidade comercial contabilidade-ifsul (1)
 
Plano de Negocio Djhonny Donfecções
Plano de Negocio Djhonny Donfecções Plano de Negocio Djhonny Donfecções
Plano de Negocio Djhonny Donfecções
 
Pirelli & C Portugal Ed Consulting
Pirelli & C Portugal  Ed ConsultingPirelli & C Portugal  Ed Consulting
Pirelli & C Portugal Ed Consulting
 
Apostila contabilidade avancada
Apostila contabilidade avancadaApostila contabilidade avancada
Apostila contabilidade avancada
 
Demonstrações financeiras 2012 book
Demonstrações financeiras 2012 bookDemonstrações financeiras 2012 book
Demonstrações financeiras 2012 book
 
ESTIMAR -PLANO DE NEGÓCIOS Pronto
ESTIMAR -PLANO DE NEGÓCIOS ProntoESTIMAR -PLANO DE NEGÓCIOS Pronto
ESTIMAR -PLANO DE NEGÓCIOS Pronto
 
Financas insolvencia
Financas insolvenciaFinancas insolvencia
Financas insolvencia
 

Semelhante a Artigo big data_final

BigData-Hekima-Ebook.pdf
BigData-Hekima-Ebook.pdfBigData-Hekima-Ebook.pdf
BigData-Hekima-Ebook.pdfssuserbd3b69
 
A20 paper - perfil business intelligence - big data e fast data
A20   paper - perfil business intelligence - big data e fast dataA20   paper - perfil business intelligence - big data e fast data
A20 paper - perfil business intelligence - big data e fast dataBIBrasil
 
A20 paper - perfil business intelligence - big data e fast data
A20   paper - perfil business intelligence - big data e fast dataA20   paper - perfil business intelligence - big data e fast data
A20 paper - perfil business intelligence - big data e fast dataMarcelo Krug
 
Desmistificando o Big Data
Desmistificando o Big DataDesmistificando o Big Data
Desmistificando o Big DataZipCode
 
Tendências de inovações para a tecnologia de big data
Tendências de inovações para a tecnologia de big dataTendências de inovações para a tecnologia de big data
Tendências de inovações para a tecnologia de big datacictec
 
The big data theory sap spectrum
The big data theory   sap spectrumThe big data theory   sap spectrum
The big data theory sap spectrumFernando Corbi
 
9 motivos para aprender small data
9 motivos para aprender small data9 motivos para aprender small data
9 motivos para aprender small dataRoberto Oliveira
 
Guia sobre análise de dados e aprendizado de máquina para CIO.
Guia sobre análise de dados e aprendizado de máquina para CIO.Guia sobre análise de dados e aprendizado de máquina para CIO.
Guia sobre análise de dados e aprendizado de máquina para CIO.Lucas Modesto
 
Apostila sobre Big Data
Apostila sobre Big DataApostila sobre Big Data
Apostila sobre Big DataFernando Palma
 
Mma playbook-bigdata 2018-pt
Mma playbook-bigdata 2018-ptMma playbook-bigdata 2018-pt
Mma playbook-bigdata 2018-ptHandsMobile
 
Analisando qual região mais fala sobre política no Twitter utilizando a arqui...
Analisando qual região mais fala sobre política no Twitter utilizando a arqui...Analisando qual região mais fala sobre política no Twitter utilizando a arqui...
Analisando qual região mais fala sobre política no Twitter utilizando a arqui...Juan Felipe dos Reis Barbosa
 
Um novo "ABC" das TICs: (A)nalytics + (B)ig Data + (C)loud Computing
Um novo "ABC" das TICs: (A)nalytics + (B)ig Data + (C)loud ComputingUm novo "ABC" das TICs: (A)nalytics + (B)ig Data + (C)loud Computing
Um novo "ABC" das TICs: (A)nalytics + (B)ig Data + (C)loud ComputingJosé Carlos Cavalcanti
 
1º Seminário CICTEC - Um Novo ABC das TICs - José Carlos Cavalcanti 22 05 13
1º Seminário CICTEC - Um Novo ABC das TICs - José Carlos Cavalcanti 22 05 131º Seminário CICTEC - Um Novo ABC das TICs - José Carlos Cavalcanti 22 05 13
1º Seminário CICTEC - Um Novo ABC das TICs - José Carlos Cavalcanti 22 05 13cictec
 
Big Data e Data Science - Tecnologia e Mercado
Big Data e Data Science - Tecnologia e MercadoBig Data e Data Science - Tecnologia e Mercado
Big Data e Data Science - Tecnologia e MercadoHélio Silva
 
Futurecom - Big data
Futurecom - Big dataFuturecom - Big data
Futurecom - Big dataFelipe Ferraz
 

Semelhante a Artigo big data_final (20)

BigData-Hekima-Ebook.pdf
BigData-Hekima-Ebook.pdfBigData-Hekima-Ebook.pdf
BigData-Hekima-Ebook.pdf
 
A20 paper - perfil business intelligence - big data e fast data
A20   paper - perfil business intelligence - big data e fast dataA20   paper - perfil business intelligence - big data e fast data
A20 paper - perfil business intelligence - big data e fast data
 
A20 paper - perfil business intelligence - big data e fast data
A20   paper - perfil business intelligence - big data e fast dataA20   paper - perfil business intelligence - big data e fast data
A20 paper - perfil business intelligence - big data e fast data
 
Big data
Big dataBig data
Big data
 
Palestra do BI ao Big Data
Palestra do BI ao Big DataPalestra do BI ao Big Data
Palestra do BI ao Big Data
 
Desmistificando o Big Data
Desmistificando o Big DataDesmistificando o Big Data
Desmistificando o Big Data
 
Tendências de inovações para a tecnologia de big data
Tendências de inovações para a tecnologia de big dataTendências de inovações para a tecnologia de big data
Tendências de inovações para a tecnologia de big data
 
The big data theory sap spectrum
The big data theory   sap spectrumThe big data theory   sap spectrum
The big data theory sap spectrum
 
9 motivos para aprender small data
9 motivos para aprender small data9 motivos para aprender small data
9 motivos para aprender small data
 
Guia sobre análise de dados e aprendizado de máquina para CIO.
Guia sobre análise de dados e aprendizado de máquina para CIO.Guia sobre análise de dados e aprendizado de máquina para CIO.
Guia sobre análise de dados e aprendizado de máquina para CIO.
 
Apostila sobre Big Data
Apostila sobre Big DataApostila sobre Big Data
Apostila sobre Big Data
 
Será Mesmo o Cientista de Dados a Profissão do Futuro?
Será Mesmo o Cientista de Dados a Profissão do Futuro?Será Mesmo o Cientista de Dados a Profissão do Futuro?
Será Mesmo o Cientista de Dados a Profissão do Futuro?
 
Mma playbook-bigdata 2018-pt
Mma playbook-bigdata 2018-ptMma playbook-bigdata 2018-pt
Mma playbook-bigdata 2018-pt
 
Analisando qual região mais fala sobre política no Twitter utilizando a arqui...
Analisando qual região mais fala sobre política no Twitter utilizando a arqui...Analisando qual região mais fala sobre política no Twitter utilizando a arqui...
Analisando qual região mais fala sobre política no Twitter utilizando a arqui...
 
Um novo "ABC" das TICs: (A)nalytics + (B)ig Data + (C)loud Computing
Um novo "ABC" das TICs: (A)nalytics + (B)ig Data + (C)loud ComputingUm novo "ABC" das TICs: (A)nalytics + (B)ig Data + (C)loud Computing
Um novo "ABC" das TICs: (A)nalytics + (B)ig Data + (C)loud Computing
 
1º Seminário CICTEC - Um Novo ABC das TICs - José Carlos Cavalcanti 22 05 13
1º Seminário CICTEC - Um Novo ABC das TICs - José Carlos Cavalcanti 22 05 131º Seminário CICTEC - Um Novo ABC das TICs - José Carlos Cavalcanti 22 05 13
1º Seminário CICTEC - Um Novo ABC das TICs - José Carlos Cavalcanti 22 05 13
 
Big Data e Data Science - Tecnologia e Mercado
Big Data e Data Science - Tecnologia e MercadoBig Data e Data Science - Tecnologia e Mercado
Big Data e Data Science - Tecnologia e Mercado
 
Futurecom - Big data
Futurecom - Big dataFuturecom - Big data
Futurecom - Big data
 
Big Data
Big DataBig Data
Big Data
 
Big Data
Big DataBig Data
Big Data
 

Artigo big data_final

  • 1. O FUTURO ESTA NOS DADOS Alexandra Alcântara da Silva* Fernando Santos** RESUMO Neste artigo será abordado um assunto que está sendo comentada pelo mundo Business e pela internet, ‘grande volume de dados’, sua importância, dificuldades e como poderá ser solucionado. Hoje a informação é muito mais importante que algo material, dados custa caro e representam para as empresas um excelente acervo estratégico para diversas áreas de negócios. Em 2013 está previsto que os dados devem dobrar e em 2015 esses dados irão triplicar ficando assim difícil de gerencia-los. Nesse trabalho iremos apresentar uma solução para isso, uma tecnologia de monitoramento chamada Big Data e a utilização das ferramentas como Hadoop, MapReduce e InfoSphere para extração dessas informações. Primeira etapa desse processo é coletar os dados através de um meio de rede social como é o caso do Twitter, podendo assim fazer essa coleta de informações, buscando por palavras chaves que formarão uma rede de características e dados para se conseguir uma resposta final. O Hadoop junto com o InfoSphere da IBM faz com que esses dados sejam coletados e dê um retorno para melhores investimentos. O controle desses dados será de suma importância para lucros futuros. Palavras-chave: Analise de dados; Grande volume de dados; Big Data; Mapeamento de dados. 1. INTRODUÇÂO Tratar de grandes volumes de dados e gerenciamento do mesmo sempre foi um desafio para o mundo dos negócios, porém hoje a tecnologia tem tido grandes avanços em relação a esses problemas. Na bolsa de valores, dados, que podem chegar a mais de um Tera por ano, faz com que o gerenciamento fique difícil de ser extraído e organizado, ou em outros casos como saber qual a melhor cotação e o histórico de empresas que estão com ações em alta. Como coletar dados tão imensos para poder ter um retorno de negocio mais seguro? E o que as empresas que trabalham com a bolsa ou outros negócios estão fazendo? Apresentamos o Big Data que é visto como uma arma contra os problemas socioeconômicos. Na teoria é um conjunto de soluções tecnológicas, capaz de lidar com *Graduada em Sistema de Informação na Faculdade Joaquim Nabuco, Analista de Sistema da Apevisa email: alexandrasilva27@gmail.com **Graduado em Sistema de Informação na Faculdade Joaquim Nabuco, Analista de Suporte, email: fernandosantosinf@gmail.com
  • 2. 2 dados digitais em volume, variedade e velocidade. Essa é a nova sensação do momento ‘Grandes Dados’ que quando são coletados dão um retorno inteligente com maior rapidez. Bem como a computação em nuvem hoje tem tido uma evolução e as empresas estão investindo pesado nela e o conceito de Big Data trabalhado em cima de Cloud Computer, portanto tornando maior a busca por essa técnica. Difundindo fortemente nas organizações, que podem ter acesso e controle dos seus dados em qualquer lugar do mundo, a computação em nuvem junto com a técnica de mapeamento colabora para um crescimento devastador da utilização desse novo meio de ‘Business Intelligence’. O objetivo desse artigo é mostrar técnicas e ferramentas para extração desses grandes dados, dando como exemplo a bolsa de valores, que possui um grande volume de informações relacionado a cotações e modificações das mesmas, extraindo-as de forma inteligente e rápida, com isso armazenando, gerenciando e processando essa grande massa de dados. O artigo está organizado da seguinte forma, inicialmente será abordado os grandes volumes de dados e o mercado no tópico 2 em seguida será tratado o futuro dessa técnica no 2.1 Big Data e o Futuro, no 2.2 Companies e os Dados trata o que o mundo empresarial anda fazendo com a utilização do Big Data, no 2.3 Mapeando e cruzando resultados e por fim o 3.0 as Considerações finais. 2. GRANDES VOLUMES DE DADOS E O MERCADO Já pensou uma situação onde dados de uma loja virtual que vende tanto para o Brasil como para o exterior, rodando numa plataforma que não suporte nem metade das informações contida em seu banco de dados, e ainda seu retorno e extração deveria ser em tempo real? Há alguns anos atrás o mercado sofria com essas situações apesar de que seu volume de dados não era tão imenso como é hoje, pesquisas feitas relatam que a cada dois anos o volume de dados dobra. Uma dessas pesquisas foi feita por Anderson Figueiredo analista da IDC Brasil, prevendo que esse ano será gerados 2,7 zettabytes de informações, esse numero subirá para oito zettabytes em 2015. Com tantas informações para serem gerenciadas as empresas terão que buscar um modo de lhe dar com essa montanha de informações e coletar apenas os dados de valor para os negócios, infelizmente esse pesquisa ainda afirma que 51% das empresas não adotaram nenhum
  • 3. 3 tipo de ferramenta para resolver esse problema. Outro estudo foi feito recentemente pela Oracle informavam que a falta de controle de dados faz as empresas perderem em média 14% de seu faturamento. Um bom exemplo mesmo é a bolsa de valores que antigamente, mesmo possuindo grandes dados, fazia suas transações de negócios na própria bolsa, em cada cidade de todos os pais, o famoso pregão viva-voz. Hoje essas transações são cada vez mais realizadas em tempo real. O mercado está cada dia mais consciente que informação é tudo para os negócios, investir em dados está dando a muitas empresas grandes retorno financeiro e a visão de como interagir com esses dados tirando proveito dos mesmos. Hoje as corretoras se organizam e possuem ferramentas que tem o objetivo de gerenciar e retornar dados que darão um norte aqueles que pretendem investir. ‘Gerenciar grandes volumes de dados com eficiência e inteligência pode ser possível com novas tecnologias de mineração. - Big Data é um grande negocio?’. Titulo de um artigo tirado da ComputerWorld EUA feito por Stacy Collet (em 02 de Setembro de 2011,s/d) que retrata se o Big Data é viável ou não. Abaixo a Figura 01 tirada do site visual.ly mostra como o Big Data pode mapear grande informações e apresenta-los de forma simples ao mundo. Figura 01: Gráficos e imagens do site visual.ly mostra como Big Data pode dar retorno através de dados sobre o nicho de mercado. – EUA – 2012.
  • 4. 4 FONTE: VISUAL. LY – 2012. O Business Intelligence já era bem chamativo para o setor de analise de dados e negócios quando o Big Data apareceu se mostrando bem mais atrativo e rápido para as respostas, que necessitavam de maior precisão em seu retorno. Hoje no século 21 “Inteligência de Negócio” é o carro chefe tanto para o mundo Business como para o mundo de TI. Na feira CeBit na Alemanha desse ano o Big Data foi mostrado como o mais novo meio de pesquisa de negócios, como no filme Moneyball com Brad Pitt onde ele usa ferramentas e o conceito do Big Data para coletar dados com o objetivo de formar o melhor time de beisebol, assim popularizando a ideia. Sobre a aplicação para extração de dados na bolsa de valores, não foi utilizado até o momento, porém em breve será um chamativo. 2.1 Big Data e o Futuro Recentemente foi anunciado que o Big Data seria utilizado na copa do mundo de 2014, essa noticia mostra como o método de extração e analise de dados, esta cada vez mais tomando espaço no mercado, Marcelo Leite, diretor de produtos da BT para a América Latina explica em seu artigo postado no Portal da BT a metodologia que pode prever os negócios. Também usado nos jogos olímpicos o método está crescendo cada vez mais, a empresa SAS no Brasil está focando a ideia como uma nova corrida do ouro. Mas o Big Data não só serve para os negócios, o meio ambiente mesmo está tendo seus privilégios também, empresas como a OPower que tem a proposta de ser capaz de economizar um terawatt hora de energia, que é o equivalente à energia consumida por 100.000 lares americanos por ano até o final de 2012. O Big Data está crescendo tanto que a EMC promove escola de verão em Big Data no Rio de Janeiro e a SAP seleciona estudantes para programa de estágio no Sul do País. Hoje a busca por cientista de dados esta imensa, salários altíssimos para esses profissionais. Em reportagem do jornal O Globo, o executivo de operações da EMC, Pat Gelsinger, afirmou que o mercado global de Big Data já movimenta US$ 70 bilhões por ano, e a tendência é que tenha um crescimento de quase 40% até 2015. (DARROW, 2012, s/p)
  • 5. 5 Muitas novas ferramentas foram criadas para à utilização desses métodos de análise de grandes dados, no Vale do Silício uma empresa chamada de Cloudera lançou um projeto de código aberto chamado Broca, que procura imitar a eficaz ferramenta de análise de dados construído pelo Google que usa a metodologia do Big Data. 2.2 Companies e os Dados Como foi dito anteriormente o acúmulo de dados tem sido imenso de uns tempos para cá e em 2012 esse volume absurdamente cresceu. Com estudos e pesquisa de que isso seria um problema empresas como Yahoo, Amazon, Intel, IBM e outros se dedicaram a essa solução, tanto para aumento financeiro como inovação de mercado. A Amazon que oferece um conjunto de serviços baseados em Cloud Computing como o seu Amazon Web Services (AWS) e Amazon Elastic MapReduce, torna mais fácil e econômico aos clientes extrair e processar informações de grandes volumes de dados, volume esse que é através do AWS, tem a análise de mapeamento de genoma, análise de dados de serviços financeiros e análise de logs da web entre outros. Abaixo matéria tirada da ComputerWorld Blakeley arquiteto da Mazda mostra os investimentos dessa técnica. A Mazda Motor Corp, que possui 900 revendedores e 800 funcionários nos EUA, gerencia cerca de 90 terabytes de dados. O arquiteto de infraestrutura das operações da Mazda na América do Norte, Barry Blakeley, diz que as unidades de negócios e os revendedores estão gerando quantidades cada vez maiores de arquivos de dados analíticos, materiais de marketing, bases de dados para inteligência de negócios, dados do Microsoft SharePoint e muito mais. "Temos tudo virtualizados, incluindo o armazenamento", afirma Blakeley. (BRANDON,2011, s/p) Derrick Harrys escreveu no site Gigaom.com que recentemente o Yahoo e o Facebook investiram na analise de grande dados e adotaram um serviço em uma nova plataforma chamada Continuuity, sendo em nuvem é um ambiente de desenvolvimento em tempo de execução que fica em cima da infraestrutura do Hadoop e abstrai a complexidade de escrever apps. Abaixo a Figura 02 mostra a interface dessa ferramenta que tem como objetivo extrair grandes informações geradas por essas redes sociais.
  • 6. 6 Figura 02: Face do sistema Continuuity – EUA – 2012. FONTE: CONTINUUITY – 2012. Mas é a IBM que está investindo pesado, já tem a Web Site Educacional Big Data University com direito a vídeo aulas, material, downloads das ferramentas e certificações, mostrando como o Big Data Funciona e as ferramentas utilizadas. A buscar por grandes dados de forma organizada estão aumentando cada vez mais entre as empresas, como é o caso da Terada, HP, Walmart, Google e muitos outros gigantes que estão aproveitando essa febre. 2.3 Mapeando e cruzando resultados Tanto o BigSheets, Hadoop e o MapReduce são excelentes ferramentas utilizadas para o levantamento de grandes dados , usaremos o Hadoop na plataforma Cloudera um sistema operacional Linux para os estudos do mapeamento. As cotações da bolsa são gigantescas, precisando muitas vezes ser simples de ser analisada, o Big Data já foi recomendando para ser utilizado na área de cotações da bolsa, mas por falta de profissionais na área encontrasse só em especulações. Ao iniciarmos o Cloudera vamos para o Hadoop e fazemos uma busca organizada por esses valores colocando palavras chaves como ‘compra’ e ‘alta’, retornando com isso algumas informações que ainda pode ser peneirada para um melhor
  • 7. 7 entendimento. No caso do BigSheets essas respostas são bem mais rápidas e eficientes buscando através do twitter ou facebook dados estatísticos para ser aplicado no negocio. Um dos módulos interessantes das ferramentas do Big data é o bubble chart ‘gráfico de bolhas’ ele mostra de uma forma bem macro todas as informações desejadas e uma visão de como será aplicadas, pode passar o mouse sobre cada bolha para ver o que os projetos têm e quanto eles valem. Abaixo um exemplo do bubble chart é a Figura 03, que mostra resultados obtidos através do BigSheets sobre educação e os professores nos EUA. Figura 03: bubble chart sobre educação e professores nos EUA – 2009. FONTE: OUSEFUL.INFO – 2009. Depois de ter utilizado algumas ferramentas e as técnicas de mapeamento citadas, pode-se observar que houve uma grande busca pela empresa de logística LLX em novembro de 2012, que teve um ótimo desempenho e aumento de acionista, outras empresas do setor de energia teve várias buscas também, retornando assim informações de forma prática e rápida. Através desses comentários tanto dos que trabalham na área como os que são investidores assíduos, pode-se com isso ter retornado aos leigos ou aqueles que desejam essas informações, uma orientação em quem ou o que investir. 3 CONSIDERAÇÕES FINAIS Os conceitos vistos para a elaboração desse trabalho foram técnica de mapeamento de análises, as ferramentas open source usadas nesse processo, como o
  • 8. 8 meio empresarial está aceitando a ideia e qual as vantagens que essa nova metodologia está trazendo para os negócios, tornando assim mais fácil a buscar por informações. Os resultados encontrados através da busca feita pelas ferramentas que rodam o Hadoop em sua plataforma trouxeram em formas de gráficos e números dados que antes não tinham um retorno tão direto e tão rápido, utilizado anteriormente pelas ferramentas Business Intelligence. Mesmo essa técnica sendo nova existe muitas empresas que estão começando a buscar informações sobre o Big Data e o valor que os dados têm para os negócios, fazendo com que seja fácil disseminar essa ideia tanto no Brasil como em outros países. A Bolsa de Valores ainda é uma área de negócios que está madura em relação à ‘Grandes Dados’, porém futuramente terá um ótimo rendimento quando começar a utilizar essa técnica para buscar informações em relação a cotações do dia, fazendo uma avaliação de simples palavras, cruzando assim dados e disponibilizando informações sobre qual empresa será mais viável para investir e uma previsão sobre o futuro de alguns investimentos. O Big Data se for usado de maneira correta, permite também aos analistas identificar tendências e dá ideias de nicho que ajudam a criar valor e inovações muito mais rápido do que os métodos convencionais. REFERÊNCIAS BIBLIOGRÁFICAS Autor não informado. Big Data na Copa do Mundo de 2014.Disponível em: http://letstalk.globalservices.bt.com/pt/2012/09/big-data-na-copa-do-mundo-de-2014 Acesso em: 03 Setembro 2012. BRANDON, JOHN, Confira técnicas para vencer o desafio de gerenciar Big Data, Disponível em: computerworld.uol.com.br/tecnologia/2011/10/13/confira-tecnicas-para- vencer-o-desafio-de-gerenciar-big-data, Acesso em: 14 de Outubro de 2011. COLLET, STACY. Big Data: é um grande negócio? Disponível em: http://computerworld.uol.com.br/tecnologia/2011/09/02/big-data-e-um-g. Acesso em: 02 de Setembro de 2011. CONTINUUITY, Figura 02, Face do sistema Continuuity, Fonte: www.continuuity.com/technology. DARROW, BARB, Amazon Launches home-grown NoSQL database, Disponível em: http://gigaom.com/cloud/amazon-launches-home-grown-nosql-database, Acesso em: 18 de Janeiro de 2012.
  • 9. 9 FIGUEIREDO, ANDERSON. Big Data: volume de dados no mundo crescerá 60% em 2012. Disponível em: http://cio.uol.com.br/tecnologia/2012/05/27/big-data-volume-de- dados-no-mundo-crescera-60-em-2012. Acesso em: 27 de Maio de 2012. HARRYS, DERRICK. Ex-Yahoo e Facebook big data vets do Hadoop for developer, Disponível em: http://gigaom.com/data/ex-yahoo-facebook-big-data-vets-launch-paas- for-hadoop, Acesso em: 23 de Outubro de 2012. OUSEFUL, Figura 03, Burble Chat, Fonte: http://blog.ouseful.info/2009/02/27/simple- embeddable-twitter-map-mashup. VISUAL. LY, Figura01, Gráfico Big Data, Fonte: http://visual.ly/big-data.
  • 10. 9 FIGUEIREDO, ANDERSON. Big Data: volume de dados no mundo crescerá 60% em 2012. Disponível em: http://cio.uol.com.br/tecnologia/2012/05/27/big-data-volume-de- dados-no-mundo-crescera-60-em-2012. Acesso em: 27 de Maio de 2012. HARRYS, DERRICK. Ex-Yahoo e Facebook big data vets do Hadoop for developer, Disponível em: http://gigaom.com/data/ex-yahoo-facebook-big-data-vets-launch-paas- for-hadoop, Acesso em: 23 de Outubro de 2012. OUSEFUL, Figura 03, Burble Chat, Fonte: http://blog.ouseful.info/2009/02/27/simple- embeddable-twitter-map-mashup. VISUAL. LY, Figura01, Gráfico Big Data, Fonte: http://visual.ly/big-data.