Big Data está se tornando cada vez mais importante à medida que a quantidade de dados gerados aumenta exponencialmente. O documento discute os conceitos de Big Data, suas aplicações em diversas áreas como saúde, varejo e meio ambiente, e as habilidades necessárias para trabalhar com Big Data, como banco de dados, programação e design. O documento também fornece exemplos de como empresas e governos estão usando Big Data hoje para melhorar os negócios e a sociedade.
Environments for access to government data, via Information Technologies and Communications, may expand possibilities for citizen monitoring, providing feedback for future demands. The objective of this study is to present a proposal for a multidimensional model that allows creation of different access points to unique government's data set, using the Data Warehouse concept, anticipating future data access demands. As a theoretical and methodological references, the text uses the concepts Business Intelligence and Intelligence Citizen. As a result, was elaborated a model proposal with nine dimensions from the query 'Detalhamento Diário das Despesas', available on the Portal de Transparência do Governo Federal website.
More at: http://elleth.org
Governança de Dados para BI, em tempos de Self-Service BIClaudio Bonel
Nesta palestra apresentamos o designing de soluções de BI e de Self-Service BI, contextualizando a governança de dados com tecnologias Microsoft (SQL Server DB, SS Integration Services, SQL Server Analysis Services e Power BI)
Detecção de Fraudes em Licitações Usando Batch Analytics com WSO2WSO2
O WSO2 Data Analytics Server é a plataforma de Big Data ideal para criar Data Lakes (lagos de dados) públicos que suportam grandes volumes de dados em variados formatos para realizar processamento e análises em alta velocidade, veracidade e valor para o negócio.
Nesta apresentação veremos um caso real onde milhares de documentos textuais de licitações que somam 1 milhão de páginas foram capturados, processados com OCR, indexados textualmente e armazenados na implementação de Hadoop do WSO2 DAS para criar análises ricas de indícios de direcionamento ou de não conformidade de processos licitatórios utilizando consultas com Lucene e Apache Spark a partir de trilhas de auditoria e regras de negócio bem definidas, em um ambiente onde todas estas ferramentas operam integradas na suite analítica da WSO2.
Tópicos:
Rápida introdução da Arquitetura do WSO2 DAS
Rápida introdução da Arquitetura do Caso Real
Apresentação do Caso Real
Outras aplicações do WSO2 DAS para a Gestão Pública
Environments for access to government data, via Information Technologies and Communications, may expand possibilities for citizen monitoring, providing feedback for future demands. The objective of this study is to present a proposal for a multidimensional model that allows creation of different access points to unique government's data set, using the Data Warehouse concept, anticipating future data access demands. As a theoretical and methodological references, the text uses the concepts Business Intelligence and Intelligence Citizen. As a result, was elaborated a model proposal with nine dimensions from the query 'Detalhamento Diário das Despesas', available on the Portal de Transparência do Governo Federal website.
More at: http://elleth.org
Governança de Dados para BI, em tempos de Self-Service BIClaudio Bonel
Nesta palestra apresentamos o designing de soluções de BI e de Self-Service BI, contextualizando a governança de dados com tecnologias Microsoft (SQL Server DB, SS Integration Services, SQL Server Analysis Services e Power BI)
Detecção de Fraudes em Licitações Usando Batch Analytics com WSO2WSO2
O WSO2 Data Analytics Server é a plataforma de Big Data ideal para criar Data Lakes (lagos de dados) públicos que suportam grandes volumes de dados em variados formatos para realizar processamento e análises em alta velocidade, veracidade e valor para o negócio.
Nesta apresentação veremos um caso real onde milhares de documentos textuais de licitações que somam 1 milhão de páginas foram capturados, processados com OCR, indexados textualmente e armazenados na implementação de Hadoop do WSO2 DAS para criar análises ricas de indícios de direcionamento ou de não conformidade de processos licitatórios utilizando consultas com Lucene e Apache Spark a partir de trilhas de auditoria e regras de negócio bem definidas, em um ambiente onde todas estas ferramentas operam integradas na suite analítica da WSO2.
Tópicos:
Rápida introdução da Arquitetura do WSO2 DAS
Rápida introdução da Arquitetura do Caso Real
Apresentação do Caso Real
Outras aplicações do WSO2 DAS para a Gestão Pública
breve abordagem sobre a importância do bigdata, grandes armazens de dados.
apresentado nas 2ª jornadas tecnologicas do CINFOTEC, em alusão ao seu 5º aniversário.
Aula Magna Sobre BI & BigData na UNIA, Luanda - Angolaalexculpado
Breve abordagem sobre o que é, o presente e o futuro do BI (Business Intelligence) o que nos remete a uma breve abordagem sobre o que vem a ser o BIGDATA e suas aplicações na sociedade. Mostrando algumas limitações exixtentes na BI tradicional. Tratou-se de uma aula magna com estudantes da UNIA- Univesidade Independente de Angola.
Artigo Científico apresentado à Faculdade de Tecnologia da Zona Sul – Fatec-ZS como exigência parcial para a obtenção do título de Tecnólogo em Informática para Gestão de Negócios.
Orientador: Prof. Alex Macedo de Araujo.
Como o mercado global está aprendendo a ler os valor dos insights tendo como retorno a melhor prática nos negócios e como os consumidores estão imersos no contexto.
breve abordagem sobre a importância do bigdata, grandes armazens de dados.
apresentado nas 2ª jornadas tecnologicas do CINFOTEC, em alusão ao seu 5º aniversário.
Aula Magna Sobre BI & BigData na UNIA, Luanda - Angolaalexculpado
Breve abordagem sobre o que é, o presente e o futuro do BI (Business Intelligence) o que nos remete a uma breve abordagem sobre o que vem a ser o BIGDATA e suas aplicações na sociedade. Mostrando algumas limitações exixtentes na BI tradicional. Tratou-se de uma aula magna com estudantes da UNIA- Univesidade Independente de Angola.
Artigo Científico apresentado à Faculdade de Tecnologia da Zona Sul – Fatec-ZS como exigência parcial para a obtenção do título de Tecnólogo em Informática para Gestão de Negócios.
Orientador: Prof. Alex Macedo de Araujo.
Como o mercado global está aprendendo a ler os valor dos insights tendo como retorno a melhor prática nos negócios e como os consumidores estão imersos no contexto.
6. 6
Histórico
◇ NASA, anos 90
◇ Dados complexos
◇ Desafio aos limites computacionais
■ Captura
■ Processamento
■ Análise
■ Armazenamento
7. 7
Definições
“Conjuntos de dados extremamente amplos e que, por
este motivo, necessitam de ferramentas especialmente
preparadas para lidar com grandes volumes, de forma
que toda e qualquer informação nestes meios possa ser
encontrada, analisada e aproveitada em tempo hábil.”
[ALECRIM,2013]
9. 9
Definições
“Análise de grandes quantidades de dados para a
geração de resultados importantes que, em volumes
menores, dificilmente seriam alcançados.”
[ALECRIM,2013]
11. 11
Big Data v.s. BI
◇ Orientação temporal: Big Data em tempo real
◇ Orientação analítica:
■ BI é baseado em fatores pré-estabelecidos.
O quê? Quanto? Quando? Onde?
■ Big Data tem algoritmos preditivos e
prescritivos. Por quê? E se? O que
acontecerá? Como otimizar?
12. Produção e Tráfego
de Dados
Vários múltiplos de “bytes” que não consigo mensurar
2
12
18. Big Data, por quê?
Qual a utilidade disso tudo?
3
18
19. Motivação
◇ Como tratar estes dados?
◇ Informação é dinheiro!
◇ 1kg de ferro (R$ 3,81) vs. 1kg de satélite (U$$ 50.000)
◇ Usar informações como ativos empresariais
19
20. Objetivo
Ter, a partir da análise de dados em massa,
informações valiosas sobre o que se analisa.
20
24. Bancos de Dados
◇ NoSQL
◇ Padrão BASE
◇ Elasticidade
◇ Disponibilidade
◇ Estruturas não definidas
24
25. Programação
◇ Tratamento de dados
◇ Aplicações de Business Inteligence
◇ Inteligência Artificial/Machine Learning
◇ Exploração de conexões entre dados
25
26. Design
◇ Dados com valor para o negócio
◇ Facilidade na visualização de
informações
26
27. Gestão
◇ Finalidade do Big Data
◇ Informações são bens
◇ Auxílio na tomada de decisão
◇ Valorização da TI como ferramenta de
sucesso
27
29. Saúde
◇ IBM Watson indica os melhores tratamentos para câncer
◇ MIT, Universidade de Michigan, Escola de Medicina de
Harvard e Hospital Brigham desenvolveram app para
indicar possibilidade de ataques cardíacos
◇ A Merck usa big data para identificar padrões que
ajudam no desenvolvimento de vacinas
29
30. Varejo
◇ Recursos como “outros compraram” e recomendações
◇ A Danone vem usando tecnologias da IBM para
organizar o fornecimento de seus produtos nos EUA
◇ Macy's reduziu de 27h para 1h o tempo necessário para
rever o preço dos produtos à venda na rede de lojas
◇ Walmart usa dados de sensores, redes sociais e outras
fontes para entender o consumidor e atendê-lo melhor
30
32. Meio Ambiente e
Ciência
◇ Sensores em Birmingham medem índices que ajudam na
previsão do tempo
◇ O MIT convidou moradores de Seattle a etiquetarem o
lixo para estudo de logística
◇ O CERN, laboratório suíço que estuda a origem do
universo e outros temas, conta com 65 mil processadores
que analisam 30 petabytes de dados por ano
32
33. Política
◇ No Rio de Janeiro, o Centro de Operações reúne dados
recolhidos por câmeras e outros suportes a fim de
mapear a cidade e apontar locais com problemas - que
são repassados a 30 órgãos públicos que podem
solucioná-los
◇ Nas eleições de 2012, Barack Obama recolheu por 18
meses dados sobre seus eleitores na internet, visando
compreender os interesses e preocupações deles
33
34. Economia
◇ A Mattermark e a Bloomberg usam um mecanismo para
prever quem está mais propenso a abrir uma pequena
empresa num grupo de 1,5 milhão de pessoas que vive
nas proximidades de Nova York
◇ O Bank of America registrou um ganho de produtividade e
economizou cerca 15 milhões de dólares após descobrir
que funcionários que conversavam mais atendiam mais
rapidamente
34
35. Segurança
◇ Em parceria com a Accenture, uma operadora brasileira
desenvolveu um sistema que usa a localização de
smartphones para inibir fraudes em compras com cartão
◇ Governo USA: análise de redes sociais, redes telefônicas e
redes de transmissão de dados, buscando padrões e
palavras-chave de “interesse”. Mensagens
“interessantes” passam por uma análise mais detalhada
ou análise humana
35
36. Esporte
◇ A NBA fez um acordo com a SAP e a Stats LLC para
oferecer aos telespectadores estatísticas detalhadas dos
times e jogadores do esporte
◇ A Seleção Alemã usou a Match Insights, que processa as
informações geradas em uma partida ou na preparação
para avaliar situações de jogo e indicar treinamentos
36
38. ◇ Tecnologias diversas trabalhando em conjunto para
criar soluções cognitivas
◇ APIs, Serviços de análise, processamento, machine
learning, predição, interação humano-computador...
38