Este documento fornece um resumo sobre Big Data, abordando sua motivação, conceitos, aplicações e tecnologias. Discutem-se os desafios do volume, variedade e velocidade dos dados, além de dois novos Vs: veracidade e valor. Apresentam-se exemplos de aplicações em empresas como Facebook e soluções como MapReduce, Hadoop e bancos de dados em memória.
O documento discute as técnicas e tecnologias envolvidas em Big Data, incluindo MapReduce, Hadoop, HDFS, HBase, Mahout e como essas ferramentas podem ser usadas para analisar grandes volumes de dados não estruturados de redes sociais e outras fontes.
O documento descreve um curso de especialização em arquitetura de nuvem com foco em big data oferecido em setembro de 2014. O curso terá 4 dias de duração cobrindo tópicos como apresentação e conceitos de big data, infraestrutura para big data, análise de big data e tendências futuras. O primeiro dia incluirá uma apresentação da disciplina e conceitos introdutórios sobre big data.
O documento apresenta os conceitos e desafios do Big Data, discutindo como os dados estão crescendo exponencialmente em volume, velocidade e variedade. Aprensenta as tecnologias necessárias para armazenar, processar e analisar grandes volumes de dados, incluindo MapReduce, NoSQL, aprendizado de máquina e computação em nuvem. Discutem os desafios de lidar com os 6 V's do Big Data e a necessidade de novas abordagens para extrair valor destes dados.
BigData, Datamining e NoSql - A Combinação PerfeitaFranklin Dias
O documento discute como a combinação de Big Data, Data Mining e bancos de dados NoSQL podem ser usados para extrair informações valiosas de grandes volumes de dados não estruturados. Ele explica como essas tecnologias foram usadas com sucesso em casos como o Google e a Embrapa e compara o desempenho de bancos de dados relacionais e NoSQL.
O documento apresenta os conceitos de Big Data e NoSQL. Define Big Data como a análise de grandes quantidades de dados estruturados e não estruturados para gerar novas informações. Apresenta os 5 Vs que caracterizam o Big Data (Volume, Variedade, Velocidade, Veracidade e Valor) e explica porque os bancos tradicionais não são adequados para lidar com Big Data. Resume também o que é NoSQL, apresentando alguns de seus tipos de armazenamento como alternativa aos bancos relacionais para lidar com a necessidade de escalabilidade
O documento discute o tema de Big Data, definindo-o como grandes volumes de dados de alta velocidade e variedade que exigem novas formas de processamento de baixo custo para percepção e tomada de decisão. As definições de Gartner, IBM e Forrester sobre Big Data são apresentadas, assim como exemplos de como empresas como Netflix, Amazon e Casas Bahia utilizam Big Data no marketing.
O documento discute as técnicas e tecnologias envolvidas em Big Data, incluindo MapReduce, Hadoop, HDFS, HBase, Mahout e como essas ferramentas podem ser usadas para analisar grandes volumes de dados não estruturados de redes sociais e outras fontes.
O documento descreve um curso de especialização em arquitetura de nuvem com foco em big data oferecido em setembro de 2014. O curso terá 4 dias de duração cobrindo tópicos como apresentação e conceitos de big data, infraestrutura para big data, análise de big data e tendências futuras. O primeiro dia incluirá uma apresentação da disciplina e conceitos introdutórios sobre big data.
O documento apresenta os conceitos e desafios do Big Data, discutindo como os dados estão crescendo exponencialmente em volume, velocidade e variedade. Aprensenta as tecnologias necessárias para armazenar, processar e analisar grandes volumes de dados, incluindo MapReduce, NoSQL, aprendizado de máquina e computação em nuvem. Discutem os desafios de lidar com os 6 V's do Big Data e a necessidade de novas abordagens para extrair valor destes dados.
BigData, Datamining e NoSql - A Combinação PerfeitaFranklin Dias
O documento discute como a combinação de Big Data, Data Mining e bancos de dados NoSQL podem ser usados para extrair informações valiosas de grandes volumes de dados não estruturados. Ele explica como essas tecnologias foram usadas com sucesso em casos como o Google e a Embrapa e compara o desempenho de bancos de dados relacionais e NoSQL.
O documento apresenta os conceitos de Big Data e NoSQL. Define Big Data como a análise de grandes quantidades de dados estruturados e não estruturados para gerar novas informações. Apresenta os 5 Vs que caracterizam o Big Data (Volume, Variedade, Velocidade, Veracidade e Valor) e explica porque os bancos tradicionais não são adequados para lidar com Big Data. Resume também o que é NoSQL, apresentando alguns de seus tipos de armazenamento como alternativa aos bancos relacionais para lidar com a necessidade de escalabilidade
O documento discute o tema de Big Data, definindo-o como grandes volumes de dados de alta velocidade e variedade que exigem novas formas de processamento de baixo custo para percepção e tomada de decisão. As definições de Gartner, IBM e Forrester sobre Big Data são apresentadas, assim como exemplos de como empresas como Netflix, Amazon e Casas Bahia utilizam Big Data no marketing.
O documento discute o conceito de Big Data e como a enorme quantidade de dados digitais gerados diariamente podem ser analisados para diferentes fins, como prever crimes, fazer negócios ou catalogar o cosmos. A geração exponencial de dados está ligada ao crescimento da internet, das redes sociais e dos dispositivos conectados. Empresas como a Amazon e o Walmart usam análises de Big Data em suas estratégias de negócios.
Gestão Ágil de Dados com Enterprise Data FabricDenodo
Watch full webinar here: https://bit.ly/3hkwgM7
Num mundo onde a aprendizagem automática e a inteligência artificial estão a mudar a nossa vida quotidiana, a transformação digital está no topo da agenda estratégica em muitas organizações privadas e governamentais. Os dados estão a tornar-se vitais nas empresas, para permitir percepções empresariais profundas, criar novas oportunidades, e optimizar as operações.
Os Chief Data Officers e os Data Architects estão sob pressão contínua para encontrar as melhores formas de gerir os volumes esmagadores de dados que tendem a tornar-se cada vez mais distribuídos e diversificados. A deslocação física dos dados para um único local para construção de relatórios e análises já não é uma opção - este é um facto aceite pela maioria dos profissionais de dados.
Junte-se a nós neste webinar para conhecer soluções de dados virtuais, incluindo:
- Virtual Data Fabric
- Data Mesh
- Arquitectura híbrida Multi-Cloud
e aprender como aproveitar a plataforma de Virtualização de Dados Denodo para implementar estas arquitecturas de dados modernas.
Big data é o conjunto de tecnologias para captura, armazenamento e análise de grandes volumes de dados de diversas fontes. Os principais desafios são a captura, curadoria, armazenamento, busca, compartilhamento, análise e visualização destes dados. Profissionais qualificados como cientistas de dados e administradores de big data são necessários para extrair insights valiosos destas informações.
Era da Informação e seus impactos na empresa e sociedadeAlex Silva
O documento discute como dados, informações e conhecimento são transformados na Era da Informação e como empresas como Walmart, Petrobrás e Lojas Renner usam dados para tomar decisões. Também discute a importância de cientistas de dados para analisar grandes volumes de dados.
O documento discute o poder da informação e Big Data. Apresenta Thiago Santiago e sua experiência com Hadoop e arquiteturas distribuídas. Discute conceitos como Big Data, Hadoop, MapReduce e como grandes empresas como Facebook, Netflix e Uber utilizam Hadoop.
O documento discute o Big Data, definindo-o como conjuntos de dados cujo tamanho ultrapassa a capacidade de processamento dos sistemas de banco de dados convencionais. Aborda as características do Big Data incluindo volume, variedade e velocidade de dados, além de discutir aplicações em diversas áreas como meteorologia, genômica e pesquisas na Internet. Também apresenta desafios e oportunidades do Big Data para empresas.
BIG DATA, O PODER DA INFORMAÇÃO, SEUS CASOS DE USO E PRINCIPAIS ARQUITETURAS.
Palestra sobre o poder da Informação e como os dados estão revolucionando o mundo. Quais os principais casos de uso dos gigantes de Telecom e E-Comerce, e arquiteturas que eles utilizam.
Visão sobre o encontro dos dois conceitos emergentes (Big Data e Governança de Dados), analisada à luz de modelos como DMBOK(Data management Association) e DMM(Data Management Maturity Model, do CMMI Institute).
O documento discute o conceito de Big Data, definindo-o como o foco em grandes volumes de dados e velocidades de processamento. Explora os 5 V's do Big Data (Velocidade, Volume, Variedade, Veracidade e Valor) e apresenta exemplos de como empresas usam Big Data para identificar padrões e tomar decisões mais rápidas. Finalmente, discute tecnologias como Hadoop usadas para armazenar e processar grandes volumes de dados distribuídos.
O documento discute o conceito de Big Data e como ele está transformando o mundo dos negócios. Apresenta casos de uso de Big Data em empresas como a Monsanto e a Prefeitura do Rio de Janeiro. Também discute como a análise de Big Data pode levar à novos modelos de negócios e profissões.
O documento discute Big Data, definindo-o como dados que possuem alto volume, velocidade e variedade. Detalha como a mídia tem relatado sobre Big Data e explica os 3Vs (Volume, Velocidade e Variedade). Também descreve os principais componentes tecnológicos de Big Data, incluindo bancos de dados, MapReduce, Hadoop e mineração de dados.
Palestra big data_e_mineracao_dedados_5agosto13-versaoslidesharepccdias
- O documento discute Big Data e Mineração de Dados, abordando o que é Big Data, sua infraestrutura e aplicações, e a pós-graduação em Banco de Dados e Mineração de Dados oferecida pela UniSEB.
O documento discute o conceito de Big Data, definindo-o como conjuntos extremamente grandes de dados que precisam de ferramentas especializadas para lidar com volumes e velocidades crescentes. Explica que o Big Data pode ser usado para inovação e tomada de decisão, e destaca o crescimento exponencial na geração de dados oriundo da internet e dispositivos móveis. Também aborda profissões emergentes e soluções tecnológicas para o armazenamento e análise de grandes volumes de dados.
O documento discute o conceito de Big Data, incluindo os 3 V's (Volume, Variedade e Velocidade) e mais 2 V's (Valor e Veracidade). Também aborda ferramentas como Hadoop, aplicações de Big Data, potencial e desafios de Big Data, além de conclusões e referências bibliográficas.
O que é BIG DATA e como pode influenciar nossas vidasElaine Naomi
O documento discute o Big Data, definido como conjuntos de dados difíceis de capturar, armazenar, analisar e visualizar com tecnologias atuais. Apresenta estatísticas sobre a quantidade de dados gerados diariamente e como empresas como Google, Facebook e Netflix usam a análise de Big Data. Também aborda possíveis aplicações em diagnósticos médicos, educação e matching de parceiros, bem como riscos à privacidade.
Plano de Gestão de Dados de investigação: estruturar, organizar e gerir dadosBiblioteca UBI
O PGD é um documento descritivo que abarca todas as fases do ciclo de vida dos dados de investigação. Nesta apresentação serão dadas a conhecer as várias tipologias de dados, as várias necessidades de planificação e organização antecipada, e diferentes opções de preservação, eliminação e partilha de dados.
O documento descreve as principais tecnologias de Big Data, incluindo Hadoop, MapReduce, HDFS e como empresas como Netflix, Uber e Facebook utilizam essas tecnologias para extrair insights valiosos de grandes volumes de dados.
Big Data e Data Science - Tecnologia e MercadoHélio Silva
1) O documento discute os conceitos de Big Data, Data Science e as tecnologias e mercado relacionados.
2) Grandes volumes de dados continuam a ser gerados diariamente pela internet e dispositivos conectados.
3) A análise de dados em larga escala requer novas abordagens de engenharia e armazenamento para lidar com a variedade e volume crescentes.
Hackathon Inmetrics e Fiap: Desafios do Big Datainmetrics
O documento discute os principais desafios do Big Data, incluindo volume, velocidade e variedade de dados, além de veracidade, valor e desafios arquiteturais e de implementação. É destacado que a variedade, e não o volume, será o maior desafio em 2015 e que a extração de valor é crucial para obter vantagem competitiva.
O documento discute o conceito de Big Data e como a enorme quantidade de dados digitais gerados diariamente podem ser analisados para diferentes fins, como prever crimes, fazer negócios ou catalogar o cosmos. A geração exponencial de dados está ligada ao crescimento da internet, das redes sociais e dos dispositivos conectados. Empresas como a Amazon e o Walmart usam análises de Big Data em suas estratégias de negócios.
Gestão Ágil de Dados com Enterprise Data FabricDenodo
Watch full webinar here: https://bit.ly/3hkwgM7
Num mundo onde a aprendizagem automática e a inteligência artificial estão a mudar a nossa vida quotidiana, a transformação digital está no topo da agenda estratégica em muitas organizações privadas e governamentais. Os dados estão a tornar-se vitais nas empresas, para permitir percepções empresariais profundas, criar novas oportunidades, e optimizar as operações.
Os Chief Data Officers e os Data Architects estão sob pressão contínua para encontrar as melhores formas de gerir os volumes esmagadores de dados que tendem a tornar-se cada vez mais distribuídos e diversificados. A deslocação física dos dados para um único local para construção de relatórios e análises já não é uma opção - este é um facto aceite pela maioria dos profissionais de dados.
Junte-se a nós neste webinar para conhecer soluções de dados virtuais, incluindo:
- Virtual Data Fabric
- Data Mesh
- Arquitectura híbrida Multi-Cloud
e aprender como aproveitar a plataforma de Virtualização de Dados Denodo para implementar estas arquitecturas de dados modernas.
Big data é o conjunto de tecnologias para captura, armazenamento e análise de grandes volumes de dados de diversas fontes. Os principais desafios são a captura, curadoria, armazenamento, busca, compartilhamento, análise e visualização destes dados. Profissionais qualificados como cientistas de dados e administradores de big data são necessários para extrair insights valiosos destas informações.
Era da Informação e seus impactos na empresa e sociedadeAlex Silva
O documento discute como dados, informações e conhecimento são transformados na Era da Informação e como empresas como Walmart, Petrobrás e Lojas Renner usam dados para tomar decisões. Também discute a importância de cientistas de dados para analisar grandes volumes de dados.
O documento discute o poder da informação e Big Data. Apresenta Thiago Santiago e sua experiência com Hadoop e arquiteturas distribuídas. Discute conceitos como Big Data, Hadoop, MapReduce e como grandes empresas como Facebook, Netflix e Uber utilizam Hadoop.
O documento discute o Big Data, definindo-o como conjuntos de dados cujo tamanho ultrapassa a capacidade de processamento dos sistemas de banco de dados convencionais. Aborda as características do Big Data incluindo volume, variedade e velocidade de dados, além de discutir aplicações em diversas áreas como meteorologia, genômica e pesquisas na Internet. Também apresenta desafios e oportunidades do Big Data para empresas.
BIG DATA, O PODER DA INFORMAÇÃO, SEUS CASOS DE USO E PRINCIPAIS ARQUITETURAS.
Palestra sobre o poder da Informação e como os dados estão revolucionando o mundo. Quais os principais casos de uso dos gigantes de Telecom e E-Comerce, e arquiteturas que eles utilizam.
Visão sobre o encontro dos dois conceitos emergentes (Big Data e Governança de Dados), analisada à luz de modelos como DMBOK(Data management Association) e DMM(Data Management Maturity Model, do CMMI Institute).
O documento discute o conceito de Big Data, definindo-o como o foco em grandes volumes de dados e velocidades de processamento. Explora os 5 V's do Big Data (Velocidade, Volume, Variedade, Veracidade e Valor) e apresenta exemplos de como empresas usam Big Data para identificar padrões e tomar decisões mais rápidas. Finalmente, discute tecnologias como Hadoop usadas para armazenar e processar grandes volumes de dados distribuídos.
O documento discute o conceito de Big Data e como ele está transformando o mundo dos negócios. Apresenta casos de uso de Big Data em empresas como a Monsanto e a Prefeitura do Rio de Janeiro. Também discute como a análise de Big Data pode levar à novos modelos de negócios e profissões.
O documento discute Big Data, definindo-o como dados que possuem alto volume, velocidade e variedade. Detalha como a mídia tem relatado sobre Big Data e explica os 3Vs (Volume, Velocidade e Variedade). Também descreve os principais componentes tecnológicos de Big Data, incluindo bancos de dados, MapReduce, Hadoop e mineração de dados.
Palestra big data_e_mineracao_dedados_5agosto13-versaoslidesharepccdias
- O documento discute Big Data e Mineração de Dados, abordando o que é Big Data, sua infraestrutura e aplicações, e a pós-graduação em Banco de Dados e Mineração de Dados oferecida pela UniSEB.
O documento discute o conceito de Big Data, definindo-o como conjuntos extremamente grandes de dados que precisam de ferramentas especializadas para lidar com volumes e velocidades crescentes. Explica que o Big Data pode ser usado para inovação e tomada de decisão, e destaca o crescimento exponencial na geração de dados oriundo da internet e dispositivos móveis. Também aborda profissões emergentes e soluções tecnológicas para o armazenamento e análise de grandes volumes de dados.
O documento discute o conceito de Big Data, incluindo os 3 V's (Volume, Variedade e Velocidade) e mais 2 V's (Valor e Veracidade). Também aborda ferramentas como Hadoop, aplicações de Big Data, potencial e desafios de Big Data, além de conclusões e referências bibliográficas.
O que é BIG DATA e como pode influenciar nossas vidasElaine Naomi
O documento discute o Big Data, definido como conjuntos de dados difíceis de capturar, armazenar, analisar e visualizar com tecnologias atuais. Apresenta estatísticas sobre a quantidade de dados gerados diariamente e como empresas como Google, Facebook e Netflix usam a análise de Big Data. Também aborda possíveis aplicações em diagnósticos médicos, educação e matching de parceiros, bem como riscos à privacidade.
Plano de Gestão de Dados de investigação: estruturar, organizar e gerir dadosBiblioteca UBI
O PGD é um documento descritivo que abarca todas as fases do ciclo de vida dos dados de investigação. Nesta apresentação serão dadas a conhecer as várias tipologias de dados, as várias necessidades de planificação e organização antecipada, e diferentes opções de preservação, eliminação e partilha de dados.
O documento descreve as principais tecnologias de Big Data, incluindo Hadoop, MapReduce, HDFS e como empresas como Netflix, Uber e Facebook utilizam essas tecnologias para extrair insights valiosos de grandes volumes de dados.
Big Data e Data Science - Tecnologia e MercadoHélio Silva
1) O documento discute os conceitos de Big Data, Data Science e as tecnologias e mercado relacionados.
2) Grandes volumes de dados continuam a ser gerados diariamente pela internet e dispositivos conectados.
3) A análise de dados em larga escala requer novas abordagens de engenharia e armazenamento para lidar com a variedade e volume crescentes.
Hackathon Inmetrics e Fiap: Desafios do Big Datainmetrics
O documento discute os principais desafios do Big Data, incluindo volume, velocidade e variedade de dados, além de veracidade, valor e desafios arquiteturais e de implementação. É destacado que a variedade, e não o volume, será o maior desafio em 2015 e que a extração de valor é crucial para obter vantagem competitiva.
O documento discute as oportunidades do Big Data, mencionando exemplos históricos como o pouso na Lua em 1969 com hardware limitado e desafios atuais com volumes massivos de dados. Também aborda conceitos-chave do Big Data como os "5 Vs", tendências, desafios, perfis de profissionais e casos de uso internos e externos para extrair valor dos dados.
Você obterá uma visão geral sobre Big Data!
(O que é Big Data?
Como esta o mercado de trabalho?
Quem está falando sobre o tema?
O que vem sendo feito nas indústrias e empresas?
Por onde começar?
Contatos:
Facebook: fb.com/PauloRicardovds
Linkedin:/in/pauloricardovds
Github:/pauloricardovds
Youtube: /user/pauloricardodba
Site: http://www.paulorsantos.com
Email: Paulo@paulorsantos.com
1º Seminário CICTEC - Um Novo ABC das TICs - José Carlos Cavalcanti 22 05 13cictec
O documento discute o novo "ABC" das TICs, que se refere a Analytics, Big Data e Cloud Computing. O documento explica esses conceitos, por que são importantes, exemplos de aplicações e desafios futuros. A agenda inclui tópicos como a posição do Brasil na indústria de TICs e principais players de Analytics e Cloud Computing.
Um novo "ABC" das TICs: (A)nalytics + (B)ig Data + (C)loud ComputingJosé Carlos Cavalcanti
O documento discute o novo "ABC" das TICs, que se refere a Analytics, Big Data e Cloud Computing. O documento explica esses três conceitos, por que eles são importantes, exemplos de aplicações e desafios futuros. A agenda inclui uma breve história, a posição do Brasil na indústria de TICs, conceitos, evolução, aplicações, principais players e exemplos.
O documento apresenta um treinamento de 7 dias sobre Hadoop e Big Data. O primeiro dia introduz os conceitos básicos de Big Data, como os 4V's (volume, velocidade, variedade e valor), além de explicar onde e por que usar Big Data hoje. Os dias 2 e 3 abordam MapReduce e Hadoop. Os dias subsequentes discutem outras ferramentas do ecossistema Hadoop e conceitos como NoSQL e machine learning. Os dias 5, 6 e 7 são dedicados a práticas com Python e Hadoop.
Big data - Uma visão geral da coisa...Arthur Souza
O documento fornece uma introdução sobre Big Data, definindo-o como conjuntos de dados extremamente grandes coletados em grande volume e variedade que requerem ferramentas para análise. Explora as três V's do Big Data (Volume, Velocidade e Variedade) e soluções como Hadoop, MapReduce e HDFS. Apresenta exemplos de como Dublin, Seattle e a seleção alemã aplicam Big Data.
O documento discute o uso de técnicas de Big Data para extrair e analisar grandes volumes de dados, como dados da bolsa de valores. Ele explica como ferramentas como Hadoop, MapReduce e InfoSphere podem ser usadas para coletar e processar dados de redes sociais e fornecer insights valiosos para tomada de decisões de negócios. Apesar de o Big Data ainda não ser amplamente utilizado na área financeira, o documento argumenta que à medida que as empresas adotem essas técnicas, elas poderão obter lucros
1. O documento discute as tendências que vão mudar a estratégia de dados no futuro, incluindo aprendizado de máquina e inteligência artificial para simplificar a gestão e tomada de decisões com dados.
2. A inteligência artificial está sendo incorporada em ferramentas de gestão de dados para automatizar processos como identificação de dados sensíveis.
3. Arquiteturas híbridas e "Data Fabrics" que unificam dados em nuvens e on-premise se tornarão mais comuns.
Este documento apresenta como construir um data lake para análise de dados. Primeiro, discute conceitos de big data e inteligência artificial. Em seguida, descreve as principais ferramentas para armazenamento e análise de dados em um data lake, incluindo Apache NiFi, ElasticSearch, Kibana, Amazon S3 e Docker. Por fim, fornece detalhes sobre um projeto prático de coleta e análise de dados financeiros usando essas ferramentas.
IDC Portugal | Virtualização de Dados como Estratégia de Gestão de Dados para...Denodo
Watch full webinar here: https://bit.ly/3Biofz5
Veja esta sessão para compreender porque é que a virtualização de dados é uma estratégia apropriada quando as aplicações que necessitam de analíticas avançadas exigem dados muito recentes ou quando esses dados são distribuídos por múltiplas plataformas numa arquitectura híbrida.
Vai aprender:
- Porque é que a virtualização de dados é uma abordagem de confiança à integração de dados
- Como os modelos de virtualização de dados distribuíram os dados em estruturas mais simples e unificadas
- Como a virtualização de dados aborda a Analytics, o BI self-service, e a governação de dados
Big Data é sobre armazenar e processar grandes volumes de dados de várias fontes rapidamente. A palestra discute como o Hadoop pode automatizar a análise de dados complexos de forma escalável usando hardware comum.
Guia sobre análise de dados e aprendizado de máquina para CIO.Lucas Modesto
1. As empresas enfrentam três novos desafios com o volume, diversidade e velocidade dos dados gerados.
2. O armazenamento em nuvem e data warehousing na nuvem ajudam as empresas a centralizar os dados brutos e prepará-los para análise, superando os silos de dados.
3. Isso permite armazenar grandes volumes de dados a baixo custo e postergar a estruturação dos dados até que seja necessária uma análise.
Big data e o dirieto internacional - SILVA JR., Nelmon J.Autônomo
O documento discute as implicações do Big Data no direito internacional. Descreve o rápido crescimento da quantidade de dados digitais e como a IBM desenvolveu ferramentas como Hadoop e MapReduce para armazenar e analisar grandes volumes de dados. Também discute como conceitos anteriores como Grid Computing e Cloud Computing levaram ao desenvolvimento do Big Data.
Este documento fornece uma introdução sobre Big Data, cobrindo conceitos como tipos de dados, análise de dados, processamento distribuído usando Hadoop e Spark. Também discute casos de sucesso de análise de dados em empresas como IBM, Google e Walmart.
O documento discute como a ciência de dados e análise de big data podem ser aplicadas em pesquisas científicas e sociais. Apresenta técnicas como aprendizado de máquina, análise de redes sociais, extração de informações, análise de sentimentos e modelagem de tópicos que podem ser usadas por cientistas sociais para explorar grandes conjuntos de dados. Também reflete sobre como essas abordagens podem gerar novas perguntas e perspectivas para pesquisas sociais.
O documento discute as principais tendências em Big Data, Internet das Coisas e Web Semântica. A palestrante Regina Cantele apresenta os conceitos de Big Data e como os dados podem ser coletados, armazenados, analisados e visualizados. Ela também discute soluções como Hadoop e bancos de dados NoSQL. A Web Semântica é apresentada como uma forma de estruturar dados na web para que máquinas possam entendê-los.
Em um mundo cada vez mais digital, a segurança da informação tornou-se essencial para proteger dados pessoais e empresariais contra ameaças cibernéticas. Nesta apresentação, abordaremos os principais conceitos e práticas de segurança digital, incluindo o reconhecimento de ameaças comuns, como malware e phishing, e a implementação de medidas de proteção e mitigação para vazamento de senhas.
Este certificado confirma que Gabriel de Mattos Faustino concluiu com sucesso um curso de 42 horas de Gestão Estratégica de TI - ITIL na Escola Virtual entre 19 de fevereiro de 2014 a 20 de fevereiro de 2014.
PRODUÇÃO E CONSUMO DE ENERGIA DA PRÉ-HISTÓRIA À ERA CONTEMPORÂNEA E SUA EVOLU...Faga1939
Este artigo tem por objetivo apresentar como ocorreu a evolução do consumo e da produção de energia desde a pré-história até os tempos atuais, bem como propor o futuro da energia requerido para o mundo. Da pré-história até o século XVIII predominou o uso de fontes renováveis de energia como a madeira, o vento e a energia hidráulica. Do século XVIII até a era contemporânea, os combustíveis fósseis predominaram com o carvão e o petróleo, mas seu uso chegará ao fim provavelmente a partir do século XXI para evitar a mudança climática catastrófica global resultante de sua utilização ao emitir gases do efeito estufa responsáveis pelo aquecimento global. Com o fim da era dos combustíveis fósseis virá a era das fontes renováveis de energia quando prevalecerá a utilização da energia hidrelétrica, energia solar, energia eólica, energia das marés, energia das ondas, energia geotérmica, energia da biomassa e energia do hidrogênio. Não existem dúvidas de que as atividades humanas sobre a Terra provocam alterações no meio ambiente em que vivemos. Muitos destes impactos ambientais são provenientes da geração, manuseio e uso da energia com o uso de combustíveis fósseis. A principal razão para a existência desses impactos ambientais reside no fato de que o consumo mundial de energia primária proveniente de fontes não renováveis (petróleo, carvão, gás natural e nuclear) corresponde a aproximadamente 88% do total, cabendo apenas 12% às fontes renováveis. Independentemente das várias soluções que venham a ser adotadas para eliminar ou mitigar as causas do efeito estufa, a mais importante ação é, sem dúvidas, a adoção de medidas que contribuam para a eliminação ou redução do consumo de combustíveis fósseis na produção de energia, bem como para seu uso mais eficiente nos transportes, na indústria, na agropecuária e nas cidades (residências e comércio), haja vista que o uso e a produção de energia são responsáveis por 57% dos gases de estufa emitidos pela atividade humana. Neste sentido, é imprescindível a implantação de um sistema de energia sustentável no mundo. Em um sistema de energia sustentável, a matriz energética mundial só deveria contar com fontes de energia limpa e renováveis (hidroelétrica, solar, eólica, hidrogênio, geotérmica, das marés, das ondas e biomassa), não devendo contar, portanto, com o uso dos combustíveis fósseis (petróleo, carvão e gás natural).
As classes de modelagem podem ser comparadas a moldes ou
formas que definem as características e os comportamentos dos
objetos criados a partir delas. Vale traçar um paralelo com o projeto de
um automóvel. Os engenheiros definem as medidas, a quantidade de
portas, a potência do motor, a localização do estepe, dentre outras
descrições necessárias para a fabricação de um veículo
2. 2
.:: Agenda ::.
Motivação
O problema
As oportunidades
Curiosidades
Histórico
Conceitos
O que é Big Data ?
Por que “Big Data”?
Os 3 V´s do Big Data
+ 2 V´s do Big Data
3. 3
.:: Agenda ::.
Aplicações
Tecnologias
MapReduce
O Framework Hadoop
NoSQL e BDinMemory
Big Data em 3 Etapas
Trabalhos Relacionados
Conclusão
4. 4
.:: Motivação ::. O problema
Fonte: IDC. "Big Data Analytics: Future Architectures, Skills and Roadmaps for the CIO," September 2011
“A verdadeira questão não é que você está
coletando grandes quantidades de dados, mas
sim o que você faz com eles. As organizações
terão que ser capazes de aproveitar os dados
relevantes e usá-los para tomar as melhores
decisões.” (IDC, 2011)
5. 5
.:: Motivação ::. As oportunidades
Fonte: http://corporate.canaltech.com.br/noticia/banco-de-dados/A-maioria-das-empresas-ainda-nao-se-adaptou-ao-Big-Data/
Estudo com 500 empresa americanas de vários
setores
+ 42% das empresas não estão familiarizadas com análise de Big
Data;
+ 34 % estão apenas começando a lidar com essa tendência;
+ 9 % afirmam ter muitos dados e não saber o que fazer com eles;
A maioria enxerga a importância do Big Data, mas não
sabe quando vai investir em soluções para tal;
6. 6
.:: Motivação ::. As oportunidades
Fonte: http://www.businessinsider.com/billion-dollar-tech-trends-2012-11?utm_source=feedburner&utm_medium=feed&utm
_campaign=Feed%3A+typepad%2Falleyinsider%2Fsilicon_alley_insider+%28Silicon+Alley+Insider%29&utm_content=Google+Reade /
9 Tendências de Tecnologia segundo o IDC
+ Os gastos com TI serão da ordem de U$ 2,1 trilhões em 2013;
+ Crescimento considerável da TI em países emergentes;
+ 2013 é o ano decisivo para o Mercado Móvel;
+ Crescimento das soluções de SaaS (Grandes x Pequenos)
+ Surgimento de empresas menores especializadas em Nuvem;
+ Todo mundo vai se tornar uma pessoa de TI;
+ Crescimento de 40% no mercado de dados (Big Data ainda
maior)
+ DataCenters migrarão para um novo modelo (Sistemas
Convergentes)
+ Mudança de BYOD para BYID;
7. 7
.:: Motivação ::. As oportunidades
4,4 milhões de empregos na área de TI até 2015 por
conta do Big Data (Gartner,2012)
A profissão do futuro será o Cientista de Dados
(Gartner, 2012);
Silício Nanofotônico = Pulsos de Luz para transmissão
de informações – ate 25Gpbs (IBM, 2012)
Processadores da Linha AVOTON Intel - Novo
paradigma voltado para aplicações específicas
(Intel,2012)
8. 8
.:: Motivação ::. Curiosidades
Fonte: Using Private Cloud to solve Big Data problems, disponível em
https://www.panasas.com/sites/default/files/uploads/docs/Panasas_Private_Cloud_Storage_by%20Intersect360_wp_1074.PDF
9. 9
.:: Motivação ::. Curiosidades
Fonte: “Big Data and the Web: Algorithms for Data Intensive Scalable Computing”, Ph.D Thesis, Gianmarco
10. 10
Alguns Números do Facebook
+ 500 TB de informações todos os dias;
+ 2,7 Bilhões de “Curtir”;
+ 2,5 Bilhões de compartilhamentos diários;
+ Disco Hadoop tem 100 petabytes de capacidade;
+ 300 milhões de fotos postadas por dia.
.:: Motivação ::. Curiosidades
Fonte: http://www.slashgear.com/facebook-data-grows-by-over-500-tb-daily-3243691/?
utm_source=feedburner&utm_medium=feed&utm_campaign=Feed%3A+slashgear+%28SlashGear
%29&utm_content=Google+Reader]
12. 12
Até 2003 :: 5 bilhões de gigabytes (exabytes) de dados
2011 : : 5 bilhões de gigabytes (exabytes) a cada 2 dias.
2013 : : 5 bilhões de gigabytes (exabytes) a cada 10min.
.:: Motivação ::. Curiosidades
Fonte: IDC
13. 13
.:: Histórico ::.
Crescimento de Dados Científicos
Computação Distribuída
Bancos de Dados Relacional
16. 16
.:: Histórico ::.
Fonte: https://under-linux.org/entry.php?b=2603
Computação Distribuída
Computação distribuída significa pegar uma
tarefa, dividi-la em pedaços menores e dar cada
pedaço a um servidor diferente, depois pegar cada
resultado, uni-los (de maneira coerente) e
apresentá-lo.
Dificuldade
Processamento X Distribuição (Divisão)
Integridade e Disponibilidade em Cloud Computing
18. 18
.:: Conceitos ..: O que é Big Data?
Demchenko, Y., P. Membrey, P.Grosso, C. de Laat, Addressing Big Data Issues in Scientific Data Infrastructure. First International
Symposium on Big Data and Data Analytics in Collaboration (BDDAC 2013). Part of The 2013 Int. Conf. on Collaboration Technologies and
Systems (CTS 2013), May 20 - 24, 2013, San Diego, California, USA.
“Big Data: a massive volume of both
structured and unstructured data that is so
large that it's difficult to process using
traditional database and software
techniques.”
20. 20
.:: Conceitos ..: Por que “Big Data”?
Fonte: http://videolectures.net/eswc2012_grobelnik_big_data/
Aspectos Fundamentais para o crescimento do “Big
Data”:
+ Aumento da capacidade de armazenamento;
21. 21
.:: Conceitos ..: Por que “Big Data”?
Fonte: http://videolectures.net/eswc2012_grobelnik_big_data/
22. 22
.:: Conceitos ..: Por que “Big Data”?
Fonte: http://videolectures.net/eswc2012_grobelnik_big_data/
23. 23
.:: Conceitos ..: Por que “Big Data”?
Fonte: http://videolectures.net/eswc2012_grobelnik_big_data/
Aspectos Fundamentais para o crescimento do “Big
Data”:
+ Aumento da capacidade de armazenamento;
+ Aumento do poder de processamento;
24. 24
.:: Conceitos ..: Por que “Big Data”?
Fonte: http://videolectures.net/eswc2012_grobelnik_big_data/
25. 25
.:: Conceitos ..: Por que “Big Data”?
Fonte: http://videolectures.net/eswc2012_grobelnik_big_data/
Aspectos Fundamentais para o crescimento do “Big
Data”:
+ Aumento da capacidade de armazenamento;
+ Aumento do poder de processamento;
+ Disponibilidade do dados
— Dados empresariais;
— Dados de dispositivos móveis e mídias sociais;
— Dados da Internet das coisas.
26. 26
.:: Conceitos ..: Por que “Big Data”?
Fonte: http://videolectures.net/eswc2012_grobelnik_big_data/
27. 27
.:: Conceitos ..: Por que “Big Data”?
Fonte: http://videolectures.net/eswc2012_grobelnik_big_data/
28. 28
.:: Conceitos ..: Por que “Big Data”?
Fonte: http://videolectures.net/eswc2012_grobelnik_big_data/
30. 30
.:: Conceitos ..: + 2 V’s do Big Data
Fonte: http://cio.uol.com.br/opiniao/2012/05/11/o-caos-conceitual-e-os-5-vs-do-big-data/
VeracidadeVeracidade
ValorValor
31. 31
Big Data Exploration
Find, visualize,
understand all big data to
improve decision making
Enhanced 360o
View
of the Customer
Extend existing customer
views (MDM, CRM, etc) by
incorporating additional
internal and external
information sources
Operations Analysis
Analyze a variety of machine
data for improved business
results
Data Warehouse Augmentation
Integrate big data and data warehouse
capabilities to increase operational
efficiency
Security/Intelligence
Extension
Lower risk, detect fraud
and monitor cyber
security in real-time
.:: Aplicações ::.
Fonte: IBM
32. 32
Lower-frequency
operations
High-frequency
operations
Data
Source
.:: Aplicações ::.
Capital markets
Write/index all trades,
store tick data
Show consolidated risk
across traders
Call initiation request Real-time authorization Fraud detection/analysis
Inbound HTTP
requests
Visitor logging, analysis,
alerting
Traffic pattern analytics
Online game
Rank scores:
•Defined intervals
•Player “bests”
Leaderboard lookups
Real-time ad trading
systems
Match form factor,
placement criteria, bid/ask
Report ad performance
from exhaust stream
Mobile device
location sensor
Location updates, QoS,
transactions
Analytics on transactions
Fonte: VoltDB
33. 33
.:: Tecnologias ::. MapReduce
Criado pela Equipe do Google em 2004;
Várias implementações existentes: Hadoop, Disco,
Skynet, FileMap e Greenplum;
Fonte: https://under-linux.org/entry.php?b=2603
35. 35
.:: Tecnologias ::. MapReduce
Divide uma tarefa em pedaços menores;
Envia as tarefas para os servidores;
Coleta os resultados das tarefas;
Processa os resultados obtendo uma resposta única
Fonte: https://under-linux.org/entry.php?b=2603
36. 36
.:: Tecnologias ::. O framework Hadoop
Hadoop é um framework para facilitar o
desenvolvimento de aplicações distribuídas. E dentro
desse framework existem essas duas funcionalidades
importantes: MapReduce e DFS
Fonte: https://under-linux.org/entry.php?b=2603
37. 37
.:: Tecnologias ::. O framework Hadoop
Fonte: http://ensinar.wordpress.com/2009/06/16/hadoop-introducao/
Criado pela Equipe do Google em 2004;
Várias implementações existentes: Hadoop, Disco,
Skynet, FileMap e Greenplum;
38. 38
.:: Tecnologias ::. O framework Hadoop
Fonte: http://www.ime.usp.br/~danielc/papers/erad-hadoop-DanielCordeiro.pdf
Composto por:
• Hadoop Common
• Hadoop MapReduce
• Hadoop Distributed File System
(HDFS)
39. 39
.:: Tecnologias ::. O framework Hadoop
Fonte: http://ensinar.wordpress.com/2009/06/16/hadoop-introducao/
Principais características do Hadoop.
Escalável: ele pode armazenar e processar petabytes sem problemas;
Econômico: o Hadoop distribui os dados e o processamento através dos
clusters. Estes clusters podem ter milhares de nós (máquinas);
Eficiente: Por distribuir os dados, o Hadoop pode processar eles em paralelo
por meio dos nós, onde os dados estão alocados. Isto é feito de forma
extremamente rápida;
Confiável: ele automaticamente mantém múltiplas cópias dos dados e
automaticamente remaneja as tarefas em caso de falhas.
40. 40
.:: Tecnologias ::. O framework Hadoop
Fonte: http://ensinar.wordpress.com/2009/06/16/hadoop-introducao/
41. 41
.:: Tecnologias ::. NoSQL e BDinMemory
NoSQL
FONTE: http://www.slideshare.net/SAPTechnology/inmemory-database-platform-for-big-data
Tipo de banco de dados que não segue normas de
tabelas (schemas) dos BDs Relacionais;
Conceito de que o banco de dados não necessita de
normalização e relacionamentos – (Not only SQL –
NoSQL);
Necessidade, ou seja, oferecer performance superior e
de uma alta escalabilidade;
Toda informação num só registro;
42. 42
BD in Memory
.:: Tecnologias ::. NoSQL e BDinMemory
BD in Memory - Desafios
Unificar o processo
transacional e de
análises num único
sistema;
Mesmo tipo de
instâncias de dados;
Executar análises em
tempo real;
Rodar transações e
análises na “velocidade
do pensamento”;
FONTE: http://www.slideshare.net/SAPTechnology/inmemory-database-platform-for-big-data
43. 43
.:: Tecnologias ::. Big Data em 3 etapas
Online
gaming
Ad
serving
Sensor
data
Internet
commerc
e
SaaS,
Web 2.0
Mobile
platforms
Financial
trade
Structured data
ACID guarantees
Relational/SQL
Real-time analytics
NewSQL
Unstructured data
Eventual consistency
Schemaless
KV, document
NoSQL
Other OLAP
data stores
Analytic
Datastore
High Velocity High Volume
Fonte: VoltDB
44. 44
.:: Tecnologias ::. Big Data em 3 etapas
Online
gaming
Ad
serving
Sensor
data
Internet
commerc
e
SaaS,
Web 2.0
Mobile
platforms
Financial
trade
NewSQL
NoSQL
Other OLAP
data stores
Analytic
Datastore
High Velocity High Volume
Fonte: VoltDB
45. 45
.:: Trabalhos Relacionados ::.
Storage: projetar sistemas apropriados para lidar com
o crescente volume de dados de forma efetiva;
Management: questões relacionadas com a gestão
dos dados. Como validar e selecionar? Ausência de
padrões.
Processing: Como inspecionar, analisar dados não
estruturados? Como extrair significado relevante para
tomada de decisão. Algoritmos mais eficientes para
grandes volumes de dados.
Big Data: Issues and Challenges Moving Forward
Kaisler, S., Armour, F., Espinosa, J. A., & Money, W. Big Data: Issues and
Challenges Moving Forward.System Sciences .46th Hawaii International
Conference on (pp. 995-1004), 2013.
http://dx.doi.org/10.1109/HICSS.2013.645
46. 46
.:: Trabalhos Relacionados ::.
Associação do problema de processamento de Big Data com
Cloud Computing, redução de custo e escalabilidade;
Considerações a respeito da arquitetura de nuvem e técnicas
para distribuir tasks de processamento em Cloud;
Limitações de protocolos para transferência de dados;
Gestão de dados na nuvem, melhorias baseadas nos dados,
segurança e privacidade;
Desenvolvimento com foco em sistemas de consultas em
tempo real;
Adoção de SQL em Big Data;
State of Big Data Analysis in the Cloud
AHUJA, Sanjay P, MOORE, Bryan. State of Big Data Analysis in the Cloud.
Network and Communication Technologies, Vol. 2, No. 1, June 2013. DOI:
10.5539/nct.v2n1p62
47. 47
.:: Conclusão ::.
Muitos desafios a serem superados;
Empresas ainda não sabem utilizar os recurso de Big Data;
Faltam profissionais capacitados para lidar com Big Data;
Ainda é um terreno desconhecido para profissionais de TI;
É difícil extrair informações relevantes do Big Data;
Não há métricas bem definidas para mensurar ROI;
Faltam padrões;
Ferramentas disponíveis ainda exigem conhecimento técnico
avançado e pouco difundido;