Baixar para ler offline
Carregado porThiago Gonzaga
Big Data: Seus problemas estão apenas começando
Big data é um termo para descrever grandes volumes de dados que são difíceis de processar com ferramentas de banco de dados tradicionais. O documento discute soluções como Hadoop, MongoDB e Apache Lucene para armazenamento e processamento de big data e oportunidades de carreira nessa área.
Mais conteúdo relacionado
Semelhante a Big Data: Seus problemas estão apenas começando
Big Data: Seus problemas estão apenas começando
- 1. BIG DATA Seus problemasestão apenas começando Thiago Gonzaga Engenheiro de Software - Aurea Software
- 2. Agenda • No principioera o verbo • O que é Big Data? • Estatísticas sobre Big Data • Soluções para Big Data • Oportunidades na Area de Big Data
- 3. Quién soy jo? •Bacharel em ciência da computação pela UNESP • Desenvolvedor desde 2004, em Java desde 2007 • Evangelista Java, palestrante e entusiasta de tecnologias livres e Open Source. • Coordenador de Eventos do Grupo de Usuários Java. • Engenheiro de Software na Aurea
- 4. No princípio erao verbo…
- 6. Dados • “Informação” nãoprocessada • Fatos • Números • Afirmações • Sem significado • Pode ser texto, video, imagem
- 7. Informação • Conteúdo útil •Relevante • Possui significado • Processo, estudo, ensaio a partir de dados
- 9.
- 10. Você já deveter ouvido falar: “Big Data é a solução do seu problema…”
- 12. O MAIOR PROBLEMA DETI DA ATUALIDADE
- 14.
- 15. Dados, dados, muitos dados •Com o aumento de quantidade de dados • aumenta custos de processamento, logo mais gastos em infraestrutura • armazenamento de dados não é infinito, logo mais gastos com armazenamento e backup • Grande volume de dados aumenta consumo de banda de entrada e saída, ou seja, mais gastos… • tornar a informação disponível requer mais gastos • Orçamento não é infinito e geralmente é bem curto
- 16.
- 17.
- 18. … e maisgastos
- 19.
- 20. O que ébig data? • Do inglês dado grande (literalmente) • Quando você muitos dados • uma porrada de dados • uma caralhada de dados • ou seja… • DADOS PRA CA!@#$%ˆ&*
- 22. Thiago não pode escreverisso no slide… Então escreve ai:
- 23. “Big Data éum termo para descrever um problema onde o fluxo de entrada de dados é maior que a capacidade de processa-los”
- 25.
- 26. Boeing 787 produzmeio terabyte de dados por vôo Fonte: http://www.computerworlduk.com/news/data/boeing-787s- create-half-terabyte-of-data-per-flight-says-virgin-atlantic-3433595/
- 28. Se há problemae demanda precisa de uma solução
- 29. Solução para BigData •Armazenamento • Processamento • Análise
- 30. Solução para BigData •Armazenamento: • HDFS (Hadoop Distributed File System) • Banco de dados não estruturado (não relacional) • MongoDB • Cassandra • Neo4j
- 31. Solução para BigData •Processamento: • Hadoop MapReduce • Apache Lucene • Solr • Elasticsearch (especialmente pra texto)
- 32. Solução para BigData •Análise de dados: • Pentaho • Kibana • Graylog
- 33. Curiosidade: Hadoop, Lucene, Solr, elasticsearchentre outras soluções Big Data
- 36. Pra onde euvou • Engenheiro/Arquiteto de Informação • Cientista de dados • Analista de dados • Designer de BI • Analista de BI • Arquiteto de Cloud • Segurança da Informação
- 39. Leituras interessantes • Umavisão universal sobre dados: http://www.emc.com/leadership/digital-universe • Apache Hadoop: http://hadoop.apache.org/ • Apache Lucene: http://lucene.apache.org • Apache Solr: http://lucene.apache.org/solr/ • elasticsearch: https://www.elastic.co/products/elasticsearch • Kibana: https://www.elastic.co/products/kibana • Graylog: https://www.graylog.org/ • Pentaho: http://www.pentaho.com/ • Panorama de Big Data no Brasil: https://www.ibm.com/developerworks/community/blogs/bigdata/ entry/entrevista_com_cezar_taurion_o_estagio_atual_do_big_data_no_brasil • Você realmente sabe o que é Big Data: https://www.ibm.com/developerworks/community/blogs/ ctaurion/entry/voce_realmente_sabe_o_que_e_big_data
- 40. Projetos do JavaNoroeste • Encontros regulares • Incentivo a contribuição da comunidade (Programa de treinamento para futuros palestrantes) (call 4 papers: http://bit.ly/javanoroeste-call-for-papers) • Slack (convite: javanoroeste-slack.herokuapp.com.br) • Novo Logo (votação: bit.ly/pesquisa-logo-javanoroeste) • Novo Site • Banco de currículos • Sistema de gerador de certificado • Entre outros
- 42. Obrigado!!! Thiago Gonzaga Engenheiro deSoftware - Aurea Software @thiguetta