Baixado 19 vezes
![Bancos de dados de documentos
{
"Cats": [
{
"Age": 5,
"EyeColor": "Blue",
"Name": "Agatha"
},
{
"Age": 4,
"EyeColor": "Blue",
"Name": "Frank"
}
],
"FirstName": "Rodrigo",
"LastName": "Campos",
"TwitterScreenName": "xinu"
}](https://image.slidesharecdn.com/bigdatacampuspartypdf-130202100113-phpapp02/85/The-good-the-bad-and-the-big-data-36-320.jpg)
Carregado porRodrigo Campos
The good, the bad and the big... data
1) O documento discute os desafios do processamento de grandes volumes de dados, conhecidos como Big Data. 2) Novas tecnologias como bancos de dados não-relacionais, MapReduce e visualização de dados são necessárias para lidar com a escala, diversidade e distribuição dos dados. 3) As ferramentas para Big Data ainda estão evoluindo para atender as novas demandas, mas já complementam soluções estabelecidas.
The good, the bad and the big... data
- 2. THE GOOD, THE BAD, THE BIG... DATA Processando Grandes Volumes de Dados Rodrigo Campos rcampos@uolinc.com @xinu
- 3.
- 4. IBM 350 -1956 Discos 24” 1.200 RPM 8.800 CPS 3,75 Mb USD 53.400 / Mb
- 5. Kingston HyperX USB 3.0 30.000.000CPS 1.000.000 Mb USD 0,0017 / Mb
- 6.
- 7. 90% dos dadosatualmente no mundo foram criados nos últimos dois anos Fonte: http://ibm.co/WDPldm
- 8. 1.800.000.000 Tb 1,8Zb foram criados ou replicados em 2011. Fonte: IDC iView - Extracting Value from Chaos - http://bit.ly/YwR8nb
- 11. Não se trataapenas da quantidade de dados
- 12. Os dados tradicionalmente eram organizados em esquemas conhecidos, rígidos e controlados
- 13. SELECT vw_Subscriber.DisplayName, vw_CallHandler.DTMFAccessId ASExtension, vw_ContactRule.Extension AS 'Transfer String' FROM vw_Subscriber INNER JOIN vw_CallHandler ON vw_CallHandler.CallHandlerObjectId=vw_Subscriber.CallHand lerObjectId INNER JOIN vw_ContactRule ON vw_ContactRule.ParentObjectId=vw_CallHandler.CallHandler ObjectId WHERE vw_CallHandler.IsPrimary='1' AND vw_Subscriber.SubscriberType IN ('1','3') AND vw_ContactRule.Alias='alternate' AND vw_ContactRule.Action='1
- 14. Message Queues ExtensibleMarkup Language Text Files Flat files Dados pouco uniformes Document Oriented Spatial Databases Comma Separated Values Hierarchical Model Graph Databases Spreadsheets Object-relational SYSLOG Hypermedia Databases In-Memory Databases Network Model Relational Model
- 15. Os dados tradicionalmente eram gerados por computadores
- 16.
- 17. Fontes de dadossão diversificadas
- 18. O armazenamento e processamentodos dados tradicionalmente era centralizado
- 19.
- 20. Os volumes ultrapassama capacidade individual dos bancos de dados
- 21. Lead ION Collision- ALICE experiment at CERN 25 Petabytes por ano LHC Computing Grid - 170 datacenters em 36 países http://wlcg.web.cern.ch/
- 22. Precisamos de soluçõese ferramentas novas para: Extração Armazenamento Processamento Visualização
- 23. Extração Armazenamento Big Data Visualização Processamento
- 24. Extração Data Scraping APIs
- 25.
- 26.
- 27. Armazenamento Sistemas distribuídos
- 28. Sistemas distribuídos Desafios para o design: Escala Gerenciamento Segurança Tolerância a falhas
- 29. Processamento A panacéia NoSQL
- 30. Processamento Não existe bala de prata...
- 31. Processamento Não existe bala de prata...
- 32. Processamento Nunca existiu balade prata... Existem soluções mais apropriadas para determinados problemas
- 33. Processamento O modelo relacional dominou os últimos 30 anos
- 34. Processamento Agora procuramos usar a solução mais adequada para o problema encontrado
- 35. Bancos de dadosde documentos Desenhados para o gerenciamento de informação semi-estruturada
- 36. Bancos de dadosde documentos { "Cats": [ { "Age": 5, "EyeColor": "Blue", "Name": "Agatha" }, { "Age": 4, "EyeColor": "Blue", "Name": "Frank" } ], "FirstName": "Rodrigo", "LastName": "Campos", "TwitterScreenName": "xinu" }
- 37. Chave-valor Desenhados para armazenamento arbitrário de informações em pares
- 38. Chave-valor userCount 1 user1_FirstName Rodrigo user1_LastName Campos user1_Twitter xinu user1_CatCount 2 user1_Cat1_Name Agatha user1_Cat1_Age 5 user1_Cat2_Name Frank user1_Cat2_Age 4
- 39. Grafo Desenhadospara estruturas baseadas em vértices e arestas com propriedades
- 40. Id: 2 Name: Frank Eyes: Blue Grafo Age: 4 Id: 105 Type: cat Label: friends Id: 104 Label: friends Id: 100 Label: master Id: 101 Label: servant Id: 3 Name: Agatha Eyes: Blue Id: 102 Age: 5 Label: servant Type: cat Id: 103 Label: master Id: 1 FirstName: Rodrigo LastName: Campos Twitter: xinu Type: human
- 41. Processamento Bancos dedados de Chave-Valor Grafo documentos •Cassandra •Cassandra •AllegroGraph •CouchDB •Riak •Neo4J •MongoDB •Memcached •FlockDB •Couchbase •Redis •InfiniteGraph •Lotus Notes •Kyoto Cabinet
- 42. MapReduce Ummodelo de programação distribuída para o processamento de grandes conjuntos de dados
- 43.
- 44. Dados originais MapReduce Node 1 Node 2 MAP Resultado Master Node Node 3 x2 x4 REDUCE x3 x1 Node 4 x3 Node 5 x2 x5
- 45. Processamento Atomic: todaa transação deve ser bem sucedida Consistent: o banco de dados deve permanecer consistente Isolated: uma transação não deve interferir nas demais Durable: transações completadas devem persistir
- 46. Processamento Basic Availability: a camada de dados permanece (parcialmente) disponível mesmo que inconsistente Soft-state: os dados retornados para determinada transação podem ser aproximados ou estimados Eventual consistency: eventualmente os dados estarão homogêneos em todo o sistema Mais informações em http://bit.ly/14Bg7GD
- 47. Teorema CAP -Escolha duas... Consistency Availability Partition Tolerance
- 48.
- 49.
- 50.
- 51.
- 52. Conclusões Ovolume e diversidade dos dados exigem novas abordagens tecnológicas
- 53. Conclusões Novas ferramentas vem complementar soluções estabelecidas no mercado
- 54. Conclusões Asferramentas ainda estão evoluindo para atender essa nova realide
- 55.