NoSQL e Novas Tecnologias

1. NoSQL e Novas Tecnologias de BD Fabíola S. F. Pereira IFTM – Dez 2016

2.  Muito prazer, NoSQL! (teoria)  Hands on (+- prática)  E agora? Que tipo de Banco de Dados devo usar?  Exemplos e mais exemplos Outline

3. Desmistificando NoSQL e Novas Tecnologias de Bancos de Dados Fabíola S. F. Pereira IFTM Dez 2016

4. Problema: “Crawling” Twitter t

8. Problema: “Crawling” Twitter t C o m o o b t e r o m o m e n t o e m q u e a s a r e s t a s a p a r e c e m e d e s a p a r e c e m n a r e d e ?

9. Problema: “Crawling” Twitter t C o m o o b t e r o m o m e n t o e m q u e a s a r e s t a s a p a r e c e m e d e s a p a r e c e m n a r e d e ? 2 3 0 M d e u s u á r i o s e 7 0 0 M d e a r e s t a s

10. Problema: “Crawling” Twitter 2 3 0 M d e u s u á r i o s e 7 0 0 M d e a r e s t a s C o m o o b t e r o m o m e n t o e m q u e a s a r e s t a s a p a r e c e m e d e s a p a r e c e m n a r e d e ?

11. Problema: “Crawling” Twitter 2 3 0 M d e u s u á r i o s e 7 0 0 M d e a r e s t a s C o m o o b t e r o m o m e n t o e m q u e a s a r e s t a s a p a r e c e m e d e s a p a r e c e m n a r e d e ?

12. Problema: “Crawling” Twitter 2 3 0 M d e u s u á r i o s e 7 0 0 M d e a r e s t a s C o m o o b t e r o m o m e n t o e m q u e a s a r e s t a s a p a r e c e m e d e s a p a r e c e m n a r e d e ? u1, u2, 12/04, 13/06 u1, u3, 01/01, 02/01 u4, u5, 09/11, 25/12 …

13. Problema: “Crawling” Twitter 2 3 0 M d e u s u á r i o s e 7 0 0 M d e a r e s t a s C o m o o b t e r o m o m e n t o e m q u e a s a r e s t a s a p a r e c e m e d e s a p a r e c e m n a r e d e ? u1, u2, 12/04, 13/06 u1, u3, 01/01, 02/01 u4, u5, 09/11, 25/12 …

14. Problema: Futebol

15. Problema: Futebol C o m o p r o c e s s a r e v e n t o s e m t e m p o r e a l ?

16. Problema: Futebol C o m o p r o c e s s a r e v e n t o s e m t e m p o r e a l ? D a d o s n ã o s ã o a r m a z e n a d o s !

17. Problema: E-commerce C o m o v o c ê c o n s t r u i r i a u m s i t e m a e - c o m m e r c e s e m j o i n s e s e m n o r m a l i z a ç ã o ?

18. Problema: E-commerce C o m o v o c ê c o n s t r u i r i a u m s i t e m a e - c o m m e r c e s e m j o i n s e s e m n o r m a l i z a ç ã o ? E s c a l á v e l

19. História Modelo de Dados Consistência e NoSQL Usando Bancos NoSQL Exemplos e mais exemplos Referências legais

20. Ascenção Relacional Copied from: Introduction to NoSQL. Martin Fowler's talk from the GOTO Aarhus Conference 2012. https://www.youtube.com/watch?v=qI_g07C_Q5I

21. Persistência Integração SQL Transações Relatórios Copied from: Introduction to NoSQL. Martin Fowler's talk from the GOTO Aarhus Conference 2012. https://www.youtube.com/watch?v=qI_g07C_Q5I

22. Copied from: Introduction to NoSQL. Martin Fowler's talk from the GOTO Aarhus Conference 2012. https://www.youtube.com/watch?v=qI_g07C_Q5I

23. Bancos orientados a objetos Copied from: Introduction to NoSQL. Martin Fowler's talk from the GOTO Aarhus Conference 2012. https://www.youtube.com/watch?v=qI_g07C_Q5I

24. Dominância Relacional Copied from: Introduction to NoSQL. Martin Fowler's talk from the GOTO Aarhus Conference 2012. https://www.youtube.com/watch?v=qI_g07C_Q5I

25. Billing Inventário Catálogo Relatórios Mecanismo de Integração Copied from: Introduction to NoSQL. Martin Fowler's talk from the GOTO Aarhus Conference 2012. https://www.youtube.com/watch?v=qI_g07C_Q5I

26. Dominância Relacional Copied from: Introduction to NoSQL. Martin Fowler's talk from the GOTO Aarhus Conference 2012. https://www.youtube.com/watch?v=qI_g07C_Q5I

27. Grande Tráfego de Dados Copied from: Introduction to NoSQL. Martin Fowler's talk from the GOTO Aarhus Conference 2012. https://www.youtube.com/watch?v=qI_g07C_Q5I

30. SQL SQL Copied from: Introduction to NoSQL. Martin Fowler's talk from the GOTO Aarhus Conference 2012. https://www.youtube.com/watch?v=qI_g07C_Q5I

33. NoSQL Copied from: Introduction to NoSQL. Martin Fowler's talk from the GOTO Aarhus Conference 2012. https://www.youtube.com/watch?v=qI_g07C_Q5I

34. Definição de NoSQL Copied from: Introduction to NoSQL. Martin Fowler's talk from the GOTO Aarhus Conference 2012. https://www.youtube.com/watch?v=qI_g07C_Q5I

35. Características de NoSQL Copied from: Introduction to NoSQL. Martin Fowler's talk from the GOTO Aarhus Conference 2012. https://www.youtube.com/watch?v=qI_g07C_Q5I

36. Não-relacional Open-source cluster-friendly século XXI - Web schema-less Copied from: Introduction to NoSQL. Martin Fowler's talk from the GOTO Aarhus Conference 2012. https://www.youtube.com/watch?v=qI_g07C_Q5I

39. Documento Grafo Key-value Column- family Copied from: Introduction to NoSQL. Martin Fowler's talk from the GOTO Aarhus Conference 2012. https://www.youtube.com/watch?v=qI_g07C_Q5I

41. Documento schema-less Copied from: Introduction to NoSQL. Martin Fowler's talk from the GOTO Aarhus Conference 2012. https://www.youtube.com/watch?v=qI_g07C_Q5I

42. Documento Copied from: Introduction to NoSQL. Martin Fowler's talk from the GOTO Aarhus Conference 2012. https://www.youtube.com/watch?v=qI_g07C_Q5I

43. Documento Copied from: Introduction to NoSQL. Martin Fowler's talk from the GOTO Aarhus Conference 2012. https://www.youtube.com/watch?v=qI_g07C_Q5I

44. DocumentoKey-value Aggregate-oriented Copied from: Introduction to NoSQL. Martin Fowler's talk from the GOTO Aarhus Conference 2012. https://www.youtube.com/watch?v=qI_g07C_Q5I

45. Aggregate = documentoAggregate = value Documento Copied from: Introduction to NoSQL. Martin Fowler's talk from the GOTO Aarhus Conference 2012. https://www.youtube.com/watch?v=qI_g07C_Q5I

47. DocumentoKey-value Aggregate-oriented Column-family Copied from: Introduction to NoSQL. Martin Fowler's talk from the GOTO Aarhus Conference 2012. https://www.youtube.com/watch?v=qI_g07C_Q5I

50. Grafo Copied from: Introduction to NoSQL. Martin Fowler's talk from the GOTO Aarhus Conference 2012. https://www.youtube.com/watch?v=qI_g07C_Q5I

51. Grafo Copied from: Introduction to NoSQL. Martin Fowler's talk from the GOTO Aarhus Conference 2012. https://www.youtube.com/watch?v=qI_g07C_Q5I

52. Grafo Column-family Documento Key-value

53. Grafo Column-family Documento Key-value Aggregate

54. Grafo Column-family Documento Key-value Aggregate Schema-less

56. SQL = ACID NoSQL = BASE Copied from: Introduction to NoSQL. Martin Fowler's talk from the GOTO Aarhus Conference 2012. https://www.youtube.com/watch?v=qI_g07C_Q5I

58. Grafo ACID Column-family Documento Key-value Aggregate

66. Consistência Disponibilidade Copied from: Introduction to NoSQL. Martin Fowler's talk from the GOTO Aarhus Conference 2012. https://www.youtube.com/watch?v=qI_g07C_Q5I

67. Teorema CAP Copied from: Introduction to NoSQL. Martin Fowler's talk from the GOTO Aarhus Conference 2012. https://www.youtube.com/watch?v=qI_g07C_Q5I

68. Teorema CAP Consistency Availability Partition tolerance Escolha 2 Copied from: Introduction to NoSQL. Martin Fowler's talk from the GOTO Aarhus Conference 2012. https://www.youtube.com/watch?v=qI_g07C_Q5I

69. AvailabilityConsistency Partition tolerance Copied from: Introduction to NoSQL. Martin Fowler's talk from the GOTO Aarhus Conference 2012. https://www.youtube.com/watch?v=qI_g07C_Q5I

70. Consistência Disponibilidade Copied from: Introduction to NoSQL. Martin Fowler's talk from the GOTO Aarhus Conference 2012. https://www.youtube.com/watch?v=qI_g07C_Q5I

71. Consistência Tempo de Resposta Copied from: Introduction to NoSQL. Martin Fowler's talk from the GOTO Aarhus Conference 2012. https://www.youtube.com/watch?v=qI_g07C_Q5I

72. Shopping Shopping Shopping Shopping ShoppingShopping Shopping Shopping

74. Definição de NoSQL

75. Definição de NoSQL Desenvolvimento fácil Dados em larga escala Copied from: Introduction to NoSQL. Martin Fowler's talk from the GOTO Aarhus Conference 2012. https://www.youtube.com/watch?v=qI_g07C_Q5I

76. Billing Inventário Catálogo Relatórios Mecanismo de Integração Copied from: Introduction to NoSQL. Martin Fowler's talk from the GOTO Aarhus Conference 2012. https://www.youtube.com/watch?v=qI_g07C_Q5I

77. Billing Inventário Catálogo Relatórios Bancos de aplicações WS, ESB, … Copied from: Introduction to NoSQL. Martin Fowler's talk from the GOTO Aarhus Conference 2012. https://www.youtube.com/watch?v=qI_g07C_Q5I

78. NoSQL? Copied from: Introduction to NoSQL. Martin Fowler's talk from the GOTO Aarhus Conference 2012. https://www.youtube.com/watch?v=qI_g07C_Q5I

79. Persistência Poliglota Copied from: Introduction to NoSQL. Martin Fowler's talk from the GOTO Aarhus Conference 2012. https://www.youtube.com/watch?v=qI_g07C_Q5I

83. História Modelo de Dados Consistência e NoSQL Usando Bancos NoSQl Exemplos e mais exemplos Referências legais

84. Problema: “Crawling” Twitter t C o m o o b t e r o m o m e n t o e m a s a r e s t a s a p a r e c e m e d e s a p a r e c e m n a r e d e ? 2 3 0 M d e u s u á r i o s e 7 0 0 M d e a r e s t a s

85. Problema: “Crawling” Twitter 2 3 0 M d e u s u á r i o s e 7 0 0 M d e a r e s t a s u1, u2, 12/04, 13/06 u1, u3, 01/01, 02/01 u4, u5, 09/11, 25/12 … C o m o o b t e r o m o m e n t o e m a s a r e s t a s a p a r e c e m e d e s a p a r e c e m n a r e d e ?

86. Problema: “Crawling” Twitter u1, u2, 12/04, 13/06 u1, u3, 01/01, 02/01 u4, u5, 09/11, 25/12 …

89. Problema: Recomendação C o m o f a z e r r e c o m e n d a ç õ e s a p a r t i r d o h i s t ó r i c o d o u s u á r i o , d e s u a r e d e s o c i a l , d e s u a s a v a l i a ç õ e s , … ?

90. Problema: Recomendação C o m o f a z e r r e c o m e n d a ç õ e s a p a r t i r d o h i s t ó r i c o d o u s u á r i o , d e s u a r e d e s o c i a l , d e s u a s a v a l i a ç õ e s , … ? C o m p l e x i d a d e d o r e l a c i o n a m e n t o e n t r e o s d a d o s

91. Problema: Recomendação C o m o f a z e r r e c o m e n d a ç õ e s a p a r t i r d o h i s t ó r i c o d o u s u á r i o , d e s u a r e d e s o c i a l , d e s u a s a v a l i a ç õ e s , … ? C o m p l e x i d a d e d o r e l a c i o n a m e n t o e n t r e o s d a d o s

92. Problema: Recomendação

93. Problema: E-commerce C o m o v o c ê c o n s t r u i r i a u m s i t e m a e - c o m m e r c e s e m j o i n s e s e m n o r m a l i z a ç ã o ? E s c a l á v e l

94. Problema: E-commerce  U s ar agr egaç ão e aninhamento a o invés de joins  D uplic ar dados a o invés d e nor maliz aç ão  C ons is tênc ia eventual E s c a l á v e l

95. Problema: E-commerce E s c a l á v e l

96. História Modelo de Dados Consistência e NoSQL Usando Bancos NoSQl Exemplos e mais exemplos Referências legais

99. Desmistificando NoSQL e Novas Tecnologias de Bancos de Dados Fabíola S. F. Pereira IFTM Dez 2016 www.lsi.facom.ufu.br/~fabiola

100. Referências  D Bs R ank ing: h t t p : / / d b - e n g i n e s . c o m / e n / r a n k i n g

102. Hands On Fabíola S. F. Pereira IFTM – Dez 2016

103. MongoDB

104. Neo4j

105. Redis

106. Cassandra

107. Twissandra

108. Twissandra

109. Twissandra User = { 'hermes': { 'password': '****', (other properties), }, } Tweet = { '7561a442-24e2-11df-8924-001ff3591711': { 'username': 'hermes', 'body': 'Trying out Twissandra. This is awesome!', }, }

110. Twissandra Followers = { 'hermes': { #friend id: timestamp of when the followership was added 'larry': '1267413962580791', 'curly': '1267413990076949', 'moe' : '1267414008133277', }, } Friends = { 'hermes': { # friend id: timestamp of when the friendship was added 'larry': '1267413962580791', 'curly': '1267413990076949', 'moe' : '1267414008133277', }, }

111. Twissandra – NoSQL queries GET tweet[utf8(‘hermes')]; GET tweet[utf8(‘hermes')][body];

113. E agora: que tipo de Banco de Dados devo usar? Fabíola Souza Pereira

116. Análise de Requisitos Conceitos Categorias de BDs & Ferramentas Metodologia para Arquitetura de Dados Estudo de Caso Conclusão

117. Análise de Requisitos = Fase das Perguntas

122. A C I D Atomicidade Isolamento DurabilidadeConsistência

123. Teorema CAP

124. CONSISTENCY AVAILABILITY PARTITION TOLERANCE

125. CONSISTENCY AVAILABILITY PARTITION TOLERANCE Todos os clientes têm sempre a MESMA VISÃO do sistema (commits atômicos)

126. CONSISTENCY AVAILABILITY PARTITION TOLERANCE O cliente pode SEMPRE ler e escrever

127. CONSISTENCY AVAILABILITY PARTITION TOLERANCE O sistema SEMPRE FUNCIONA mesmo que haja “partições” – quebra de comunicação entre nós

128. CONSISTENCY AVAILABILITY PARTITION TOLERANCE Escolha duas!

130. B A S E Basically Soft state Eventually consistent Available

136. Relacional Chave- valor Grafo Orientado a Coluna/ Tabular Orientado a Documento

137. Relacional Chave- valor Grafo Orientado a Coluna/ Tabular Orientado a Documento Complexidade dos Dados Volume

138. SGBDRs (MySQL, PostgreSQL) Cassandra, BigTable, Hbase, Hypertable Dynamo, MemcacheDB CouchDB, MongoDB, Riak Neo4j

139. CONSISTENCY AVAILABILITY PARTITION TOLERANCE Escolha duas! CA SGBDRs CP BigTable, Hypertable, HBase, MongoDB, MemcacheDB AP Cassandra, Riak, Dynamo

140. NoSQL = Não-relacional? Relacional = SQL?

141. NoSQL e SQL referem-se a linguagens de consulta Relacional e Não- relacional referem- se a modelo de dados

143. Fase das Perguntas Fase dos Conceitos Fase das Respostas

144. Requisitos Conceitos Escolha de Ferramentas

147. Que tal um aplicativo que todos os dias, às 8h da manhã, faz uma ligação para mim e toca minha música favorita?

149. Envia MMS Envia SMS Tradutor Captura Conteúdo Web Service Envial Email Ao receber SMS Ao receber MMS Math Faz ligação Get e Post DTMF Banco de Dados Concat Toca áudio Internet Utils Storage Telecom

150. Captura Conteúdo Faz Ligação Toca áudio

151. App Engine Components Event Handler Services MonitoringandStatistics LogsandSDRs Portal SCE Web ServicesGadgets CoreoIdentityServer 3rd Party and Web AppsUsers COREO Platform File Manager Scheduler WS Broker DB Manager Telecom Platforms SDP

152. E agora: que tipo de Banco de Dados devo usar no projeto COREO?

153. 1) Teremos dados estruturados? 2) Precisaremos de performance? 3) Teremos grande volume de dados? 4) Precisaremos de um mecanismo de cache de dados da sessão! 5) Precisaremos de um mecanismo de busca performático para interface web!

154. 6) Precisaremos de alta disponibilidade? 7) Precisaremos de partition tolerance? 8) Quais dados precisam de consistência? 9) Quais dados serão utilizados para BI e Analytics?

155. 1) Teremos dados estruturados? Cadastro de feedbacks do usuário Armazenamento de transações de recargas de créditos

156. 2) Precisaremos de performance?  Durante execução de aplicativos via AppEngine  O scheduler deve ser performático, pois espera-se grande volume de agendamentos

157. 3) Teremos grande volume de dados?  Plataforma dinâmica e para Web Armazenamento de logs de execução de aplicativos

158. E assim por diante…

159. Estruturado, relacional, SQL Backend de Serviços Performance, volume de dados AppEngine Armazenar sessões Portal Performance Listagem de Apps Volume, não estruturado Logs de Apps Volume, performance Scheduler Base centralizada Dados de Usuários

160. Estruturado, relacional, SQL ORACLE Performance, volume de dados CASSANDRA Armazenar sessões MEMCACHED Performance LUCENE/SOLR Volume, não estruturado HADOOP Volume, performance CASSANDRA Base centralizada OpenLDAP

161. Armazenamento de Dados no COREO

163. Analise seus requisitos Entenda cada conceito Conheça as ferramentas

165. Exemplos e Cases NoSQL Fabíola S. F. Pereira IFTM – Dez 2016

166. Log aggregation

167. Scheduler

168. Panama Papers

169. Crawling Tweets

170. AppEngine

171. Redundância Geográfica

172. Analytics

NoSQL e Novas Tecnologias

Recomendados

Recomendados

Mais conteúdo relacionado

Semelhante a NoSQL e Novas Tecnologias

Semelhante a NoSQL e Novas Tecnologias (20)

Último

Último (6)

NoSQL e Novas Tecnologias

Notas do Editor