Baixado 230 vezes
Carregado porFATEC São José dos Campos
Hello NoSQL World
Este documento discute o movimento NoSQL, seus bancos de dados semiestruturados, vantagens e desvantagens em comparação aos bancos de dados relacionais e sua posição no mercado atual. Apresenta exemplos de uso de bancos NoSQL como MongoDB, Cassandra e Redis para armazenar dados não estruturados como JSON e análises de sentimentos em redes sociais. Discute também a escalabilidade desses bancos em comparação aos bancos relacionais.
Mais conteúdo relacionado
Hello NoSQL World
- 1. NOSQL: um panoramadeste movimento de bancos de dados semi estruturados, suas vantagens e desvantagens e posicionamento no mercado atual Fernando Masanori Ashikaga FATEC São José dos Campos, Centro Paula Souza 10ª edição da Escola Regional de Banco de Dados IF Catarinense – Campus São Francisco do Sul 23 a 25 de abril de 2014
- 2. • Software Express •Credicard Mastercard • PriceWaterhouseCoopers • ITAU BankBoston • Graduado IME-USP • Mestrado ITA • FATEC SJC (I love teaching) • Cofundador SJC Hacker Space • Palestrante: PyConUS, PyCon Italy, JoinCommunity, Python Brasil, NoSQLbr, FISL, Campus Party, RuPy, The Developers Conference, DevDay, etc • Nota que recebi dos alunos: 9,7 • Voluntário em projetos sociais ligados à educação • http://about.me/fmasanori CV Resumo
- 3.
- 4. Centro Paula Souza FATEC’se ETEC’s
- 5.
- 6.
- 7. Como comecei comNoSQL
- 8. • Na faculdademe ensinaram que deveria normalizar os dados • E que o mundo era SQL • No entanto: – Comecei a dar aulas de BI (analytics), e denormalizar era fundamental – Persistir dados de redes sociais: bastante trabalhoso no mundo relacional Origem
- 9. VENDAS CLIENTE TEMPO PRODUTO LOJAPROMOÇÃO (Luiz H. N.Lorena, 2011) Star Schema
- 10.
- 11.
- 12. Operacional Analítico Propósito Executarum processo Avaliar um processo Estilo interação Insert, update, delete, query Query (read-only) Escopo interação Transação individual Agregação Padrão query Previsível e estável Imprevisível Foco temporal Atual Histórico e atual Otimização Update concorrente Query (agregação) Projeto ER na 3FN Star Schema ou Cubo (Adamson, 2010) Operational x Analytics
- 13. 13 Posso usar aextensão connect by sql do Oracle para a recursão? Performance? Hierarquias de clientes corporativos com profundidade fixa ou variável
- 14. 14 Note que autilização da tabela ponte é opcional; nem a tabela de dimensão Cliente nem a tabela de fatos precisa ser modificada em qualquer aspecto. Se a tabela ponte for descartada, a tabela de dimensão Cliente se associa à tabela de fatos de maneira convencional. Tabela Ponte
- 15. 15 Temos uma linhapara cada caminho mostrado na árvore Tabela Ponte
- 16. 16 Lucro de umaempresa cliente com suas subsidiárias
- 17. 17 Lucro de todasas corporações de S. Francisco em janeiro de 2002
- 18.
- 19.
- 20. Sentiment Analysis (Twitter) menina:aaaaaaaaaaaaaa eu NAO GOSTO DELE amiga: e vc ficará rica , e irá dividir sua riqueza cm sua amg aq *u* menina: kkkkkk como assim eu fikar rica pq? amiga: pq ele é inteligente , e vai arranjar um ótimo emprego , e ganhar mt dinheiro rs menina: kkkkk ele é inteligente como assim ?? amiga: AQUELE VIADO PASSOU NO CASDINHO, E EU NÃO !
- 21. Sentiment Analysis (Twitter) Obs.:não é o mesmo registro...
- 22. Sentiment Analysis (Facebook) Sabeo que é ter vontade de acordar cedo no domingo para estudar?!? Bom, eu também não sei explicar, mas é o que estou sentindo no momento .-. Bora Casdinho!
- 23. Sentiment Analysis (Facebook) Obs.:não é o mesmo registro...
- 24.
- 25.
- 26. Snowflakes like documents “Snowflakesrepresent documents, since every document is beautiful and unique”. MongoDB, The Definitive Guide.
- 27.
- 28. JSON persistence • MongoDB •CouchDB • RethinkDB • PostgreSQL (SQL?)
- 29. • Como persistirdados sem normalizar, sem um BD relacional? • Somos “formatados” a pensar no modelo relacional • “One size fits all” NoSQL?
- 30.
- 31. “It’s better tothink of NoSQL as a movement rather than a technology” Martin Fowler NoSQL
- 32. Dynamic Schema O queas empresas esperam de um NoSQL?
- 33. Flexible Schema O queas empresas esperam de um NoSQL?
- 34.
- 35.
- 36.
- 37. • The differencebetween the relational model and the in- memory data structures (Fowler) • Limitations of relational DB: values only in tuples • We need a more complex structure than a set of tuples as a data unit Impedance mismatch
- 38.
- 39.
- 40. Questions vs Answers RDBMSMongoDB Data Storage Data Use Answers Questions Botton Up Top Down
- 41.
- 42. If I hadasked people what they wanted, they would have said faster horses. Henry Ford. Scalability
- 43. • Escalabilidade paraleituras num banco relacional: trabalhoso • Escalabilidade para escritas num banco relacional: MUITO, MUITO, trabalhoso • (se conseguir seu BD deixou de ser relacional...) Escalabilidade vertical
- 44.
- 45.
- 46.
- 47. “Eventual” pt-br: podenão ocorrer “Eventual” inglês: irá ocorrer em breve Eventually Consistent
- 48. Eventually Consistent Offline ATMhave Eventually Consistent transactions
- 49.
- 50. NoSQL vale apena
- 51. • Bigtable: Adistributed storage system for structured data, 2006 • Dynamo: Amazon’s highly available key-value store, 2007 Dois artigos famosos
- 52.
- 53.
- 54. Specialized Databases No “onesize fits for all” DB
- 55. • Open Source •Document (JSON) • Distributed • Rich Query Language • Great Community • Full Text Search MongoDB
- 56. • Schema Design •Full Featured Indexes • Aggregation Framework • Replication and Sharding MongoDB
- 57. Terminology RDBMS MongoDB Database Database TableCollection Row Document Index Index Join Embedded Doc Foreign Key Reference By 10gen
- 58.
- 59.
- 60.
- 61.
- 62. Easy Taxi Case Demos Obs.:link para seguir a oficina completa que dei no FISL
- 63. MongoDB for BI •Analytics are now popular among proprietary vendors • SAP Sybase columnar In- Memory • Oracle columnar In-Memory • Why columnar for analytics? • There is a advantage?
- 64. MongoDB for BI •Is possible to MongoDB create indexes in any attribute • Sharding Fact Table and duplicating Dimensions across replicas • Perhaps there is no memory for all attribute indexes you need…
- 65.
- 66. Schema Design (EmilyStolfo) http://www.mongodb.com/presentations/schema-design-3
- 67. • 3 yearsago • Benchmark LucidDB x MySQL for Business Intelligence applications • LucidDB: columnar NoSQL for BI • Analytic applications: – Read only – Massive aggregations – Denormalization LucidDB columnar example
- 68. • Which moviegenres generate the most revenue? (Q1) • How is our revenue evolving over time? (Q2) • At which time of day do costumers place the most orders? (Q3) • How effective are the promotions we launch? (Q4) Queries
- 69. 0 5000 10000 15000 20000 25000 30000 35000 Q1 Q2 Q3Q4 LucidDB MySQL Average time (ms)
- 70. (Timo Elliott, SAP) RelationalDB (row full scan)
- 71.
- 72. Cassandra: • Distribuído • Toleranteà falhas • Escalável • Orientado a colunas Columnar DB
- 73. Bigtable, 2006 Dynamo,2007 Open Source, 2008 Apache, 2009 Cassandra, 2010 Columnar DB
- 75. Cassandra vs MySQL(50GB) MySQL: ~300ms write ~350ms read Cassandra: ~0.12ms write ~15ms read
- 77. • Data StructureServer • In-memory dataset • Persistence options
- 78. • CPU performance175X (96) • Os discos continuam iguais • Memory 1M faster • 1M = $1 (2000) x 1 cent (2010)
- 79. Talk is cheap. Showme the code. Linus Torvalds
- 80.
- 81.
- 82.
- 83.
- 84. Obs.: não apareceo token de autenticação Twitter and Facebook data
- 85.
- 86.
- 87.
- 88.
- 89.
- 90.
- 91.
- 92.
- 93. Bigliografia Google IO 2012- SQL vs NoSQL Battle of the Backends
- 94.