Baixar para ler offline
Carregado porVithor da Silva e Silva
Bi gente grande
O documento aborda a experiência e conhecimentos de Vithor da Silva e Silva em Business Intelligence, destacando sua experiência com diversas tecnologias de banco de dados, ferramentas de ETL e serviços de qualidade de dados. Ele também discute a integração de Machine Learning nos fluxos de trabalho da empresa, utilizando linguagens como R e Python. Além disso, menciona a importância do gerenciamento de dados mestres e a evolução das arquiteturas de BI.
Bi gente grande
- 2. BI de gentegrande Muito além das planilhas Vithor da Silva e Silva MCT - Microsoft Certified Trainer vithor@vssti.com.br http://blog.vssti.com.br
- 3. • Consultor • AX4B •Instrutor Microsoft • Mindworks • Carreira profissional (+10 anos como DBA) • Grupo Águia Branca (de estagiário à DBA), Accenture e Allen Informática, AX4B Informática; • Experiência técnica: • SQL Server, Azure, Oracle, MySQL, IBM DB2 LUW, Progress, C#, Nagios, Linux, etc... • http://blog.vssti.com.br
- 4. Agenda • Business Intelligencex Self-Service; • Microsoft Data Platform; • SQL Server Suíço; Power BIExcel Outros OLAP: SQL Server Analysis Services (Tabular Model) ETL: SQL Server Integration Services DW: SQL Server DB Engine ERP CRM
- 5. Fera, tô precisando deum relatório novo! Gera as planilhas que eu faço! Vou mandar, todo nosso orçamento de guerra para 2019! Quero um relatório bem bacana, das ações que faremos no próximo ano! Me manda o planilhão, faço “de boas” no PowerQuery!
- 6. Tem planilha nãofera, os dados estão em um banco DB2, com mais de 1 TB de dados... Tem uns dados no Oracle também, que precisam ser cruzados. Os cálculos que você criar, precisam ser utilizados para novos relatórios... Plecisa complicar assim? O que você desenvolver, tem que ficar local, nada de nuvem!
- 7. Jovem, ainda temuns arquivos de um hacker nosso na Rússia que precisamos automatizar o download e importá-los para cruzamento! Chama otlo! Preciso também que sejam tratados alguns dados digitados incorretamente, em outros idiomas e tal...
- 8. A Evolução doBI Empresas de Nicho
- 9. OLTP Apps AnalyticsCubes & Services BI ReportsData Warehouse Finance CRM ERP Data Mart or Operational Data Store Arquitetura tradicional – “mínimo”
- 10. OLTP Apps BigData & Analytics Comprehensive BI Streaming IoT Social Modern Data Warehouse Big Data Storage NoSQL Data Lake CRM ERP Business Analyst BI Users IT Pro Data Mart or Operational Data Store + other data sources LOB Finance Web Arquitetura moderna – “sonho”
- 11. SQL Server Suíço DatabaseEngine Integration Services Analysis Services Column Store In Memory Slowly Changing Dimension DAX Self-Service BI MDX Paginated Reports Filegroups Change Data Capture Master Data Services Data Quality Services File Table PolyBase Views Indexed Index R Python
- 12. Demo • SQL Serverpara DW; • SQL Server para ETL; • SQL Server para OLAP; • Power BI;
- 13. Data Quality Services •O SQL Server Data Quality Services (DQS) fornece uma solução de limpeza de dados controlada por conhecimento. O DQS permite que você crie uma base de dados de conhecimento e use-a para realizar a correção de dados e a eliminação de duplicação de seus dados, usando meios interativos e por computador. • Você pode usar serviços de dados de referência baseados em nuvem e criar uma solução de gerenciamento de dados que integra o DQS com o SQL Server Integration Services e o Master Data Services.
- 14.
- 15. Master Data Services •Master Data Services é a solução do SQL Server para gerenciamento de dados mestres. Uma solução criada no Master Data Services ajuda a assegurar que o relatório e a análise sejam baseados nas informações corretas. • Usando o Master Data Services, você cria um repositório central para seus dados mestres e mantém um registro auditável e seguro desses dados conforme eles forem alterados com o tempo.
- 16. www.nossalojaCAR.com.br /nossalojaCAR Call Center NossaLojaCAR Matriz da Nossa LojaCAR Wesley Carlos Stratovarius 27 Anos CPF: 058.045.047-29 Avenida César Hilal, Nº 50, Vitória – ES Telefone: 27 3980-4536 wesley@corp.com.br Cliente Stratovarius curtiu sua página... Uesley Carlos Estratovarius tira dúvidas sobre o carro Ueslei Carlos Estratovarius faz um test-drive Wesley Carlos Stratovarius compra o carro
- 17. Master Data Hub CRM Pedidosde Compra Cliente Nome Endereço Telefone 1235 Vithor da Silva e Silva Av. César Hilal, 350, Vitória +55 27 3339-4520 Código Nome Endereço Telefone 10 Vitor S. Silva Av. Rio branco, 1050, Vitória +55 27 3339-4520 Contato Nome Endereço Telefone 25 Vithor Silva Avenida César Hilal, 350, Vitória +55 27 3339-4520 Marketing Código Cliente Contato Nome Endereço Telefone 10 1235 25 Vithor da Silva e Silva Avenida César Hilal, 350, Vitória +55 27 3339-4520 DQS Master Data Services + DQS
- 18. Machine Learning Services •Os serviços do Microsoft Machine Learning dão suporte à integração de aprendizado de máquina em fluxos de trabalho da empresa usando as linguagens populares R e Python. • Os Serviços de Machine Learning (no banco de dados) integram R e Python com o SQL Server, facilitando a criação, a readaptação e a pontuação dos modelos ao chamar procedimentos armazenados. • O Microsoft Machine Learning Server dá suporte de nível corporativo para R e Python, sem a necessidade do SQL Server.
- 19. BI de gentegrande Muito além das planilhas Vithor da Silva e Silva MCT - Microsoft Certified Trainer vithor@vssti.com.br http://blog.vssti.com.br
Notas do Editor
- #11 In a modern system, i.e. Dartmouth Hitchcock, new types of data from new sources need new ways of being stored. Businesses need a more flexible data architecture to take advantage of the opportunity to embrace data. <click> <click> More and more data is digitally born. In addition to unstructured data such as weblogs and social data, we have the Internet of Things where assets themselves are creating data. All this new data needs to be integrated so businesses can make decisions on the most information in real-time. <click> There are new ways of storing unstructured data that can be integrated into your existing data warehouse. You can now store data in its native form, instead of being restricted to tabular format. Use NoSQL for schema-free data like videos, or a data lake for data that is varied in volume, variety and velocity. <click> And with all these new data sources and types, we have new ways to analyze. As we mentioned before, this is where a ton of investment is happening in the industry. With stream processing you can process data for analysis directly from the source Predictive analytics lets users analyze data from the past and the present to make predictions about what will happen in the future. This can be anything from predicting fraud risk to recommending products to customers. <click> Finally, in a company that embraces data, it is critical that more users get access to data and reporting in real time. While IT can still manage access rights to sensitive data, and data analysts can still produce reports, now any user can query the data they need, right from their mobile device. <click> All of this can now happen on-premises or in the cloud. Maybe data that is subject to regulatory compliance, or has extra security needs stays on premises. And functions where the ability to quickly scale up and down is key may live in the cloud. Today you can build a hybrid environment that lets you choose what’s on premises and what’s better suited for the cloud Consistent experience is everything Common development and management tools Common T-SQL surface area Simple cloud migration
- #13 SQL Server Database para DW https://docs.microsoft.com/pt-br/sql/relational-databases/indexes/columnstore-indexes-design-guidance?view=sql-server-2017