Apresentação realizada no 1 SQL Day do Espírito Santo, com o intuito de fazer um overview sobre a plataforma de dados da Microsoft focado em Business Intelligence.
2. BI de gente grande
Muito além das planilhas
Vithor da Silva e Silva
MCT - Microsoft Certified Trainer
vithor@vssti.com.br
http://blog.vssti.com.br
3. • Consultor
• AX4B
• Instrutor Microsoft
• Mindworks
• Carreira profissional (+10 anos como DBA)
• Grupo Águia Branca (de estagiário à DBA),
Accenture e Allen Informática, AX4B Informática;
• Experiência técnica:
• SQL Server, Azure, Oracle, MySQL, IBM DB2 LUW,
Progress, C#, Nagios, Linux, etc...
• http://blog.vssti.com.br
4. Agenda
• Business Intelligence x Self-Service;
• Microsoft Data Platform;
• SQL Server Suíço;
Power BIExcel Outros
OLAP: SQL Server Analysis Services
(Tabular Model)
ETL: SQL Server Integration Services
DW: SQL Server DB Engine
ERP
CRM
5. Fera, tô precisando
de um relatório
novo!
Gera as planilhas que
eu faço!
Vou mandar, todo nosso
orçamento de guerra para
2019!
Quero um relatório bem
bacana, das ações que
faremos no próximo ano!
Me manda o
planilhão, faço “de
boas” no PowerQuery!
6. Tem planilha não fera, os
dados estão em um banco
DB2, com mais de 1 TB de
dados... Tem uns dados no
Oracle também, que
precisam ser cruzados.
Os cálculos que você criar, precisam
ser utilizados para novos
relatórios...
Plecisa complicar
assim?
O que você desenvolver, tem
que ficar local, nada de
nuvem!
7. Jovem, ainda tem uns arquivos
de um hacker nosso na Rússia
que precisamos automatizar o
download e importá-los para
cruzamento!
Chama otlo!
Preciso também que sejam tratados alguns
dados digitados incorretamente, em
outros idiomas e tal...
9. OLTP Apps Analytics Cubes & Services BI ReportsData Warehouse
Finance
CRM
ERP
Data Mart or
Operational Data Store
Arquitetura tradicional – “mínimo”
10. OLTP Apps Big Data & Analytics Comprehensive BI
Streaming
IoT
Social
Modern Data Warehouse
Big Data Storage
NoSQL
Data Lake
CRM
ERP
Business Analyst
BI Users
IT Pro
Data Mart or
Operational Data
Store
+ other data sources
LOB
Finance
Web
Arquitetura moderna – “sonho”
11. SQL Server Suíço
Database Engine Integration Services Analysis Services
Column Store
In Memory
Slowly Changing
Dimension
DAX
Self-Service BI
MDX
Paginated Reports
Filegroups
Change Data Capture
Master Data Services Data Quality Services
File Table
PolyBase
Views Indexed Index R Python
12. Demo
• SQL Server para DW;
• SQL Server para ETL;
• SQL Server para OLAP;
• Power BI;
13. Data Quality Services
• O SQL Server Data Quality Services (DQS) fornece
uma solução de limpeza de dados controlada por
conhecimento. O DQS permite que você crie uma
base de dados de conhecimento e use-a para
realizar a correção de dados e a eliminação de
duplicação de seus dados, usando meios
interativos e por computador.
• Você pode usar serviços de dados de referência
baseados em nuvem e criar uma solução de
gerenciamento de dados que integra o DQS com o
SQL Server Integration Services e o Master Data
Services.
15. Master Data Services
• Master Data Services é a solução do SQL Server
para gerenciamento de dados mestres. Uma
solução criada no Master Data Services ajuda a
assegurar que o relatório e a análise sejam
baseados nas informações corretas.
• Usando o Master Data Services, você cria um
repositório central para seus dados mestres e
mantém um registro auditável e seguro desses
dados conforme eles forem alterados com o
tempo.
16. www.nossalojaCAR.com.br
/nossalojaCAR
Call Center Nossa LojaCAR
Matriz da Nossa LojaCAR
Wesley Carlos Stratovarius
27 Anos
CPF: 058.045.047-29
Avenida César Hilal, Nº 50, Vitória – ES
Telefone: 27 3980-4536
wesley@corp.com.br
Cliente
Stratovarius curtiu sua página...
Uesley Carlos Estratovarius tira
dúvidas sobre o carro
Ueslei Carlos Estratovarius
faz um test-drive
Wesley Carlos Stratovarius
compra o carro
17. Master Data Hub
CRM
Pedidos de
Compra
Cliente Nome Endereço Telefone
1235 Vithor da Silva e Silva Av. César Hilal, 350, Vitória +55 27 3339-4520
Código Nome Endereço Telefone
10 Vitor S. Silva Av. Rio branco, 1050,
Vitória
+55 27 3339-4520
Contato Nome Endereço Telefone
25 Vithor Silva Avenida César Hilal, 350, Vitória +55 27 3339-4520
Marketing
Código Cliente Contato Nome Endereço Telefone
10 1235 25 Vithor da Silva e Silva Avenida César Hilal, 350, Vitória +55 27 3339-4520
DQS
Master Data Services + DQS
18. Machine Learning Services
• Os serviços do Microsoft Machine Learning dão
suporte à integração de aprendizado de máquina em
fluxos de trabalho da empresa usando as linguagens
populares R e Python.
• Os Serviços de Machine Learning (no banco de dados)
integram R e Python com o SQL Server, facilitando a
criação, a readaptação e a pontuação dos modelos ao
chamar procedimentos armazenados.
• O Microsoft Machine Learning Server dá suporte de
nível corporativo para R e Python, sem a necessidade
do SQL Server.
19. BI de gente grande
Muito além das planilhas
Vithor da Silva e Silva
MCT - Microsoft Certified Trainer
vithor@vssti.com.br
http://blog.vssti.com.br
Notas do Editor
In a modern system, i.e. Dartmouth Hitchcock, new types of data from new sources need new ways of being stored. Businesses need a more flexible data architecture to take advantage of the opportunity to embrace data.
<click>
<click>
More and more data is digitally born. In addition to unstructured data such as weblogs and social data, we have the Internet of Things where assets themselves are creating data. All this new data needs to be integrated so businesses can make decisions on the most information in real-time.
<click>
There are new ways of storing unstructured data that can be integrated into your existing data warehouse. You can now store data in its native form, instead of being restricted to tabular format. Use NoSQL for schema-free data like videos, or a data lake for data that is varied in volume, variety and velocity.
<click>
And with all these new data sources and types, we have new ways to analyze. As we mentioned before, this is where a ton of investment is happening in the industry.
With stream processing you can process data for analysis directly from the source
Predictive analytics lets users analyze data from the past and the present to make predictions about what will happen in the future. This can be anything from predicting fraud risk to recommending products to customers.
<click>
Finally, in a company that embraces data, it is critical that more users get access to data and reporting in real time. While IT can still manage access rights to sensitive data, and data analysts can still produce reports, now any user can query the data they need, right from their mobile device.
<click>
All of this can now happen on-premises or in the cloud.
Maybe data that is subject to regulatory compliance, or has extra security needs stays on premises.
And functions where the ability to quickly scale up and down is key may live in the cloud.
Today you can build a hybrid environment that lets you choose what’s on premises and what’s better suited for the cloud
Consistent experience is everything
Common development and management tools
Common T-SQL surface area
Simple cloud migration
SQL Server Database para DW
https://docs.microsoft.com/pt-br/sql/relational-databases/indexes/columnstore-indexes-design-guidance?view=sql-server-2017