Este documento resume uma apresentação sobre mineração de dados com SQL Server 2008 R2. Apresenta conceitos básicos de mineração de dados, como classificação, agrupamento, associação e regressão. Detalha os algoritmos de mineração disponíveis no SQL Server e em outros produtos da Microsoft como Excel e Visio. Demonstra como realizar mineração de dados no SQL Server, Integration Services e em add-ins para Office.
Governança de Dados para BI, em tempos de Self-Service BIClaudio Bonel
Nesta palestra apresentamos o designing de soluções de BI e de Self-Service BI, contextualizando a governança de dados com tecnologias Microsoft (SQL Server DB, SS Integration Services, SQL Server Analysis Services e Power BI)
Serviços prestados de BI
Criação e manutenção de rotinas de ETL / ELT utilizando T-SQL, Integration Services (SSIS), Azure Data Factory, Azure Synapse Pipelines ou Pentaho (PDI)
Migração de projetos de BI On-premisses (local) para Azure como serviço (SaaS)
Modelagem e arquitetura de projetos de BI e banco de dados
Performance Tuning em processos de carga de ETL demorados ou pesados para o banco
Criação de rotinas de ETL para automatizar processos manuais que extraem dados do sistema e realizam diversos tratamentos/Macro/Fórmulas no Excel
Automatização de processos utilizando serviços do Azure para ler dados de origens diversas (Ex: E-mail) e gravar em tabelas do banco para consumir no Power BI
Criação e manutenção de cubos OLAP do Analysis Services (Multidimensional e Tabular) para carregar grandes volumes de dados para o Power BI de forma instantânea
Criação e manutenção de rotinas Integration Services
Criação/manutenção de relatórios utilizando Transact-SQL e envio por e-mail (Excel ou CSV)
Criação/manutenção de relatórios utilizando Power BI (Pro, Premium, Embedded ou Report Server)
Criação/manutenção de relatórios paginados utilizando Report Builder (Reporting Services ou Power BI)
Apoio na implantação de projetos de BI e Power BI
Análise de erros e problemas em relatórios, fórmulas, gateway, pacotes do SSIS e em cubos OLAP do Analysis Services
Treinamentos internos personalizados de banco de dados, T-SQL, Integration Services, Analysis Services, Reporting Services e Power BI
Venda de Licenças de Power BI (Conta Pro, Premium, Embedded e Report Server)
Voltado para a geração de informações e gráficos gerenciais para as áreas tática e estratégica empresariais, o Senior BI é uma ferramenta flexível que permite a criação de gráficos, indicadores e cubos específicos.
Esta slide foi feito para o Papo Reto sobre a segunda e ultima parte da Analise de SWOT
Nesta apresentação, Wilson foca no estudo do Micro Ambiente, que consiste em estudar as variáveis internas que afetam a forma da empresa prestar um serviço aos seus clientes. É nesta etapa que serão encontradas as forças e fraquezas que a empresa tem.
Wilson divide o estudo do Micro ambiente em 6 analises menores:
Capacidades Internas
Atendimento ao cliente
Site: Analise de Tráfego
Site Experiência do Usuário
Monitoramento Social
SEM – SEO
Ao final, Wilson mostra o que fazer com a Matriz montada e dá algumas recomendações que te ajudarão durante toda a analise.
Melhore seu conhecimento sobre analise de dados com a versao mais recente do ...Minitab, LLC
A capacidade de extrair e comunicar informações significativas de seus dados é uma habilidade crítica, principalmente agora quando todos devemos trabalhar de maneira mais inteligente e eficiente. Você tem mais dados disponíveis para você e para sua organização do que nunca, mas você está aproveitando-os efetivamente usando as melhores formas de visualizar e analisar?
Aprenda como melhorar seu conhecimento sobre dados usando nossa versão mais recente do Minitab Statistical Software. Ajudaremos você a descobrir maneiras novas e aprimoradas de encontrar informações confiáveis e aprender a comunicá-las melhor, mais rápido e mais facilmente.
Você também aprenderá como as árvores de classificação e regressão (CART®) os recursos de análise preditiva do Minitab para melhor permitir que você tome decisões de maneira proativa.
PowerBI na Pártica com Indicadores Elicitados com MindMap e Canvas consumidos...Aislan Honorato
PowerBI na Pártica com Indicadores Elicitados com MindMap e Canvas consumidos por serviços de SSIS e SSAS
PowerBI na prática consumindo Indicadores elicitados: MindMap e Canvas e serviços de SSIS
(SQL Server Integration Services) e SSAS (SQL Server Analysis Services).
Mostrando o SCRUM tambem como ferramenta de planejamento associado ao MindMap e Canvas.
E, também a técnica de 5W2H no levantamento da situação-problema.
Por que o Microsoft Power BI? Um breve overview sobre BILeonardo Karpinski
Nesta apresentação eu mostro um pouco do conteúdo que disponibilizo no meu curso de Power BI Aplicado.
Para conferir o conteúdo completo basta acessar o seguinte link:
https://www.udemy.com/power-bi-aplicado/?couponCode=DESCONTOLKD
Apresentação do produto Wiseminer Analytics durante o evento Qualität IT Tech Summit no Rio de Janeiro no último dia 15/10/2015. O Wiseminer é uma ferramenta orientada para analistas de dados e negócios que precisam de agilidade nas atividades diárias de análises de dados de múltiplas fontes e plataformas.
Wiseminer: Data Blending & Data PreparationLeonardo Couto
Orientado ao analista da área de negócios e tecnologia da informação, o software Wiseminer oferece uma poderosa combinação de funcionalidades de data mining e data blending, em uma plataforma de software end-to-end, que possibilita ao analista de dados descobrir insights de negócios em minutos, e não dias ou semanas, tornando o processo de tomada de decisão da empresa mais ágil, preciso e inteligente, resultando em ações que impulsionam a estratégia de negócios da empresa.
Governança de Dados para BI, em tempos de Self-Service BIClaudio Bonel
Nesta palestra apresentamos o designing de soluções de BI e de Self-Service BI, contextualizando a governança de dados com tecnologias Microsoft (SQL Server DB, SS Integration Services, SQL Server Analysis Services e Power BI)
Serviços prestados de BI
Criação e manutenção de rotinas de ETL / ELT utilizando T-SQL, Integration Services (SSIS), Azure Data Factory, Azure Synapse Pipelines ou Pentaho (PDI)
Migração de projetos de BI On-premisses (local) para Azure como serviço (SaaS)
Modelagem e arquitetura de projetos de BI e banco de dados
Performance Tuning em processos de carga de ETL demorados ou pesados para o banco
Criação de rotinas de ETL para automatizar processos manuais que extraem dados do sistema e realizam diversos tratamentos/Macro/Fórmulas no Excel
Automatização de processos utilizando serviços do Azure para ler dados de origens diversas (Ex: E-mail) e gravar em tabelas do banco para consumir no Power BI
Criação e manutenção de cubos OLAP do Analysis Services (Multidimensional e Tabular) para carregar grandes volumes de dados para o Power BI de forma instantânea
Criação e manutenção de rotinas Integration Services
Criação/manutenção de relatórios utilizando Transact-SQL e envio por e-mail (Excel ou CSV)
Criação/manutenção de relatórios utilizando Power BI (Pro, Premium, Embedded ou Report Server)
Criação/manutenção de relatórios paginados utilizando Report Builder (Reporting Services ou Power BI)
Apoio na implantação de projetos de BI e Power BI
Análise de erros e problemas em relatórios, fórmulas, gateway, pacotes do SSIS e em cubos OLAP do Analysis Services
Treinamentos internos personalizados de banco de dados, T-SQL, Integration Services, Analysis Services, Reporting Services e Power BI
Venda de Licenças de Power BI (Conta Pro, Premium, Embedded e Report Server)
Voltado para a geração de informações e gráficos gerenciais para as áreas tática e estratégica empresariais, o Senior BI é uma ferramenta flexível que permite a criação de gráficos, indicadores e cubos específicos.
Esta slide foi feito para o Papo Reto sobre a segunda e ultima parte da Analise de SWOT
Nesta apresentação, Wilson foca no estudo do Micro Ambiente, que consiste em estudar as variáveis internas que afetam a forma da empresa prestar um serviço aos seus clientes. É nesta etapa que serão encontradas as forças e fraquezas que a empresa tem.
Wilson divide o estudo do Micro ambiente em 6 analises menores:
Capacidades Internas
Atendimento ao cliente
Site: Analise de Tráfego
Site Experiência do Usuário
Monitoramento Social
SEM – SEO
Ao final, Wilson mostra o que fazer com a Matriz montada e dá algumas recomendações que te ajudarão durante toda a analise.
Melhore seu conhecimento sobre analise de dados com a versao mais recente do ...Minitab, LLC
A capacidade de extrair e comunicar informações significativas de seus dados é uma habilidade crítica, principalmente agora quando todos devemos trabalhar de maneira mais inteligente e eficiente. Você tem mais dados disponíveis para você e para sua organização do que nunca, mas você está aproveitando-os efetivamente usando as melhores formas de visualizar e analisar?
Aprenda como melhorar seu conhecimento sobre dados usando nossa versão mais recente do Minitab Statistical Software. Ajudaremos você a descobrir maneiras novas e aprimoradas de encontrar informações confiáveis e aprender a comunicá-las melhor, mais rápido e mais facilmente.
Você também aprenderá como as árvores de classificação e regressão (CART®) os recursos de análise preditiva do Minitab para melhor permitir que você tome decisões de maneira proativa.
PowerBI na Pártica com Indicadores Elicitados com MindMap e Canvas consumidos...Aislan Honorato
PowerBI na Pártica com Indicadores Elicitados com MindMap e Canvas consumidos por serviços de SSIS e SSAS
PowerBI na prática consumindo Indicadores elicitados: MindMap e Canvas e serviços de SSIS
(SQL Server Integration Services) e SSAS (SQL Server Analysis Services).
Mostrando o SCRUM tambem como ferramenta de planejamento associado ao MindMap e Canvas.
E, também a técnica de 5W2H no levantamento da situação-problema.
Por que o Microsoft Power BI? Um breve overview sobre BILeonardo Karpinski
Nesta apresentação eu mostro um pouco do conteúdo que disponibilizo no meu curso de Power BI Aplicado.
Para conferir o conteúdo completo basta acessar o seguinte link:
https://www.udemy.com/power-bi-aplicado/?couponCode=DESCONTOLKD
Apresentação do produto Wiseminer Analytics durante o evento Qualität IT Tech Summit no Rio de Janeiro no último dia 15/10/2015. O Wiseminer é uma ferramenta orientada para analistas de dados e negócios que precisam de agilidade nas atividades diárias de análises de dados de múltiplas fontes e plataformas.
Wiseminer: Data Blending & Data PreparationLeonardo Couto
Orientado ao analista da área de negócios e tecnologia da informação, o software Wiseminer oferece uma poderosa combinação de funcionalidades de data mining e data blending, em uma plataforma de software end-to-end, que possibilita ao analista de dados descobrir insights de negócios em minutos, e não dias ou semanas, tornando o processo de tomada de decisão da empresa mais ágil, preciso e inteligente, resultando em ações que impulsionam a estratégia de negócios da empresa.
Semelhante a Mineração com sql server 2008 r2 (20)
2. Rodrigo Ramos Dornel
MCP, MCTS, MCITP e MCT
Consultor e Professor Universitário
Mestrando em Computação na UFPR
Twitter: @rdornel
Site/Blog: rdornel.com
Email: rodrigo@rdornel.com
3. Agenda
Introdução: O que é Mineração de Dados.
Conceitos de Mercado: Business Intelligence – BI ou
Business Analytics – BA.
Mineração de Dados com SQL Server.
Mineração de Dados no Integration Services.
Linguagem DMX
Mineração no Excel.
Mineração no Visio.
Demo
4. Introdução: O que é Mineração de Dados?
Mineração de dados é definido como um processo de análise de dados
por algoritmos e modelos matemáticos com o objetivo de encontrar
padrões e tendências nos dados de entrada.
Importante frisar que nem sempre a saída é um modelo final, este
modelo poder ser usado em outras tarefas e passar por refinamentos até
se chegar ao modelo desejado.
Geralmente dividido em dois grupos de tarefas:
• Descritivas (Agrupamento e Regras de Associação)
• Preditivas (Classificação e Regressão)
5. Introdução: O que é Mineração de Dados?
Também temos outros grupos dentro dos grupos citados
anteriormente:
• Supervisionado: Onde o aprendizado é assistido por um
padrão, ou seja, você aprende baseado em algum conjunto de
dados existente, geralmente chamado de base de treinamento.
Neste caso você conhece o “label” das classes, e procura
classificar os dados de entrada com base em alguma
similaridade.
• Não Supervisionado: você não conhece o “label” das classes, o
algoritmos vai encontrar um meio de classificar os dados.
6. Exemplo 1
Treinamento
Altura Sexo Label Base de Testes
Altura Sexo Label
1,80 0 Alto
1,75 0 ???
1,50 0 Baixo
∑(1,80-1,75)+(0-0) = 0,05
(Este será o responsável pelo Label do novo registro “Alto”)
∑(1,50-1,75)+(0-0) = 0,25
Exemplo baseado em distância.
7. Exemplo 2
{2,4,6,3,7,9}
Target Objetivo 2 Classes
Somatório = 31
Média = 5,16
Grupo 1 < 5,16 = {2,3,4}
Grupo 2 > 5,16 = {6,7,9}
8. Terminologia
Dados Contínuos: Altura, 1.76, 1.87 e 1.55
Dados Discretos: > 1 & < 5, >5 & <10
Confidência e confiança: representa a frequência de ocorrência do
item, ou seja, quantas vezes aquele caso ocorre. Indica a
probabilidade de um evento em decorrência do outro.
Suporte: É a representação de quantas vezes determinado evento
ocorre em relação a outro, neste caso deixa de ser probabilidade.
Acurácia: O quanto algo está acurado, perfeito ou preciso.
9. Conceitos de Mercado: Business
Intelligence – BI ou Business Analytics - BA?
Business Intelligence leva até a empresa a consolidação dos
dados, já o Business Analytics (Mineração de Dados) visa explicar
a relação entre os números apresentados por essa consolidação.
Business Analytics é o nome comercial para o conjunto de
tecnologias de análise de dados com objetivo de gerar tendências
e descrições do comportamento dos dados.
10. Estrutura de um projeto
• Fonte de Dados
• Escolha da Tarefa
• Processamento
• Visualização
12. Arquitetura Lógica
Árvores de Decisão
Clustering (Agrupamento)
MSC
MTS
Saída
Data Source Naive Bayes Microsoft
Rede Neural Microsoft
Regras de Associação
Regressão Linear
Regressão Logística
13. Árvore de Decisão
O algoritmo Árvores de Decisão da Microsoft é um algoritmo de
classificação e regressão para uso em modelagens de previsão de
atributos discretos e contínuos.
Por exemplo, em um cenário em que se deseja prever a tendência
dos clientes em adquirir uma bicicleta, se 9 de 10 clientes jovens
comprarem uma bicicleta, mas apenas 2 de 10 clientes mais
velhos fizerem o mesmo, o algoritmo infere que idade é um bom
indicador para a compra de bicicletas.
14. Clustering (Agrupamento)
O algoritmo Microsoft Clustering é um algoritmo de segmentação.
O algoritmo usa técnicas iterativas para agrupar casos em um
conjunto de dados em clusters que contenham características
semelhantes.
Erro
Rejeição
Outliers
15. MSC - Microsoft Sequence Clustering: Algoritmo MSC é um híbrido
que usa a análise de cadeia Markov para identificar seqüências
ordenadas e combina os resultados dessa análise com técnicas de
clusterização para gerar clusters com base nas seqüências e
outros atributos no modelo.
MTS - Microsoft Time Series
Naive Bayes Microsoft
O nome Naive Bayes foi atribuído pelo fato de o algoritmo usar o
teorema de Bayes, mas não considerar dependências que possam
existir. Portanto, suas suposições são consideradas ingênuas.
Rede Neural Microsoft
Rede Neural da Microsoft combina cada estado possível do
atributo de entrada com cada estado possível do atributo previsível
e usa os dados de treinamento para calcular probabilidades.
16. Regras de Associação: Um mecanismo de recomendação, que
recomenda produtos aos clientes com base nos itens que eles já
compraram ou pelos quais mostraram interesse. O algoritmo
Associação da Microsoft também é útil para análise da cesta de
compras.
Regressão Linear
O algoritmo Regressão Linear da Microsoft é uma variação do
algoritmo Árvores de Decisão da Microsoft que o ajuda a calcular
uma relação linear entre uma variável dependente e uma
independente e, depois, a usar aquela relação para previsão.
Regressão Logística
O algoritmo Regressão Logística da Microsoft é uma variação do
algoritmo Rede Neural da Microsoft. A regressão logística é uma
técnica estatística conhecida, usada para modelar resultados
binários, como um resultado sim-não.
17. Mineração de Dados com SQL Server
O SQL Server oferece suporte nativo à Business Intelligence e
Mineração de Dados desde a versão 2000 sem custo adicional.
18. DMX
CREATE MINING MODEL SELECT [Bike Buyer],
SubcategoryAssociations PredictProbability([Bike Buyer],1),
PredictHistogram([Bike Buyer])
( FROM TargetMailDT
NATURAL PREDICTION JOIN
[Customer ID] LONG KEY,
(SELECT 25 AS Age,
[Subcategories] TABLE PREDICT '5-10 Miles' AS [Commute Distance],
'M' AS Gender,
( 1 AS [House Owner Flag],
'S' AS [Marital Status],
[Subcategory] TEXT KEY
1 AS [Number Cars Owned],
) 0 AS [Number Children At Home],
'Manual' AS Occupation,
) USING Microsoft_Association_Rules 'Pacific' AS Region,
0 AS [Total Children],
45000 AS [Yearly Income]
) AS t
25. PREENCHA A FICHA DE AVALIAÇÃO DO EVENTO
Entregue na saída do evento e ganhe brinde!
Acesse o site da Comunidade:
www.mcitpsc.com.br
Dúvidas ou Sugestões:
E-mail: contato@mcitpsc.com.br
Quer ser um Membro da
Comunidade?
Acesse nosso site e cadastre-se!
Twitter: @rdornel Site/Blog: rdornel.com
Email: rodrigo@rdornel.com