Business Intelligence
Prof. Leandro Guerra
E-mail: leandro.guerra@artedosdados.com.br
@leandro_war
artedosdados.com.br
Text Mining para BI e Finalização do Dashboard no Tableau
2
Text Mining
DashboardTableau
3
Text Mining
Definição
Text mining, ou mineração de textos, se refere ao
processo de recuperar informações relevantes de um
texto. Esta informação relevante é derivada de padrões e
tendências que sejam relevantes ao negócio e
encontradas nos textos.
Mas por que Text Mining?
Para BI?
* en.wikipedia.org/wiki/Text_mining e imagem de KDNuggets
4
Mas por que Text Mining?
2 zettabytes de informação em 2013
Segundo fontes são informações não estruturadas:
80% - Gartner
85% - IBM e Teradata
Os dados não estruturados possuem informações
relevantes para criação de dashboards, relatórios e
modelagem
5
Mas por que Text Mining?
Lembrando que o objetivo de BI é:
“…prover informações para a tomada de decisão…”
Usar informações textuais é uma vantagem para
tomada de decisão!
 Análise de sentimento
 Predição do mercado financeiro
 CRM – Churn, Retenção e verticalização
... IBM – Watson!
6
Mas por que Text Mining?
* BI SEARCH AND TEXT ANALYTICS New Additions to the BI Technology Stack
7
Para Business Intelligence?
*Practical Text Mining (Delen, Fast, Hill)
8
Para Business Intelligence?
DW de Documentos
Informação
textual
DW de
Documentos
Fontes
Text
Mining
BI
9
Para Business Intelligence?
Tipos de Text Mining
Busca e
recuperação da
informação
Cluster de
documentos
Classificação
de documentos
Web Mining
Extração de
informação
NLP
10
Aplicações de Text Mining
 Marketing: Identificar
consumidores em potencial com
o uso de informações textuais
 Indústria: Web mining para
identificação de concorrentes e
mapeamento de mercado (preços
e produtos)
 Busca de emprego: quais
são as palavras-chaves mais
publicadas em anúncios de
emprego?
Previsão de lucro de companhias
listadas no Ibovespa baseado em
análise de balanços, indicadores
macroeconômicos e monitoramento
de mídias eletrônicas
Aplicações de Text Mining
http://www.financasaplicadas.net/ojs/index.php/financasaplicadas/article/view/191
É possível estimar a variação do
lucro de uma companhia listada em
bolsa na próxima publicação de
resultados, para auxiliar na tomada de
decisão de investimentos?
Aplicações de Text Mining
http://www.financasaplicadas.net/ojs/index.php/financasaplicadas/article/view/191
Nosso
objetivo...
Propor uma equação para estimar a variação
no lucro das empresas e descobrir quais os
elementos que influenciam este evento
Aplicações de Text Mining
http://www.financasaplicadas.net/ojs/index.php/financasaplicadas/article/view/191
Relacionar dados sobre custos e receitas publicados nos
balanços financeiros com indicadores macroeconômicos e
a publicação de notícias em mídias eletrônicas
Analisar a flutuação da variação do lucro das empresas em relação às
variáveis desenvolvidas
Extrair informações das notícias nas mídias eletrônicas através de text
mining
Sendo mais específico...
Aplicações de Text Mining
http://www.financasaplicadas.net/ojs/index.php/financasaplicadas/article/view/191
E na prática?
Identificação de empresas lucrativas – maior retorno para o
acionista
Facilitar a tomada de decisão de investimentos para o pequeno
investidor e as pequenas e médias empresas
Aplicações de Text Mining
http://www.financasaplicadas.net/ojs/index.php/financasaplicadas/article/view/191
Como fazer?
Levantamento dos balanços trimestrais dos
últimos 2 anos das empresas listadas no
Ibovespa
Desenvolvimento de um robô para captação das notícias
na web relacionadas à estas companhias.
Fontes: Estadão, Folha, Infomoney e Valor Econômico
Coleta de informações macroeconômicas: inflação, PIB,
câmbio e emprego.
Fontes: IBGE, BACEN e FIPE
Consolidação da base de dados adquiridos e
desenvolvimento do modelo utilizando regressão linear
múltipla
Aplicações de Text Mining
http://www.financasaplicadas.net/ojs/index.php/financasaplicadas/article/view/191
17
Aplicações de Text Mining
G20 em notícias na WEB
http://www.artedosdados.com.br/2014/04/como-ilustrar-relacao-economico.html
18
{termo: ‘petrobras’}
Aplicações de Text Mining
Cotação – PETR4
19
{termo: ‘dolar’}
Aplicações de Text Mining
Cotação – PETR4
20
{termo: ‘petroleo’}
Aplicações de Text Mining
Cotação – PETR4
21
{termo: ‘combustiveis’}
Aplicações de Text Mining
Cotação – PETR4
22
{termo: ‘dilma’}
Aplicações de Text Mining
Cotação – PETR4
23
Text Mining
DashboardTableau
24
Tableau
Primeiro contato com o Tableau Public
25
Tableau
Carregando a base Adventure Works Cycles
26
Tableau
Primeira visualização
27
Tableau
WorkSheet – Price & Profits
Arraste os campos
para o painel
28
Tableau
Arraste os campos
para o painel
Altere a medida de Unit
Price para AVG - Média
WorkSheet – Price & Profits
29
Tableau
Crie os filtros de categoria de
produto e ano (2007 e 2008)
WorkSheet – Price & Profits
30
Tableau
Aplique-os para toda a base
WorkSheet – Price & Profits
31
Tableau
Repare que seus filtros já estão
aqui!
WorkSheet – Costs
Selecione estas
dimensões
e ajuste Unit Cost e
Freight Cost para
media (AVG)
32
Tableau
Utilize as configurações
em “Marks”
WorkSheet – Costs
Altere as cores
Para vermelho
33
Tableau
Acrescente o filtro
“Customer Region”
WorkSheet – Geo Profits
Selecione as
dimensões de
latitude e longitude
Selecione apenas
“United States”
34
Tableau
WorkSheet – Geo Profits
Edite o país da
localização para EUA
35
Tableau
WorkSheet – Geo Profits
Adicione 3 elementos
ao card Marks
Configure a exibição
de rótulos e cores
36
Tableau
WorkSheet – Geo Profits
Seu mapa deve estar assim!
37
Tableau
Criando o dashboard
Ou
38
Tableau
Criando o dashboard
Mesmo princípio de criação das
worksheets: Clique e arraste!
39
Tableau
Criando o dashboard
40
Business Intelligence

Text Mining para BI e Finalização do Dashboard no Tableau

  • 1.
    Business Intelligence Prof. LeandroGuerra E-mail: leandro.guerra@artedosdados.com.br @leandro_war artedosdados.com.br Text Mining para BI e Finalização do Dashboard no Tableau
  • 2.
  • 3.
    3 Text Mining Definição Text mining,ou mineração de textos, se refere ao processo de recuperar informações relevantes de um texto. Esta informação relevante é derivada de padrões e tendências que sejam relevantes ao negócio e encontradas nos textos. Mas por que Text Mining? Para BI? * en.wikipedia.org/wiki/Text_mining e imagem de KDNuggets
  • 4.
    4 Mas por queText Mining? 2 zettabytes de informação em 2013 Segundo fontes são informações não estruturadas: 80% - Gartner 85% - IBM e Teradata Os dados não estruturados possuem informações relevantes para criação de dashboards, relatórios e modelagem
  • 5.
    5 Mas por queText Mining? Lembrando que o objetivo de BI é: “…prover informações para a tomada de decisão…” Usar informações textuais é uma vantagem para tomada de decisão!  Análise de sentimento  Predição do mercado financeiro  CRM – Churn, Retenção e verticalização ... IBM – Watson!
  • 6.
    6 Mas por queText Mining? * BI SEARCH AND TEXT ANALYTICS New Additions to the BI Technology Stack
  • 7.
    7 Para Business Intelligence? *PracticalText Mining (Delen, Fast, Hill)
  • 8.
    8 Para Business Intelligence? DWde Documentos Informação textual DW de Documentos Fontes Text Mining BI
  • 9.
    9 Para Business Intelligence? Tiposde Text Mining Busca e recuperação da informação Cluster de documentos Classificação de documentos Web Mining Extração de informação NLP
  • 10.
    10 Aplicações de TextMining  Marketing: Identificar consumidores em potencial com o uso de informações textuais  Indústria: Web mining para identificação de concorrentes e mapeamento de mercado (preços e produtos)  Busca de emprego: quais são as palavras-chaves mais publicadas em anúncios de emprego?
  • 11.
    Previsão de lucrode companhias listadas no Ibovespa baseado em análise de balanços, indicadores macroeconômicos e monitoramento de mídias eletrônicas Aplicações de Text Mining http://www.financasaplicadas.net/ojs/index.php/financasaplicadas/article/view/191
  • 12.
    É possível estimara variação do lucro de uma companhia listada em bolsa na próxima publicação de resultados, para auxiliar na tomada de decisão de investimentos? Aplicações de Text Mining http://www.financasaplicadas.net/ojs/index.php/financasaplicadas/article/view/191
  • 13.
    Nosso objetivo... Propor uma equaçãopara estimar a variação no lucro das empresas e descobrir quais os elementos que influenciam este evento Aplicações de Text Mining http://www.financasaplicadas.net/ojs/index.php/financasaplicadas/article/view/191
  • 14.
    Relacionar dados sobrecustos e receitas publicados nos balanços financeiros com indicadores macroeconômicos e a publicação de notícias em mídias eletrônicas Analisar a flutuação da variação do lucro das empresas em relação às variáveis desenvolvidas Extrair informações das notícias nas mídias eletrônicas através de text mining Sendo mais específico... Aplicações de Text Mining http://www.financasaplicadas.net/ojs/index.php/financasaplicadas/article/view/191
  • 15.
    E na prática? Identificaçãode empresas lucrativas – maior retorno para o acionista Facilitar a tomada de decisão de investimentos para o pequeno investidor e as pequenas e médias empresas Aplicações de Text Mining http://www.financasaplicadas.net/ojs/index.php/financasaplicadas/article/view/191
  • 16.
    Como fazer? Levantamento dosbalanços trimestrais dos últimos 2 anos das empresas listadas no Ibovespa Desenvolvimento de um robô para captação das notícias na web relacionadas à estas companhias. Fontes: Estadão, Folha, Infomoney e Valor Econômico Coleta de informações macroeconômicas: inflação, PIB, câmbio e emprego. Fontes: IBGE, BACEN e FIPE Consolidação da base de dados adquiridos e desenvolvimento do modelo utilizando regressão linear múltipla Aplicações de Text Mining http://www.financasaplicadas.net/ojs/index.php/financasaplicadas/article/view/191
  • 17.
    17 Aplicações de TextMining G20 em notícias na WEB http://www.artedosdados.com.br/2014/04/como-ilustrar-relacao-economico.html
  • 18.
    18 {termo: ‘petrobras’} Aplicações deText Mining Cotação – PETR4
  • 19.
    19 {termo: ‘dolar’} Aplicações deText Mining Cotação – PETR4
  • 20.
    20 {termo: ‘petroleo’} Aplicações deText Mining Cotação – PETR4
  • 21.
    21 {termo: ‘combustiveis’} Aplicações deText Mining Cotação – PETR4
  • 22.
    22 {termo: ‘dilma’} Aplicações deText Mining Cotação – PETR4
  • 23.
  • 24.
  • 25.
    25 Tableau Carregando a baseAdventure Works Cycles
  • 26.
  • 27.
    27 Tableau WorkSheet – Price& Profits Arraste os campos para o painel
  • 28.
    28 Tableau Arraste os campos parao painel Altere a medida de Unit Price para AVG - Média WorkSheet – Price & Profits
  • 29.
    29 Tableau Crie os filtrosde categoria de produto e ano (2007 e 2008) WorkSheet – Price & Profits
  • 30.
    30 Tableau Aplique-os para todaa base WorkSheet – Price & Profits
  • 31.
    31 Tableau Repare que seusfiltros já estão aqui! WorkSheet – Costs Selecione estas dimensões e ajuste Unit Cost e Freight Cost para media (AVG)
  • 32.
    32 Tableau Utilize as configurações em“Marks” WorkSheet – Costs Altere as cores Para vermelho
  • 33.
    33 Tableau Acrescente o filtro “CustomerRegion” WorkSheet – Geo Profits Selecione as dimensões de latitude e longitude Selecione apenas “United States”
  • 34.
    34 Tableau WorkSheet – GeoProfits Edite o país da localização para EUA
  • 35.
    35 Tableau WorkSheet – GeoProfits Adicione 3 elementos ao card Marks Configure a exibição de rótulos e cores
  • 36.
    36 Tableau WorkSheet – GeoProfits Seu mapa deve estar assim!
  • 37.
  • 38.
    38 Tableau Criando o dashboard Mesmoprincípio de criação das worksheets: Clique e arraste!
  • 39.
  • 40.