Data warehousing

Data warehousing – Trabalhoinvestigaçãosgbd,[object Object]

Data Warehousing - Definição,[object Object],Um Data Warehouse é um repositório/depósito de informação digital de uma empresa pensado para facilitar a análise da informação e os relatórios obtidos dela.,[object Object],Esta definição de data warehouse foca-se no armazenamento da informação. No entanto os meios para obter e analisar, extrair, transformar e carregar dados, e para gerir os dicionários de dados são também considerados componentes essenciais de um sistema de data warehousing.,[object Object],Uma definição mais expansiva para data warehousing também inclui o que nós chamamos de “business intelligence tools”, ferramentas para a extracção, transformação e carregamento de dados no repositório e ferramentas para obter e gerir os seus metadados.,[object Object],O conceito de Data Warehousing surge nos anos 80 no meio académico. Os sistemas OLTP não conseguiam cumprir a tarefa de análise com a simples geração de relatórios. Nesse contexto, as implementações de data warehousing passou a ser uma realidade nas grandes empresas.,[object Object],O mercado de ferramentas de Data Warehousing, dos quais os “Business Intelligence” fazem parte, cresceu desde então e ferramentas mehores e mais sofisticadas foram sendo desenvolvidas para apoiar a estrutura do data warehouse e da sua utilização.,[object Object],2,[object Object],Trabalho Investigação SGBD,[object Object]

Data Warehousing – Modelo de dados dimensional,[object Object],Modelação dimensional de dados é a modelação de dados mais comum de encontar no data warehousing. Para a compreendermos melhor melhor temos de definir alguns termos utilizados:,[object Object],Dimensão – Uma categoria de informação, por exemplo a dimensão Tempo;,[object Object],Atributo – Um nível único de uma dimensão, por exemplo o mês é um atributo da dimensão tempo;,[object Object],Hierarquia – A especificação de níveis que representem as relações entre os diferentes atributos de uma dimensão, por exemplo Ano -> Mês -> Dia.,[object Object],Tabela de factor– É a tabela que contém as medidas, métricas ou factos de um processo de negócio. Geralmente localiza-se no centro de um esuqema de estrela ou de um esquema de floco de neve.,[object Object],Tabela de pesquisa – Fornece informação detalhada acerca dos atributos.,[object Object],Um modelo dimensional inclui tabelas de factor e tabelas de pesquisa. Tabelas de factor ligam-se a uma ou mais tabelas de pesquisa, mas não têm relação directa entre elas. Dimensões e hierarquias são representadas por tabelas de pesquisa. Atributos são as colunas sem chave nas tabelas de pesquisa.,[object Object],Os esquemas mais utilizados são o esquema de estrela e o esquema de floco de neve, se bem que a sua utilização se prende com a preferência pessoal de quem executa e as necessidades do negócio.,[object Object],3,[object Object],Trabalho Investigação SGBD,[object Object]

Esquemas utilizados,[object Object],Estrela:,[object Object],Num esquema de estrela um único objecto (tabela factor) fica ao meio e é ligada aos outros objectos (tabelas dimensão) como uma estrela. Cada dimensão é representada como uma única tabela. As chaves primárias em cada tabela de dimensão estão relacionadas com um Foreign Key na tabela factor.,[object Object],Floco de Neve:,[object Object],Este esquema é uma extensão do esquema de estrela, em que cada ponto da estrela se extende por mais pontos. Neste esquema as tabelas de dimensão são normalizadas em múltiplas tabelas de pesquisa, cada uma representando um nível na hierarquia da dimensão.,[object Object],Esquema Estrela,[object Object],Esquema Floco de neve,[object Object],4,[object Object],Trabalho Investigação SGBD,[object Object]

Data Warehousing - Arquitectura,[object Object],Armazenamento,[object Object],O armazenamento é feito num único repositório, de acesso rápido para as análises. Esse armazenamento irá conter dados históricos vindos de bancos de dados transacionais que servem de backend a sistemas como os ERP's e CRM's. Quantos mais dados do histórico das operações das empresas, melhor será para que a análise destas informações espelhe o momento das mesmas.,[object Object],Modelagem dimensional,[object Object],Os sistemas de base de dados tradicionais utilizam a normalização no formato de dados para garantir a consistência dos dados, minimizar o espaço de armazenamento e reduzir as redundâncias de dados.Um data warehouse utiliza dados em formato desnormalizado. Isto aumenta o desempenho das consultas e como benifício adicional, o processo torna-se mais intuitivo para os utilizadores comuns. Essa maneira de reorganizar os dados tem o nome de Modelagem Dimensional e o resultado é o modelo dimensional.,[object Object],5,[object Object],Trabalho Investigação SGBD,[object Object]

Data Warehousing - Arquitectura,[object Object],Metadados – O conceito de metadados (dados sobre os dados) e um repositório dos mesmos é considerado uma ferramenta essencial para a gestão de um data warehouse no momento de converter os dados em informações para o negócio. Um repositório de metadados bem construído deve conter informações sobre a origem dos dados, regras de transformação, nomes e alias, formatos de dados, etc. O seu objectivo e conter mais do que as descrições de colunas e tabelas, deve conter informação relevante que adicione valor aos dados.,[object Object],Extracção de dados,[object Object],Para a extracção de dados, normalmente estes passam por um área conhecida como área de stage. O stage de dados ocorre quando existem processos que de forma periódica efectuam a leitura dos dados de fontes como os sistemas OLTP. Os dados podem então passar por um processo de qualidade, de normalização e gravação no Data Warehouse. Esse processo geralmente é efectuado por ferramentas ETL (Extraction, Transformation and Loading) e outras.,[object Object],6,[object Object],Trabalho Investigação SGBD,[object Object]

Data Warehousing - Arquitectura,[object Object],Extracção de dados,[object Object],Para a extracção de dados, normalmente estes passam por um área conhecida como área de stage. O stage de dados ocorre quando existem processos que de forma periódica efectuam a leitura dos dados de fontes como os sistemas OLTP. Os dados podem então passar por um processo de qualidade, de normalização e gravação no Data Warehouse. Esse processo geralmente é efectuado por ferramentas ETL (Extraction, Transformation and Loading) e outras.,[object Object],Ferramentas OLAP– Online Analytical Processing – são geralmente desenvolvidas para trabalhar com repositórios de dados desnormalizados, embora existam ferramentas que trabalham com esquemas especiais de armazenamento de dados normalizados.,[object Object],Essas ferramentas capazes de navegar pelos dados de um Data Warehouse, possuem uma estrutura adequada tanto para a realização de pesquisas como para a apresentação de informações.,[object Object],É possível navegar-se entre diferentes níveis de detalhe de um cubo de dados. ,[object Object],7,[object Object],Trabalho Investigação SGBD,[object Object]

Data Warehousing - Arquitectura,[object Object],Através de um processo chamado “Drill”, o utilizador pode aumentar (Drill down) ou diminuir (Drill Up) o nível de detalhe dos dados.,[object Object],Outra possibilidade de navegação nos dados é o recurso chamado “Slice and Dice”, utilizado para criar visões dos dados por meio da sua reorganização, de forma a que estes possam ser analisados sob diferentes perspectivas.,[object Object],O uso de recursos para manipular, formatar e apresentar os dados de modo rápido e flexível é um dos pontos fortes de um data warehouse. Essa característica faz com que a apresentação de relatórios no ecrã seja mais comum do que imprimi-los. Além disso, o utilizador tem liberdade para examinar as informações que quiser de diversas maneiras e, ao final, pode imprimir e até mesmo salvar as vistas mais importantes para uma futura consulta.,[object Object],Data mining – ou mineração de dados é o processo de descoberta de padrões existentes em grandes massas de dados. Apesar de existirem ferramentas que auxiliam na execução do processo, a sua automatização não é simples e precisa de ser conduzido por uma pessoa, preferencialmente com formação em Estatística e áreas afins.,[object Object],8,[object Object],Trabalho Investigação SGBD,[object Object]

Data Warehousing – Encadeamento básico,[object Object],9,[object Object],Trabalho Investigação SGBD,[object Object]

Data warehousing

Data warehousing

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados(19)

Similar a Data warehousing

Similar a Data warehousing(20)

Data warehousing