1) O documento discute a abordagem de "Data Mesh" como uma mudança de paradigma na arquitetura de dados descentralizada e orientada por domínio;
2) Essa abordagem envolve tratar os dados como produtos e distribuir a propriedade dos dados entre times focados em domínios específicos;
3) Isso visa resolver problemas comuns em arquiteturas de dados atuais como data warehouses e data lakes, como dificuldades em escalar consumo e fontes de dados.
IDC Portugal | Virtualização de Dados como Estratégia de Gestão de Dados para...Denodo
Watch full webinar here: https://bit.ly/3Biofz5
Veja esta sessão para compreender porque é que a virtualização de dados é uma estratégia apropriada quando as aplicações que necessitam de analíticas avançadas exigem dados muito recentes ou quando esses dados são distribuídos por múltiplas plataformas numa arquitectura híbrida.
Vai aprender:
- Porque é que a virtualização de dados é uma abordagem de confiança à integração de dados
- Como os modelos de virtualização de dados distribuíram os dados em estruturas mais simples e unificadas
- Como a virtualização de dados aborda a Analytics, o BI self-service, e a governação de dados
Virtualização de dados para Advanced Analytics e Machine LearningDenodo
Watch full webinar here: https://bit.ly/31iF9Ot
Técnicas avançadas de ciência de dados, como o Machine Learning, provaram ser uma ferramenta extremamente útil para se obter valiosos insights a partir de dados existentes. Plataformas como RapidMiner e bibliotecas para R e Python simplificam partes do processo e colocam técnicas avançadas à disposição de cientistas de dados. Entretanto, estes profissionais passam até 80% de seu tempo procurando os dados corretos e preparando-os em um formato ideal para a aplicação do Machine Learning. Com isso, a virtualização de dados se torna uma nova alternativa para abordar estas questões de uma maneira mais eficiente e ágil.
Participe deste webinar e descubra:
- Como você pode usar a Plataforma Denodo com grandes volumes de dados de uma maneira eficiente
- Casos de uso do cliente e uma demonstração ao vivo de análise preditiva e virtualização de dados
1. O documento discute as tendências que vão mudar a estratégia de dados no futuro, incluindo aprendizado de máquina e inteligência artificial para simplificar a gestão e tomada de decisões com dados.
2. A inteligência artificial está sendo incorporada em ferramentas de gestão de dados para automatizar processos como identificação de dados sensíveis.
3. Arquiteturas híbridas e "Data Fabrics" que unificam dados em nuvens e on-premise se tornarão mais comuns.
ROI e Valor Econômico da Virtualização de DadosDenodo
Watch full webinar here: https://bit.ly/3d5vNuT
O Gartner prevê que as organizações que utilizam a Virtualização de Dados gastarão 40% menos na integração de dados do que aquelas que utilizam tecnologias tradicionais. Os clientes Denodo têm experimentado melhorias de até 90% em seus processos de fornecimento de dados e economia de custos de 50% ou mais. Junte-se a nós neste webinar para descobrir como a Virtualização de Dados pode ajudar a acelerar seu tempo de entrega de dados, reduzindo os custos ao mesmo tempo.
Registre-se para assistir e aprender como a Virtualização de Dados pode:
- Acelerar a entrega de dados aos usuários
- Impulsionar iniciativas de transformação digital
- Reduzir os custos e prazos dos projetos
- Entregar rapidamente valor à sua organização
Gestão Ágil de Dados com Enterprise Data FabricDenodo
Watch full webinar here: https://bit.ly/3hkwgM7
Num mundo onde a aprendizagem automática e a inteligência artificial estão a mudar a nossa vida quotidiana, a transformação digital está no topo da agenda estratégica em muitas organizações privadas e governamentais. Os dados estão a tornar-se vitais nas empresas, para permitir percepções empresariais profundas, criar novas oportunidades, e optimizar as operações.
Os Chief Data Officers e os Data Architects estão sob pressão contínua para encontrar as melhores formas de gerir os volumes esmagadores de dados que tendem a tornar-se cada vez mais distribuídos e diversificados. A deslocação física dos dados para um único local para construção de relatórios e análises já não é uma opção - este é um facto aceite pela maioria dos profissionais de dados.
Junte-se a nós neste webinar para conhecer soluções de dados virtuais, incluindo:
- Virtual Data Fabric
- Data Mesh
- Arquitectura híbrida Multi-Cloud
e aprender como aproveitar a plataforma de Virtualização de Dados Denodo para implementar estas arquitecturas de dados modernas.
O documento discute clustering, uma técnica de data mining para agrupar dados de acordo com seu grau de semelhança. Apresenta o algoritmo k-means para realizar clustering e explica que clustering é útil para identificar padrões em grandes conjuntos de dados.
O documento discute o uso de análises avançadas de dados e self-service business intelligence. Apresenta exemplos de como grandes empresas estão usando esses recursos para melhorar a tomada de decisão, reduzir fraudes e aumentar a eficiência. Também descreve as funcionalidades e arquitetura do software Wiseminer, que permite análises autônomas de dados para usuários de negócios.
Como Implementar a Análise de Dados em Tempo RealDenodo
Watch full webinar here: https://bit.ly/31rnBD0
As técnicas de análise em tempo real prometem enriquecer a análise tradicional de dados. Isto é fundamental para muitos cenários, tais como gerenciamento dos processos de produção ou atendimento ao cliente. A virtualização de dados é bem conhecida por oferecer conectividade em tempo real a diversas fontes e recursos de federação - os dois ingredientes básicos para análises de dadis em tempo real. No entanto, construir uma estratégia em torno destes conceitos pode ser um desafio. O impacto de fontes de dados sensíveis, questões de segurança e desempenho são freqüentemente mencionados.
Participe deste webinar e descubra:
- Quais são os cenários onde o valor da análise de dados em tempo real pode fazer a diferença
- As principais capacidades que as tornam possíveis
- As melhores práticas para torná-las bem sucedidas
IDC Portugal | Virtualização de Dados como Estratégia de Gestão de Dados para...Denodo
Watch full webinar here: https://bit.ly/3Biofz5
Veja esta sessão para compreender porque é que a virtualização de dados é uma estratégia apropriada quando as aplicações que necessitam de analíticas avançadas exigem dados muito recentes ou quando esses dados são distribuídos por múltiplas plataformas numa arquitectura híbrida.
Vai aprender:
- Porque é que a virtualização de dados é uma abordagem de confiança à integração de dados
- Como os modelos de virtualização de dados distribuíram os dados em estruturas mais simples e unificadas
- Como a virtualização de dados aborda a Analytics, o BI self-service, e a governação de dados
Virtualização de dados para Advanced Analytics e Machine LearningDenodo
Watch full webinar here: https://bit.ly/31iF9Ot
Técnicas avançadas de ciência de dados, como o Machine Learning, provaram ser uma ferramenta extremamente útil para se obter valiosos insights a partir de dados existentes. Plataformas como RapidMiner e bibliotecas para R e Python simplificam partes do processo e colocam técnicas avançadas à disposição de cientistas de dados. Entretanto, estes profissionais passam até 80% de seu tempo procurando os dados corretos e preparando-os em um formato ideal para a aplicação do Machine Learning. Com isso, a virtualização de dados se torna uma nova alternativa para abordar estas questões de uma maneira mais eficiente e ágil.
Participe deste webinar e descubra:
- Como você pode usar a Plataforma Denodo com grandes volumes de dados de uma maneira eficiente
- Casos de uso do cliente e uma demonstração ao vivo de análise preditiva e virtualização de dados
1. O documento discute as tendências que vão mudar a estratégia de dados no futuro, incluindo aprendizado de máquina e inteligência artificial para simplificar a gestão e tomada de decisões com dados.
2. A inteligência artificial está sendo incorporada em ferramentas de gestão de dados para automatizar processos como identificação de dados sensíveis.
3. Arquiteturas híbridas e "Data Fabrics" que unificam dados em nuvens e on-premise se tornarão mais comuns.
ROI e Valor Econômico da Virtualização de DadosDenodo
Watch full webinar here: https://bit.ly/3d5vNuT
O Gartner prevê que as organizações que utilizam a Virtualização de Dados gastarão 40% menos na integração de dados do que aquelas que utilizam tecnologias tradicionais. Os clientes Denodo têm experimentado melhorias de até 90% em seus processos de fornecimento de dados e economia de custos de 50% ou mais. Junte-se a nós neste webinar para descobrir como a Virtualização de Dados pode ajudar a acelerar seu tempo de entrega de dados, reduzindo os custos ao mesmo tempo.
Registre-se para assistir e aprender como a Virtualização de Dados pode:
- Acelerar a entrega de dados aos usuários
- Impulsionar iniciativas de transformação digital
- Reduzir os custos e prazos dos projetos
- Entregar rapidamente valor à sua organização
Gestão Ágil de Dados com Enterprise Data FabricDenodo
Watch full webinar here: https://bit.ly/3hkwgM7
Num mundo onde a aprendizagem automática e a inteligência artificial estão a mudar a nossa vida quotidiana, a transformação digital está no topo da agenda estratégica em muitas organizações privadas e governamentais. Os dados estão a tornar-se vitais nas empresas, para permitir percepções empresariais profundas, criar novas oportunidades, e optimizar as operações.
Os Chief Data Officers e os Data Architects estão sob pressão contínua para encontrar as melhores formas de gerir os volumes esmagadores de dados que tendem a tornar-se cada vez mais distribuídos e diversificados. A deslocação física dos dados para um único local para construção de relatórios e análises já não é uma opção - este é um facto aceite pela maioria dos profissionais de dados.
Junte-se a nós neste webinar para conhecer soluções de dados virtuais, incluindo:
- Virtual Data Fabric
- Data Mesh
- Arquitectura híbrida Multi-Cloud
e aprender como aproveitar a plataforma de Virtualização de Dados Denodo para implementar estas arquitecturas de dados modernas.
O documento discute clustering, uma técnica de data mining para agrupar dados de acordo com seu grau de semelhança. Apresenta o algoritmo k-means para realizar clustering e explica que clustering é útil para identificar padrões em grandes conjuntos de dados.
O documento discute o uso de análises avançadas de dados e self-service business intelligence. Apresenta exemplos de como grandes empresas estão usando esses recursos para melhorar a tomada de decisão, reduzir fraudes e aumentar a eficiência. Também descreve as funcionalidades e arquitetura do software Wiseminer, que permite análises autônomas de dados para usuários de negócios.
Como Implementar a Análise de Dados em Tempo RealDenodo
Watch full webinar here: https://bit.ly/31rnBD0
As técnicas de análise em tempo real prometem enriquecer a análise tradicional de dados. Isto é fundamental para muitos cenários, tais como gerenciamento dos processos de produção ou atendimento ao cliente. A virtualização de dados é bem conhecida por oferecer conectividade em tempo real a diversas fontes e recursos de federação - os dois ingredientes básicos para análises de dadis em tempo real. No entanto, construir uma estratégia em torno destes conceitos pode ser um desafio. O impacto de fontes de dados sensíveis, questões de segurança e desempenho são freqüentemente mencionados.
Participe deste webinar e descubra:
- Quais são os cenários onde o valor da análise de dados em tempo real pode fazer a diferença
- As principais capacidades que as tornam possíveis
- As melhores práticas para torná-las bem sucedidas
BigData, Datamining e NoSql - A Combinação PerfeitaFranklin Dias
O documento discute como a combinação de Big Data, Data Mining e bancos de dados NoSQL podem ser usados para extrair informações valiosas de grandes volumes de dados não estruturados. Ele explica como essas tecnologias foram usadas com sucesso em casos como o Google e a Embrapa e compara o desempenho de bancos de dados relacionais e NoSQL.
O documento discute as tendências para a computação em nuvem em 2018. A adoção da nuvem está se tornando uma realidade, com 93% das empresas já tendo migrado ou planejando migrar para a nuvem. Até 2021, os gastos com serviços de nuvem devem dobrar e ultrapassar US$ 530 bilhões. A nuvem pública se tornará a melhor plataforma para acelerar a transformação digital com novas tecnologias. Além disso, a "borda da nuvem" ou "computação na borda" é a
O documento resume conceitos sobre Software como Serviço (SaaS), incluindo suas vantagens para fornecedores e clientes, modelos de negócios e desafios. É apresentado um estudo de caso sobre a implantação de um sistema integrado baseado em SaaS em uma pequena empresa de engenharia, destacando os benefícios obtidos, como redução de custos e flexibilidade. Finalmente, exemplos práticos de uso do SaaS são mostrados.
Qualicorp Scales to Millions of Customers and Data Relationships to Provide W...Neo4j
Ricardo Antonio Batista, CIO,
Qualicorp Administradora De Beneficios
Atila Ferreira de Resende, IT Manager, Qualicorp
André Luiz Pereira, Neo4j Project Lead, Qualicorp
Eurico Carlos Catule, IT Manager, Qualicorp
Andre Serpa, Vice President, Latin America, Neo4j
Hackathon Inmetrics e Fiap: Desafios do Big Datainmetrics
O documento discute os principais desafios do Big Data, incluindo volume, velocidade e variedade de dados, além de veracidade, valor e desafios arquiteturais e de implementação. É destacado que a variedade, e não o volume, será o maior desafio em 2015 e que a extração de valor é crucial para obter vantagem competitiva.
O documento discute Business Intelligence (BI), que é o processo de analisar dados brutos de uma empresa para obter insights valiosos. O BI permite que os responsáveis por decisões tenham as informações certas no momento certo para tomar melhores decisões corporativas. Sistemas como ERP, CRM, data warehouse e data marts são usados para armazenar e analisar dados para fins de BI.
As 10 maiores tendências em business intelligence para 2014Tableau Software
A inovação nos dados e nas análises continua agilizando as coisas, transformando o setor de business intelligence mais sério, antigo, em uma fonte importante para a empresa. O resultado tem sido dados nas mãos de mais pessoas e a possibilidade de tomada de decisões melhores. E a onda de inovação não está sequer próxima de terminar.
Existem duas abordagens principais para o desenvolvimento de data warehouses e data marts: a abordagem de Kimball e a abordagem de Inmon. Embora concordem que o desenvolvimento deve ser iterativo e focado nas necessidades dos utilizadores, diferem na modelagem dos dados e na implementação, com Kimball defendendo uma abordagem bottom-up centrada nos data marts e Inmon uma abordagem top-down centrada no data warehouse corporativo.
O documento fornece uma visão geral dos principais conceitos do Azure, incluindo assinatura, grupo de recursos, rede virtual, sub-rede, grupo de segurança de rede, tabela de rota, máquina virtual, interface de rede, disco, conjunto de disponibilidade, domínio de falha, domínio de atualização, emparelhamento, balanceador de carga, pools de back-end e sondas de integridade.
Este documento fornece informações sobre três empresas (BDA Solutions no Brasil, Youmanmod em Portugal e na Austrália) e seus serviços relacionados a big data, análise de dados e Power BI. Ele também discute desafios com dados, soluções de software, treinamento e serviços oferecidos.
Data warehousing - Técnicas e procedimentosMarcos Pessoa
O documento discute sistemas de apoio à decisão (SAD) e data warehouses. SADs usam dados históricos armazenados em bancos de dados para fornecer informações úteis para tomada de decisões estratégicas. Data warehouses armazenam esses dados históricos de forma centralizada e especializada para análise, superando limitações de bancos de dados operacionais. O documento descreve características e arquitetura típicas de data warehouses.
O documento discute como empresas podem usar data lakes na AWS para gerar valor dos dados. Ele descreve como a AWS oferece armazenamento escalável e analíticas para capturar e analisar vários tipos de dados. Além disso, discute como a AWS fornece recursos de segurança, governança e compliance para proteger dados em data lakes.
Este documento apresenta os serviços e soluções da DataLab em qualidade e gestão de dados. A DataLab é especialista em validação e normalização de moradas, identificação de registos duplicados, validação de emails e geocodificação. A empresa também fornece soluções de Master Data Management através da sua parceria com a Uniserv.
O documento fornece uma introdução sobre o que é Big Data, abordando os modelos DIKW e os 7 V's que caracterizam os dados de grande volume, variedade e velocidade. Apresenta também carreiras em Big Data, arquiteturas em nuvem e casos de uso com ênfase na geração de valor através da análise de dados.
Introdução - Big Data e Business IntelligenceLeandro Guerra
O documento discute conceitos de business intelligence e big data. Apresenta definições de termos como data warehouse, OLTP e OLAP. Também discute a importância dos dados e da informação para o processo de tomada de decisão nas empresas.
Data Management: 5 tendências para alcançar a mudançaDenodo
1) O documento discute 5 tendências para a gestão de dados corporativos, incluindo o uso crescente de Data Fabric, a ampliação do uso de Ciência de Dados nas decisões de negócios, e as ideias emergentes de Data Mesh.
2) Também aborda a necessidade de autoatendimento de dados para usuários de negócios e a especialização e ampliação da análise de dados.
3) A conclusão é que as tendências atuais se concentram em melhorar a qualidade dos dados, a agilidade das decisões e a gestão
Guia sobre análise de dados e aprendizado de máquina para CIO.Lucas Modesto
1. As empresas enfrentam três novos desafios com o volume, diversidade e velocidade dos dados gerados.
2. O armazenamento em nuvem e data warehousing na nuvem ajudam as empresas a centralizar os dados brutos e prepará-los para análise, superando os silos de dados.
3. Isso permite armazenar grandes volumes de dados a baixo custo e postergar a estruturação dos dados até que seja necessária uma análise.
Wiseminer Data Intelligence - Transformando Dados em Vantagem CompetitivaLeonardo Couto
O Wiseminer Data Intelligence é um software revolucionário que combina avançados conceitos e tecnologias de Data Extraction, Transformation and Load (ETL), Business Intelligence (BI), Data Mining, Analytics e Data Visualization em uma única ferramenta, totalmente integrada.
Utilizando os componentes de Extração e criação do fluxo de dados; Modelagem de relacionamento de dados e entidades (Link Analysis); Criação das regras de negócios e cálculos de risco e pontuação (Scoring); e a Automação de tarefas e rotinas de processamento, os analistas podem usar o engine de análise de dados para testar cenários e modelos preditivos, criar alertas e ações automatizadas para detecção e prevenção de desvios, fraudes e anomalias de processos, e através do componente de Visualização, o usuário final, ou os gestores da empresa podem rapidamente analisar a informação e tomar uma decisão de negócios com maior agilidade e assertividade.
Tudo isso através de uma interface amigável, flexível e customizada, uma ferramenta “end-to-end”, com uma implementação simples e rápida, sem estourar orçamento e entregue dentro do prazo, maximizando o retorno sobre investimento para o cliente.
O documento discute uma solução para processar dados em tempo real e por lotes para atender clientes em múltiplos canais. A pesquisa propõe o Apache Storm para ingestão e análise de dados em streaming de redes sociais e outros dados por lotes. A arquitetura Hortonworks suporta essa solução híbrida de processamento em tempo real e por lotes.
Wiseminer Data Blending, Data Preparation & AnalyticsLeonardo Couto
1. O documento discute o uso de análises avançadas de dados e ferramentas analíticas self-service para tomada de decisões nas empresas. Apresenta casos de sucesso de empresas que usaram essas ferramentas.
2. Apresenta a solução Wiseminer, um software de inteligência de dados que permite a integração, análise e compartilhamento de dados de forma flexível e autônoma para usuários de negócios.
3. Oferece diferentes versões e funcionalidades do Wiseminer Workbench e Server para atender a necessidades de pequenas
BigData, Datamining e NoSql - A Combinação PerfeitaFranklin Dias
O documento discute como a combinação de Big Data, Data Mining e bancos de dados NoSQL podem ser usados para extrair informações valiosas de grandes volumes de dados não estruturados. Ele explica como essas tecnologias foram usadas com sucesso em casos como o Google e a Embrapa e compara o desempenho de bancos de dados relacionais e NoSQL.
O documento discute as tendências para a computação em nuvem em 2018. A adoção da nuvem está se tornando uma realidade, com 93% das empresas já tendo migrado ou planejando migrar para a nuvem. Até 2021, os gastos com serviços de nuvem devem dobrar e ultrapassar US$ 530 bilhões. A nuvem pública se tornará a melhor plataforma para acelerar a transformação digital com novas tecnologias. Além disso, a "borda da nuvem" ou "computação na borda" é a
O documento resume conceitos sobre Software como Serviço (SaaS), incluindo suas vantagens para fornecedores e clientes, modelos de negócios e desafios. É apresentado um estudo de caso sobre a implantação de um sistema integrado baseado em SaaS em uma pequena empresa de engenharia, destacando os benefícios obtidos, como redução de custos e flexibilidade. Finalmente, exemplos práticos de uso do SaaS são mostrados.
Qualicorp Scales to Millions of Customers and Data Relationships to Provide W...Neo4j
Ricardo Antonio Batista, CIO,
Qualicorp Administradora De Beneficios
Atila Ferreira de Resende, IT Manager, Qualicorp
André Luiz Pereira, Neo4j Project Lead, Qualicorp
Eurico Carlos Catule, IT Manager, Qualicorp
Andre Serpa, Vice President, Latin America, Neo4j
Hackathon Inmetrics e Fiap: Desafios do Big Datainmetrics
O documento discute os principais desafios do Big Data, incluindo volume, velocidade e variedade de dados, além de veracidade, valor e desafios arquiteturais e de implementação. É destacado que a variedade, e não o volume, será o maior desafio em 2015 e que a extração de valor é crucial para obter vantagem competitiva.
O documento discute Business Intelligence (BI), que é o processo de analisar dados brutos de uma empresa para obter insights valiosos. O BI permite que os responsáveis por decisões tenham as informações certas no momento certo para tomar melhores decisões corporativas. Sistemas como ERP, CRM, data warehouse e data marts são usados para armazenar e analisar dados para fins de BI.
As 10 maiores tendências em business intelligence para 2014Tableau Software
A inovação nos dados e nas análises continua agilizando as coisas, transformando o setor de business intelligence mais sério, antigo, em uma fonte importante para a empresa. O resultado tem sido dados nas mãos de mais pessoas e a possibilidade de tomada de decisões melhores. E a onda de inovação não está sequer próxima de terminar.
Existem duas abordagens principais para o desenvolvimento de data warehouses e data marts: a abordagem de Kimball e a abordagem de Inmon. Embora concordem que o desenvolvimento deve ser iterativo e focado nas necessidades dos utilizadores, diferem na modelagem dos dados e na implementação, com Kimball defendendo uma abordagem bottom-up centrada nos data marts e Inmon uma abordagem top-down centrada no data warehouse corporativo.
O documento fornece uma visão geral dos principais conceitos do Azure, incluindo assinatura, grupo de recursos, rede virtual, sub-rede, grupo de segurança de rede, tabela de rota, máquina virtual, interface de rede, disco, conjunto de disponibilidade, domínio de falha, domínio de atualização, emparelhamento, balanceador de carga, pools de back-end e sondas de integridade.
Este documento fornece informações sobre três empresas (BDA Solutions no Brasil, Youmanmod em Portugal e na Austrália) e seus serviços relacionados a big data, análise de dados e Power BI. Ele também discute desafios com dados, soluções de software, treinamento e serviços oferecidos.
Data warehousing - Técnicas e procedimentosMarcos Pessoa
O documento discute sistemas de apoio à decisão (SAD) e data warehouses. SADs usam dados históricos armazenados em bancos de dados para fornecer informações úteis para tomada de decisões estratégicas. Data warehouses armazenam esses dados históricos de forma centralizada e especializada para análise, superando limitações de bancos de dados operacionais. O documento descreve características e arquitetura típicas de data warehouses.
O documento discute como empresas podem usar data lakes na AWS para gerar valor dos dados. Ele descreve como a AWS oferece armazenamento escalável e analíticas para capturar e analisar vários tipos de dados. Além disso, discute como a AWS fornece recursos de segurança, governança e compliance para proteger dados em data lakes.
Este documento apresenta os serviços e soluções da DataLab em qualidade e gestão de dados. A DataLab é especialista em validação e normalização de moradas, identificação de registos duplicados, validação de emails e geocodificação. A empresa também fornece soluções de Master Data Management através da sua parceria com a Uniserv.
O documento fornece uma introdução sobre o que é Big Data, abordando os modelos DIKW e os 7 V's que caracterizam os dados de grande volume, variedade e velocidade. Apresenta também carreiras em Big Data, arquiteturas em nuvem e casos de uso com ênfase na geração de valor através da análise de dados.
Introdução - Big Data e Business IntelligenceLeandro Guerra
O documento discute conceitos de business intelligence e big data. Apresenta definições de termos como data warehouse, OLTP e OLAP. Também discute a importância dos dados e da informação para o processo de tomada de decisão nas empresas.
Data Management: 5 tendências para alcançar a mudançaDenodo
1) O documento discute 5 tendências para a gestão de dados corporativos, incluindo o uso crescente de Data Fabric, a ampliação do uso de Ciência de Dados nas decisões de negócios, e as ideias emergentes de Data Mesh.
2) Também aborda a necessidade de autoatendimento de dados para usuários de negócios e a especialização e ampliação da análise de dados.
3) A conclusão é que as tendências atuais se concentram em melhorar a qualidade dos dados, a agilidade das decisões e a gestão
Guia sobre análise de dados e aprendizado de máquina para CIO.Lucas Modesto
1. As empresas enfrentam três novos desafios com o volume, diversidade e velocidade dos dados gerados.
2. O armazenamento em nuvem e data warehousing na nuvem ajudam as empresas a centralizar os dados brutos e prepará-los para análise, superando os silos de dados.
3. Isso permite armazenar grandes volumes de dados a baixo custo e postergar a estruturação dos dados até que seja necessária uma análise.
Wiseminer Data Intelligence - Transformando Dados em Vantagem CompetitivaLeonardo Couto
O Wiseminer Data Intelligence é um software revolucionário que combina avançados conceitos e tecnologias de Data Extraction, Transformation and Load (ETL), Business Intelligence (BI), Data Mining, Analytics e Data Visualization em uma única ferramenta, totalmente integrada.
Utilizando os componentes de Extração e criação do fluxo de dados; Modelagem de relacionamento de dados e entidades (Link Analysis); Criação das regras de negócios e cálculos de risco e pontuação (Scoring); e a Automação de tarefas e rotinas de processamento, os analistas podem usar o engine de análise de dados para testar cenários e modelos preditivos, criar alertas e ações automatizadas para detecção e prevenção de desvios, fraudes e anomalias de processos, e através do componente de Visualização, o usuário final, ou os gestores da empresa podem rapidamente analisar a informação e tomar uma decisão de negócios com maior agilidade e assertividade.
Tudo isso através de uma interface amigável, flexível e customizada, uma ferramenta “end-to-end”, com uma implementação simples e rápida, sem estourar orçamento e entregue dentro do prazo, maximizando o retorno sobre investimento para o cliente.
O documento discute uma solução para processar dados em tempo real e por lotes para atender clientes em múltiplos canais. A pesquisa propõe o Apache Storm para ingestão e análise de dados em streaming de redes sociais e outros dados por lotes. A arquitetura Hortonworks suporta essa solução híbrida de processamento em tempo real e por lotes.
Wiseminer Data Blending, Data Preparation & AnalyticsLeonardo Couto
1. O documento discute o uso de análises avançadas de dados e ferramentas analíticas self-service para tomada de decisões nas empresas. Apresenta casos de sucesso de empresas que usaram essas ferramentas.
2. Apresenta a solução Wiseminer, um software de inteligência de dados que permite a integração, análise e compartilhamento de dados de forma flexível e autônoma para usuários de negócios.
3. Oferece diferentes versões e funcionalidades do Wiseminer Workbench e Server para atender a necessidades de pequenas
EMC Summer School on Big Data 2013
http://web.archive.org/web/20130627152404/http://emcbigdataschool.nce.ufrj.br/index.php/speakers-and-schedule/slides.html
http://2014.emcbigdataschool.nce.ufrj.br/images/presentations/
DataOps, Data Mesh e Data Fabric. Melhores práticas para seu projeto de arqui...Eduardo Hahn
O documento discute três práticas relacionadas a arquitetura de dados: DataOps, Data Mesh e Data Fabric. DataOps busca eliminar ineficiências no processo de gerenciamento e entrega de dados. Data Mesh propõe uma arquitetura descentralizada e orientada a domínios para dados. Data Fabric fornece pipelines, serviços e semântica de integração de dados flexíveis. Essas práticas influenciam na construção de arquiteturas de dados modernas ao promover a governança, automação e descentralização dos dados.
O documento discute os seguintes tópicos:
1) Inteligência de negócios, estratégia de TIC, valor da informação e aprisionamento no sistema;
2) Técnicas de data mining como árvores de decisão e regressão;
3) Evolução histórica da coleta e análise de dados até o conceito moderno de data mining.
O documento discute três tópicos principais:
1) A inteligência de negócios e como ela pode melhorar a tomada de decisão e a administração de empresas;
2) Estratégias de TIC e como a tecnologia da informação pode integrar processos de negócios e pesquisa;
3) O valor da informação e como ela é essencial para a tomada de decisão, produtividade e competitividade das empresas.
Este documento apresenta uma agenda sobre business intelligence e conceitos relacionados como inteligência de negócios, estratégia de TIC, valor da informação, aprisionamento no sistema, data mining, entre outros. A agenda inclui tópicos como inteligência de negócios, estratégia de TIC, valor da informação, aprisionamento no sistema, data mining, futuro da internet, cultura digital e web 3.0.
Um Data Warehouse é um banco de dados com dados históricos usados para análise e decisões executivas, enquanto um Data Mart fornece suporte à decisão de um pequeno grupo de pessoas com dados focados em uma unidade de negócios específica. Os principais tipos de Data Warehouse incluem opções baseadas em servidor, virtuais e distribuídas.
Os sistemas de apoio à decisão surgiram para auxiliar os gerentes a solucionar problemas complexos, utilizando ferramentas sofisticadas de análise de dados armazenados. Esses sistemas fornecem recomendações rápidas com base em múltiplos fatores agronômicos e meteorológicos, como exemplificado pelo sistema Irriga, que controla irrigações agrícolas.
1) O documento discute sistemas de informação, incluindo SAD/OLAP. Apresenta conceitos de SAD e OLAP e suas características.
2) Inclui exemplos de modelos de SAD e suas vantagens e desvantagens.
3) Também explica conceitos-chave de OLAP como cubos, dimensões e medidas, e diferentes tipos de arquitetura OLAP.
O documento discute seis principais tendências na cadeia de suprimentos: 1) quebrando silos entre departamentos para maior colaboração, 2) reestruturação da logística de varejo eletrônico para entregas mais rápidas, 3) preparação para desastres naturais, 4) maior envolvimento de executivos seniores, 5) uso crescente da Internet das Coisas para coleta e análise de dados, e 6) previsão analítica da demanda dos consumidores. A integração da cadeia de suprimentos e
Data Mesh: O que é e quais tecnologias facilitam sua implementação?Denodo
Watch full webinar here: https://bit.ly/3pZUrE4
Um Data Mesh é uma infraestrutura de dados descentralizada e distribuída na qual vários domínios autônomos gerenciam e expõem seus próprios dados, chamados de "produtos de dados", para o resto da organização. O data mesh tenta eliminar os gargalos gerados pela dependência de equipes de TI centralizadas, bem como garantir que os usuários com conhecimento dos dados sejam os que tomam decisões sobre sua função e significado desses dados na empresa.
Nesta sessão, Evandro Pacolla, Sales Engineer da Denodo, explica como a virtualização de dados é sua melhor aposta para implementar uma arquitetura Data Mesh ágil e eficaz.
Nesta sessão, você aprenderá:
- Como um Data Mesh não apenas permite melhor desempenho e agilidade, mas também acesso a dados de autoatendimento;
- Os requisitos de "produtos de dados" em um Data Mesh;
- Como implementar um Data Mesh simples e funcional usando a virtualização de dados;
- Por que um Data Lake não é a melhor opção para implementar um Data Mesh;
- Como a virtualização de dados permite que os domínios de um Data Mesh sejam realmente autônomos.
O documento discute a profissão de cientista de dados e como a análise de grandes volumes de dados se tornou essencial para os negócios. Apresenta o histórico da Business Intelligence e como a era do Big Data criou novas oportunidades para explorar dados e tomar melhores decisões com base em evidências. Também define o papel do cientista de dados e as habilidades necessárias para esta profissão em ascensão.
Um artigo que dá o fio da meada para profissionais de TI começarem a pensar em como melhorar o desempenho de seus SGBDs
An article that gives to IT professionals the end of the thread to start increasing the performance of yours DBMS
Por que tudo que você achava que sabia sobre implementar novas tecnologias mu...Cisco do Brasil
Este white paper discute como as empresas estão implementando novas tecnologias de forma individualizada e pontual, em vez de uma estratégia holística, aumentando riscos e custos. Também aborda como os CIOs precisam adotar uma visão mais ampla para conectar pessoas, processos e dados com soluções flexíveis, e como escolher um parceiro de tecnologia pode ajudar nessa transformação.
White Paper Frost & Sullivan PortuguesFelipe Lamus
Este white paper discute como as empresas estão implementando novas tecnologias de forma individualizada e pontual, em vez de uma estratégia holística, aumentando riscos e custos. Também aborda como os CIOs precisam adotar uma visão mais ampla para conectar pessoas, processos e dados com soluções flexíveis, a fim de apoiar as necessidades de negócio e novas tecnologias transformadoras.
O documento discute como a 7-eleven perdeu capacidade de decisão sobre pedidos de fornecedores à medida que cresceu, levando a vendas perdidas e estoque excessivo. A empresa desenvolveu seu próprio sistema de informação e banco de dados para alcançar "inteligência de negócios" e retomar o controle das decisões.
3. Sumário executivo
O Big Data surgiu com a promessa de transformar as
empresas. As arquiteturas de dados existentes, no entanto,
têm limitações que as impedem de entregar o valor de
negócio esperado. Como resultado, as empresas vivem uma
crise de confiança nos dados.
O foco em domínios e produtos de dados nos permite
evitar esse padrão de silos e criar valor de negócio.
Tendo isso em mente, a ThoughtWorks desenvolveu uma
abordagem orientada por domínio e com raízes na mudança
organizacional, chamada Data Mesh, ou malha de dados.
Essa abordagem representa uma verdadeira mudança de
paradigma — e uma oportunidade de obter êxito na criação
de uma organização orientada por dados.
3
DATA MESH: UMA MUDANÇA DE PARADIGMA
4. Introdução
Até alguns anos atrás, a mineração de dados era o assunto mais
comentado no universo de tecnologia e negócios. As empresas
estavam ansiosas para acessar mais e mais dados. Em pouco
tempo, a questão passou a ser: o que fazer com tudo isso?
Muitas apostavam que o aprendizado de máquina e a inteligência
artificial seriam suficientes para transformar todos esses bits em
informações valiosas para a tomada de decisões.
O que de fato aconteceu? As abordagens tradicionais para geração
de insights de Big Data frustraram diferentes partes interessadas
dos negócios. Os motivos incluem problemas na qualidade dos
dados, dificuldade para encontrar talentos de engenharia de
dados, times de plataforma de dados sobrecarregados e projetos
de infraestrutura de dados caros e intermináveis.
Neste material dedicado a lideranças executivas, analisamos o
conceito de Data Mesh, ou malha de dados — um novo paradigma
baseado em princípios sólidos de engenharia de software.
Implementar uma nova arquitetura de dados exige, no entanto,
um esforço considerável. Então, por que não simplesmente
otimizar as abordagens existentes?
As duas principais abordagens de gerenciamento de dados que
observamos hoje se baseiam nas tecnologias de data warehouse
ou data lake. Data warehouses geralmente armazenam dados
estruturados em formatos consultáveis. Um data lake (ou lago de
dados) em sua forma mais simples, armazena dados brutos de
várias fontes.
4
DATA MESH: UMA MUDANÇA DE PARADIGMA
5. Com essa abordagem, os dados podem reter qualquer esquema
ditado pelo sistema de origem até o momento de conduzir uma
análise.
Uma malha de dados, por outro lado, é uma abordagem de
arquitetura de dados descentralizada, que aplica aos dados os
seguintes princípios da arquitetura de TI:
1. arquitetura distribuída orientada por domínio
2. mentalidade de produto
3. plataformas de infraestrutura de autoatendimento
4. governança federada
Dessa forma, as empresas estão criando o que chamamos de
produtos de dados — ofertas especializadas descentralizadas que
se concentram em um domínio e alinham propriedade e consumo
de dados. Trabalhando em conjunto, esses produtos de dados
demonstram um efeito de rede, habilitando um ciclo contínuo de
dados, análise e ação e, consequentemente, um fluxo contínuo de
valor de negócio.
Mas as arquiteturas de dados existentes também são capazes
de coletar e analisar dados. Então, por que estão falhando em
desbloquear o real potencial dos dados?
5
DATA MESH: UMA MUDANÇA DE PARADIGMA
7. Os sintomas da disfunção do
Big Data
Organizações com problemas na qualidade e no valor dos
dados exibem um conjunto comum de modos de falha:
Na ThoughtWorks, observamos os desdobramentos em nossa
prática diária de consultoria. Ainda que os investimentos em
Big Data e inteligência artificial continuem a crescer, a confiança
no valor de negócio desses investimentos está, na verdade,
diminuindo.
Falha na decolagem
Os casos de uso previstos
para os dados não decolam
Falha para escalar consumo
A organização não consegue
acompanhar as necessidades de
um número crescente de agentes
consumidores de dados
Falha para escalar fontes
À medida que mais dados
tornam-se disponíveis dentro e
fora da empresa, as fontes não
são integradas com a mesma
velocidade que se multiplicam
Falha na materialização do
valor dos dados
A falta de alinhamento entre
agentes produtores e agentes
consumidores de dados dificulta
ou impossibilita a criação de valor
7
DATA MESH: UMA MUDANÇA DE PARADIGMA
8. De acordo com um estudo da NewVantage Partners, as iniciativas
de Big Data continuam impondo desafios para a maioria das
empresas. A pesquisa indica que apenas 24% conseguiram de fato
adotar uma cultura de dados. No entanto, o problema não reside
exatamente na tecnologia. Mais de 90% das lideranças citam
pessoas e processos como obstáculos para a transformação de
suas organizações por meio de dados.
Por que as arquiteturas existentes não estão conseguindo
habilitar a transformação?
As dificuldades que as organizações enfrentam para implementar
data warehouses e data lakes têm origens semelhantes, mas
ocorrem em pontos diferentes.
O objetivo de um data warehouse é prover armazenamento de
dados estruturados com poder computacional integrado para
Ausência
de resultados concretos
Ampliação
de investimentos em
Big Data/IA
2018 2019
2018 2019
66%
19%
8
DATA MESH: UMA MUDANÇA DE PARADIGMA
9. atender a todas as necessidades da organização. No entanto,
quanto maior a empresa, menos realista isso se torna. Até mesmo
o mais simples dos domínios exigirá vários contextos delimitados
e os modelos de dados correspondentes. A sobrecarga de
tecnologias de data warehouse dificulta a adaptação a esses
contextos. Mesmo no melhor dos cenários (um único modelo de
dados é viável), a qualidade dos dados ainda pode ser prejudicada.
Os mesmos dados costumam ser mantidos por diferentes
sistemas em uma organização de TI. Os times de engenharia de
dados centrais podem encontrar dificuldades para escolher a
melhor opção para extração. Além disso, os cenários de análise
podem variar em relação ao nível de qualidade de dados exigido.
Tanto em um data warehouse quanto em um modelo de lago
de dados, a qualidade dos dados é determinada por ações que
ocorrem muito antes de que agentes consumidores de dados
entrem em ação. Talvez ainda mais crucial seja o fato de que os
indivíduos encarregados de produzir dados e os indivíduos que
consomem esses mesmos dados pertençam a setores distintos.
Um grande silo e um gargalo intransponível
Tanto data warehouses quanto data lakes criam o equivalente
a um silo gigantesco que contém petabytes de dados.
Evidentemente, essas arquiteturas são projetadas para habilitar
o acesso a todos os dados do negócio. Mas, ao contrário do que
acontece com outros silos, o problema aqui não é o bloqueio dos
dados por restrições técnicas. A questão é organizacional. Ou seja,
os times que operam esses repositórios de dados monolíticos
devem ser compostos por indivíduos hiperespecializados em
engenharia de dados.
9
DATA MESH: UMA MUDANÇA DE PARADIGMA
10. Talentos em engenharia de dados são difíceis de encontrar e caros
de contratar. Recrutar as pessoas certas para criar e administrar
um lago de dados representa um enorme obstáculo. Mas mesmo
que uma empresa seja capaz de recrutar talentos para construir
e operar seu lago de dados, os problemas não param por aí. Esse
grupo de profissionais terá que obter dados de pessoas e times
que têm pouco incentivo da organização para compartilhar apenas
dados corretos, confiáveis e relevantes.
Uma vez que os dados são adquiridos, o time de engenharia de
dados fica com a tarefa nada invejável de torná-los úteis para o
restante da organização. Sem nenhum conhecimento de domínio
ou input de um número crescente de agentes consumidores de
dados para orientar o processo.
Centralizados | Monolíticos
Dados onipresentes Plano de inovação
Big Data | IA
Plataforma
10
DATA MESH: UMA MUDANÇA DE PARADIGMA
11. Uma mudança de paradigma
que vai além da tecnologia
Para remediar a situação, é preciso abandonar o paradigma atual
orientado por sistema. Se não o fizermos, a desconexão entre
quem produz e quem consome os dados permanecerá, assim
como o silo, o gargalo no recrutamento e os modos de falha.
Em vez de seguir vendo os dados como subprodutos de outras
funções do negócio, é hora de reconhecer que os dados sempre
foram um produto por si só. Com essa nova perspectiva, podemos
superar os sistemas monolíticos e pipelines lineares, dando lugar
a uma compreensão de dados orientados a agentes consumidores
específicas, determinando não apenas a estrutura da arquitetura
de apoio, como também a estrutura da própria organização.
Pilares da abordagem de Data Mesh
Dados como
produto
Infraestrutura
dedadosde
autoatendimento
comoplataforma
Governaça
federada
Descentralização
orientada por
domínio
Cientistas de dados costumam gastar 80% ou mais de seu tempo
com descoberta e extração de dados. Mas e se as atividades de
negócio fossem desenhadas considerando os dados desde o
início? E se cientistas de dados se envolvessem integralmente em
todo o ciclo de vida dos dados?
11
DATA MESH: UMA MUDANÇA DE PARADIGMA
12. A transição para produtos de dados orientados por domínio
A escolha do domínio (em vez de um monólito) como princípio
orientador para Big Data, permite combinar expertise de domínio
com as capacidades tecnológicas necessárias para criar valor de
negócio. Vistos pelas lentes do domínio, os dados podem se tornar
um portfólio de produtos distintos. Qualquer produto de sucesso
deve encantar seu público consumidor, neste caso, a organização
de forma abrangente: analistas de dados ou qualquer pessoa que
precise trabalhar com dados.
Como criar produtos que encantam? Aproveitando a riqueza de
conhecimento que a mentalidade de produto oferece. Além disso,
quando as organizações estabelecem times de dados distribuídos
com experiência de domínio embutida, elimina-se a maior parte
dos atritos em torno da extração, limpeza e análise de dados.
Decomposição de dados em torno de domínios
Distribuição de propriedade
Domínios alinhados
com a origem
dos dados
Domínios alinhados
com dados agregados
compartilhados
Domínios alinhados
com o consumo
12
DATA MESH: UMA MUDANÇA DE PARADIGMA
13. Como definir sucesso para os dados
Para que a abordagem descentralizada e orientada por domínio
funcione, vários pré-requisitos devem ser atendidos. Um produto
de dados precisa ser:
Assim que essas qualidades forem alcançadas, o modelo terá
capacidade de escala.
A verdadeira métrica de sucesso de qualquer produto de dados
sempre é a satisfação de quem consome os dados. Também pode
fazer sentido definir o sucesso do produto em termos objetivos
e mensuráveis. Para esse fim, é possível fornecer documentação
e publicar métricas de qualidade. Um indicador de desempenho
óbvio a se rastrear, por exemplo, seria o tempo necessário para
cientistas de dados encontrarem e usarem dados relevantes.
Conectando dados interoperáveis em um ciclo de inteligência
Um dos principais recursos da malha de dados é seu modelo de
governança federado, que atinge a interoperabilidade por meio
da padronização. Somente dados interoperáveis permitem que as
análises envolvendo vários produtos de dados gerem insights e
Compartilhável e
disponível para descoberta
Autodescritivo
Endereçável
Confiável
Interoperável
Seguro
13
DATA MESH: UMA MUDANÇA DE PARADIGMA
14. ações com valor. Estes, por sua vez, influenciam o ciclo de dados
seguinte, estabelecendo um ciclo conectado de inteligência.
Execução por meio de iterações de inteligência conectada
Execução por meio de iterações de inteligência conectada
Dados
Ações
Inteligência
Infraestrutura de dados
como plataforma
Governança global
| Padrões abertos
Caso de cliente: varejista líder de vendas pela Internet na
Alemanha começa a construir sua própria malha de dados
Um site de comércio eletrônico líder de vendas na Alemanha
recentemente contratou a ThoughtWorks para ajudar na
implementação de pequenos pedaços da malha de dados para
domínios específicos, como rastreamento web e LTV de clientes. O
projeto resultou em vários insights importantes.
14
DATA MESH: UMA MUDANÇA DE PARADIGMA
15. Uma percepção fundamental foi a seguinte: quem produz os
dados deve se sentir responsável pelos mesmos. Decisões
conscientes sobre quais dados devem ser armazenados precisam
ser feitas, porque extrair e transformar dados que nunca serão
usados só gera custos desnecessários. Depois de decidir quais
dados oferecer às partes interessadas, os novos times orientados
por domínio tornam-se responsáveis por manter e servir usuários.
Dessa forma, a qualidade dos dados passa a funcionar como um
contrato entre quem produz e quem consome os dados.
Ao migrar da propriedade centralizada de dados para um modelo
descentralizado, a empresa viu uma solução para seu gargalo
de engenharia de dados, mas a solução era essencialmente
organizacional. Antes, ninguém tinha propriedade total dos dados
por domínio. Os novos produtos de dados são alinhados à origem.
A propriedade agora permanece dentro do domínio durante todo
o ciclo de vida do produto de dados.
E as infraestruturas existentes?
Ao introduzir o conceito de malha de dados, uma preocupação
que encontramos é que isso poderia tornar obsoletos os
investimentos recentes, como um lago de dados. Outra é que, em
um sistema distribuído, cada produto de dados exigiria sua própria
infraestrutura separada.
A malha de dados resolve esses problemas, oferecendo uma
infraestrutura de dados como plataforma. Em vez de exigir que
cada time de domínio crie sua própria plataforma de dados, a
infraestrutura necessária é fornecida a partir de uma plataforma
de autoatendimento.
15
DATA MESH: UMA MUDANÇA DE PARADIGMA
16. Isso dá aos times um alto grau de autonomia, ao mesmo tempo
que permite a integração de ativos centrais, como um catálogo de
dados existente.
Infraestrutura de dados | ML
como plataforma
Habilitando autonomia
Complexidade técnica abstrata em uma
infraestrutura de dados de autoatendimento
Implementação e mudança organizacional
Na malha de dados, quem produz e quem consome dados deve
trabalhar em conjunto tanto quanto possível. Do ponto de vista
organizacional, a situação ideal é quando o mesmo time produz e
consume os mesmos dados, unindo responsabilidade pelos dados
com capacidade de uso. Frequentemente, no entanto, as muitas
funções dos times de produção de dados exigem uma divisão
entre dois times, de produção e consumo, que permanecem em
comunicação direta.
16
DATA MESH: UMA MUDANÇA DE PARADIGMA
17. Portanto, não é apenas a stack de tecnologia que deve mudar.
Responsabilidades e estruturas também devem mudar para a
implementação da malha de dados. E esse processo de mudança
requer adesão dos níveis mais altos da organização.
Essa mudança transformacional pode ser alcançada de forma
incremental, movendo-se em direção à implementação por partes
pequenas. Na fase intermediária, antes que uma plataforma de
infraestrutura como serviço seja concluída, os times se formam
em torno dos domínios, usando um data warehouse ou data lake
como fonte intermediária, se necessário.
E sim, a criação da plataforma de infraestrutura como serviço
exige exatamente as mesmas habilidades de engenharia de dados
que frequentemente tornam-se gargalos em um data warehouse
ou arquitetura de lago de dados. Uma vez que a plataforma tenha
sido estabelecida, entretanto, ela separa o conhecimento de
domínio da infraestrutura. Profissionais de engenharia de dados
não precisam mais mergulhar no conhecimento do domínio
para realizar seu trabalho, aliviando a pressão que os sistemas
monolíticos criam.
17
DATA MESH: UMA MUDANÇA DE PARADIGMA
18. Conclusão
Implementar abordagens tradicionais de gerenciamento de
dados muitas vezes pode parecer algo como correr para apagar
incêndios, ou seja, tentar resolver problemas de qualidade
com mais controle de qualidade, tentar resolver gargalos da
plataforma de dados com mais profissionais de engenharia de
dados, tentar suportar um crescimento de fontes de dados com
uma infraestrutura mais sólida. A parte boa da abordagem de
Data Mesh é que ela nos ensina a olhar para o problema de uma
perspectiva totalmente diferente. Configurada da maneira correta,
uma malha de dados fica melhor à medida que há mais fontes de
dados e mais agentes consumidores de dados. Em vez de criar
mais e mais problemas, uma malha de dados libera mais insights
de negócio quando a colaboração em torno dos dados é ampliada.
A implementação de uma nova arquitetura de dados pode
ser um marco decisivo para o crescimento de uma empresa
ou para uma jornada profissional. Abordar Big Data como um
problema que pode ser resolvido apenas com tecnologia acaba
limitando o valor que as estratégias existentes podem gerar. O
sucesso depende, em vez disso, da adaptação das estruturas
organizacionais para alinhar os incentivos de quem produz os
dados com quem consome os dados. A mentalidade de produto
nos fornece as ferramentas para criar produtos de dados
excepcionais que podem desbloquear o verdadeiro potencial
das iniciativas de Big Data. A implementação da malha de dados
não requer uma migração big bang. Você não precisa abandonar
seu lago de dados existente. Em vez disso, a adoção pode
acontecer progressivamente por partes pequenas, com cada uma
contribuindo com insights para a próxima etapa.
18
DATA MESH: UMA MUDANÇA DE PARADIGMA
19. Talvez sua empresa tenha encontrado dificuldades de escala de
fontes de dados após a migração de um data warehouse para um
data lake. Você pode simplesmente estar procurando um caminho
mais rápido para o ROI de dados ou uma vantagem competitiva.
Qualquer que seja o cenário que você esteja enfrentando, uma
maneira comprovada de obter resultados mais rapidamente é
trazer especialistas com experiência na arquitetura de dados
específica que você procura implementar.
A ThoughtWorks trabalhou com várias empresas em suas
implementações de Data Mesh. Uma observação que se provou
universal é: quanto mais cedo uma organização adota a malha de
dados, mais rápido ela pode começar a gerar mais valor a partir de
seus dados. Embora a maioria dos departamentos de TI já possua
grande parte da experiência necessária para implementar uma
malha de dados, as parcerias externas podem acelerar e orientar o
processo com melhores práticas e expertise.
19
DATA MESH: UMA MUDANÇA DE PARADIGMA
20. Referências
Dehghani, Zhamak. 2019. “How to Move Beyond a Monolithic
Data Lake to a Distributed Data Mesh.” martinFowler.com
http://martinfowler.com/articles/data-monolith-to-mesh.html
Dehghani, Zhamak. 2020. “Data Mesh Principals and Logical
Architecture.” martinFowler.com
https://martinfowler.com/articles/data-mesh-principles.html
Fowler, Martin. 2015. “DataLake.” martinFowler.com
https://martinfowler.com/bliki/DataLake.html
New Vantage Partners, 2021. “Big Data and AI Executive
Survey 2021.” newvantage.com
http://c6abb8db-514c-4f5b-b5a1-fc710f1e464e.filesusr.com/ugd/
e5361a_76709448ddc6490981f0cbea42d51508.pdf
Wider, Arif. Nov. 16, 2020. “Data mesh: it’s not just about tech,
it’s about ownership and communication” thoughtworks.com
http://www.thoughtworks.com/insights/blog/data-mesh-its-not-
about-tech-its-about-ownership-and-communication
Pallozzi, Daniel. Dec. 13, 2018 “The end of data gluttony:
Principles to rejuvenate your data strategy” thoughtworks.com
https://www.thoughtworks.com/perspectives/edition2-data-article
20
DATA MESH: UMA MUDANÇA DE PARADIGMA
21. thoughtworks.com
Sobre a ThoughtWorks
Somos uma consultoria global de software e uma comunidade de
indivíduos apaixonados por tecnologia, formada por mais de 8 mil
pessoas, distribuídas por 48 escritórios em 17 países. Em nossos
mais de 25 anos de história, ajudamos clientes a resolver problemas
complexos de negócio, usando a tecnologia como diferencial.
Quando a mudança é única constante,
nós preparamos organizações para o imprevisível.
Para saber mais, visite: thoughtworks.com