O documento discute o conceito de DataOps e como implementá-lo em projetos de BigData. Apresenta os desafios de análise de dados e como o DataOps pode ajudar a reduzir o tempo de análise, melhorar a qualidade dos dados e promover maior eficiência das equipes. Discute os principais componentes do framework DataOps, incluindo processos ágeis, arquitetura modular e equipe multifuncional. Conclui que as empresas devem concentrar esforços em cultura, processos e tecnologia para implementar com sucesso o DataOps.
TDC São Paulo Online 2020 - trilha Big DataEduardo Hahn
A apresentação discute como implementar DataOps em projetos de BigData, definindo DataOps como uma metodologia para melhorar a qualidade e reduzir o tempo de análise de dados. Apresenta os desafios de análise de dados, os benefícios de DataOps e um framework para implementação, focando em cultura, processos e tecnologia. Conclui enfatizando que empresas devem concentrar esforços nestas três áreas para aplicar com sucesso DataOps.
DataOps: Estendendo as práticas de DevOps para BigDataEduardo Hahn
DataOps é uma abordagem que estende as práticas de DevOps para equipes de dados e análise, com o objetivo de melhorar a qualidade e reduzir o tempo de ciclo dos projetos de dados. DataOps envolve automatizar, monitorar e orquestrar pipelines de dados, ambientes de teste e implantações para permitir a entrega contínua de soluções analíticas. Implementar DataOps requer foco em cultura, processos e tecnologia para permitir a colaboração entre equipes multidisciplinares.
Passo a Passo para implementar DataOps em projetos de Big DataEduardo Hahn
DataOps é uma abordagem que visa melhorar a qualidade e reduzir o tempo de ciclo de análises de dados por meio da automação e monitoramento de pipelines de dados. O documento descreve 15 passos para implementar DataOps em projetos de Big Data, incluindo incrementar testes de dados e lógica, usar controle de versão, ambientes múltiplos e parâmetros, visando permitir que equipes trabalhem com confiança e evitem problemas de qualidade e interrupções.
O documento descreve as principais tecnologias de Big Data, incluindo Hadoop, MapReduce, HDFS e como empresas como Netflix, Uber e Facebook utilizam essas tecnologias para extrair insights valiosos de grandes volumes de dados.
Buscapé 2.0 - Como mudamos uma empresa em 1 anoThiago Freitas
O documento descreve como o arquiteto de software Thiago Santos transformou a empresa Buscapé em um ano, mapeando seus sistemas, fluxos de informação e problemas, e implementando novas arquiteturas de microserviços e práticas de DevOps para torná-la mais ágil e independente.
DataOps, Data Mesh e Data Fabric. Melhores práticas para seu projeto de arqui...Eduardo Hahn
O documento discute três práticas relacionadas a arquitetura de dados: DataOps, Data Mesh e Data Fabric. DataOps busca eliminar ineficiências no processo de gerenciamento e entrega de dados. Data Mesh propõe uma arquitetura descentralizada e orientada a domínios para dados. Data Fabric fornece pipelines, serviços e semântica de integração de dados flexíveis. Essas práticas influenciam na construção de arquiteturas de dados modernas ao promover a governança, automação e descentralização dos dados.
Big Data Analytics - Do MapReduce ao dashboard com Hadoop e PentahoAmbiente Livre
Marcio Junior Vieira apresenta sobre Big Data e Analytics utilizando ferramentas de código aberto como Hadoop e Pentaho. Ele discute os desafios do Big Data, como começar com o problema e não os dados, e recomenda compartilhar dados para receber dados. Marcio também fala sobre as tendências como cientistas de dados cidadãos e como o Big Data é revolucionário assim como o Linux foi em 1991.
O desafio do ágil em um time de Machine Learning Jorge Improissi
Este documento descreve os desafios enfrentados por uma equipe de machine learning ao aplicar métodos ágeis em um projeto. A equipe enfrentou problemas como falta de expertise, dependência de outras áreas e dificuldade em comunicar os objetivos do projeto para os stakeholders. No entanto, a equipe aprendeu lições valiosas sobre gestão de fluxo de trabalho e colaboração entre equipes que permitiram melhorias posteriores nos modelos de aprendizado de máquina.
TDC São Paulo Online 2020 - trilha Big DataEduardo Hahn
A apresentação discute como implementar DataOps em projetos de BigData, definindo DataOps como uma metodologia para melhorar a qualidade e reduzir o tempo de análise de dados. Apresenta os desafios de análise de dados, os benefícios de DataOps e um framework para implementação, focando em cultura, processos e tecnologia. Conclui enfatizando que empresas devem concentrar esforços nestas três áreas para aplicar com sucesso DataOps.
DataOps: Estendendo as práticas de DevOps para BigDataEduardo Hahn
DataOps é uma abordagem que estende as práticas de DevOps para equipes de dados e análise, com o objetivo de melhorar a qualidade e reduzir o tempo de ciclo dos projetos de dados. DataOps envolve automatizar, monitorar e orquestrar pipelines de dados, ambientes de teste e implantações para permitir a entrega contínua de soluções analíticas. Implementar DataOps requer foco em cultura, processos e tecnologia para permitir a colaboração entre equipes multidisciplinares.
Passo a Passo para implementar DataOps em projetos de Big DataEduardo Hahn
DataOps é uma abordagem que visa melhorar a qualidade e reduzir o tempo de ciclo de análises de dados por meio da automação e monitoramento de pipelines de dados. O documento descreve 15 passos para implementar DataOps em projetos de Big Data, incluindo incrementar testes de dados e lógica, usar controle de versão, ambientes múltiplos e parâmetros, visando permitir que equipes trabalhem com confiança e evitem problemas de qualidade e interrupções.
O documento descreve as principais tecnologias de Big Data, incluindo Hadoop, MapReduce, HDFS e como empresas como Netflix, Uber e Facebook utilizam essas tecnologias para extrair insights valiosos de grandes volumes de dados.
Buscapé 2.0 - Como mudamos uma empresa em 1 anoThiago Freitas
O documento descreve como o arquiteto de software Thiago Santos transformou a empresa Buscapé em um ano, mapeando seus sistemas, fluxos de informação e problemas, e implementando novas arquiteturas de microserviços e práticas de DevOps para torná-la mais ágil e independente.
DataOps, Data Mesh e Data Fabric. Melhores práticas para seu projeto de arqui...Eduardo Hahn
O documento discute três práticas relacionadas a arquitetura de dados: DataOps, Data Mesh e Data Fabric. DataOps busca eliminar ineficiências no processo de gerenciamento e entrega de dados. Data Mesh propõe uma arquitetura descentralizada e orientada a domínios para dados. Data Fabric fornece pipelines, serviços e semântica de integração de dados flexíveis. Essas práticas influenciam na construção de arquiteturas de dados modernas ao promover a governança, automação e descentralização dos dados.
Big Data Analytics - Do MapReduce ao dashboard com Hadoop e PentahoAmbiente Livre
Marcio Junior Vieira apresenta sobre Big Data e Analytics utilizando ferramentas de código aberto como Hadoop e Pentaho. Ele discute os desafios do Big Data, como começar com o problema e não os dados, e recomenda compartilhar dados para receber dados. Marcio também fala sobre as tendências como cientistas de dados cidadãos e como o Big Data é revolucionário assim como o Linux foi em 1991.
O desafio do ágil em um time de Machine Learning Jorge Improissi
Este documento descreve os desafios enfrentados por uma equipe de machine learning ao aplicar métodos ágeis em um projeto. A equipe enfrentou problemas como falta de expertise, dependência de outras áreas e dificuldade em comunicar os objetivos do projeto para os stakeholders. No entanto, a equipe aprendeu lições valiosas sobre gestão de fluxo de trabalho e colaboração entre equipes que permitiram melhorias posteriores nos modelos de aprendizado de máquina.
O documento discute como obter valor comercial com big data. Resume os principais pontos do relatório de Matt Aslett da 451 Research sobre como seis empresas usam big data na nuvem para gerar valor. A nuvem permite introdução mais rápida no mercado, menor custo total de propriedade, redução de custos operacionais, maior agilidade dos desenvolvedores e novas oportunidades de receita.
Tableau Drive, Uma nova metodologia para implantações corporativasTableau Software
O documento discute o Tableau Drive, uma metodologia para implementar analítica de autoatendimento que promove a parceria entre negócios e TI. O Drive baseia-se em métodos ágeis para permitir a iteração em tempo real e colocar o negócio no controle do trabalho analítico criativo. A TI apoia fornecendo infraestrutura e capacitação. O objetivo é gerar insights rapidamente que impulsionem a ação.
TDC2017 | Florianopolis - Trilha DevOps How we figured out we had a SRE team ...tdc-globalcode
A apresentação discute as melhores práticas do Asp.Net MVC utilizadas pela empresa Ayty Tech em seus projetos. A empresa possui experiência com .Net desde 2008 e utilizava WebForms, mas precisava atualizar para novas tecnologias. Eles adotaram o Asp.Net MVC com arquitetura em camadas separadas e práticas como testes unitários, ViewModels e validações simples. O resultado foram novas aplicações com alta performance e manutenibilidade.
1) O documento apresenta um resumo sobre Big Data, Data Driven, Cloud Computing e AWS. 2) Inclui definições sobre Data Lake, perfis na área de dados, computação on-demand e serverless. 3) Discutiu sobre a AWS, seus serviços, custos e casos reais de projetos de análise de dados.
IDC Portugal | Virtualização de Dados como Estratégia de Gestão de Dados para...Denodo
Watch full webinar here: https://bit.ly/3Biofz5
Veja esta sessão para compreender porque é que a virtualização de dados é uma estratégia apropriada quando as aplicações que necessitam de analíticas avançadas exigem dados muito recentes ou quando esses dados são distribuídos por múltiplas plataformas numa arquitectura híbrida.
Vai aprender:
- Porque é que a virtualização de dados é uma abordagem de confiança à integração de dados
- Como os modelos de virtualização de dados distribuíram os dados em estruturas mais simples e unificadas
- Como a virtualização de dados aborda a Analytics, o BI self-service, e a governação de dados
O documento discute os princípios e práticas de DevOps. Ele descreve DevOps como a união de pessoas, processos e ferramentas para entregar valor contínuo aos usuários finais. Algumas práticas DevOps incluem infraestrutura como código, integração contínua, implantação contínua e monitoramento de aplicativos. O documento também discute como o Azure suporta essas práticas de DevOps.
O documento discute a implementação de um Plano de Desenvolvimento em Tecnologias de Informação e Comunicação (PDTIC) para a Universidade Federal de Sergipe (UFS). Ele analisa o banco de dados atual da UFS, identifica problemas como redundância de dados e ausência de interoperabilidade entre sistemas, e sugere soluções como a adoção do PostgreSQL e a implementação de um data warehouse para melhorar a gestão da informação.
1. O documento discute as tendências que vão mudar a estratégia de dados no futuro, incluindo aprendizado de máquina e inteligência artificial para simplificar a gestão e tomada de decisões com dados.
2. A inteligência artificial está sendo incorporada em ferramentas de gestão de dados para automatizar processos como identificação de dados sensíveis.
3. Arquiteturas híbridas e "Data Fabrics" que unificam dados em nuvens e on-premise se tornarão mais comuns.
1) O documento discute as soluções da Dell EMC para ambientes de Big Data, incluindo fundamentos de análise de dados, tipos de dados emergentes e as ofertas de produtos da Dell EMC como bundles prontos para Hadoop e Hortonworks.
2) Apresenta o conceito de BDaaS - The Elastic Data Platform como uma infraestrutura compartilhada e multi-locatária para Big Data que oferece isolamento de dados e computação.
3) Discutem os serviços de consultoria em análise de dados da Dell EMC para ajudar os
O documento apresenta as principais mudanças na versão 3.0 do padrão ArchiMate. As principais alterações incluem a adição de novos elementos para modelar a estratégia, capacidades, resultados, elementos físicos e eventos. A estrutura da linguagem e os relacionamentos entre elementos também foram aprimorados para maior consistência e alinhamento com outros padrões como o TOGAF. A notação gráfica foi simplificada e a personalização da linguagem foi melhor descrita.
O documento fornece uma visão geral das principais ferramentas de machine learning, incluindo serviços de modelos treinados, frameworks e bibliotecas. Ele discute quando utilizar serviços de modelos treinados versus treinar seus próprios modelos e fornece exemplos de ferramentas populares como Watson, Cloud Vision API, Weka, Azure ML Studio, H2O, Scikit-Learn, MLLib e TensorFlow.
TDC2016SP - Machine Learning Black Boxes - Terceirizando o Trabalho Durotdc-globalcode
O documento fornece uma visão geral dos principais conceitos e ferramentas de machine learning, incluindo: 1) Uma explicação de modelos de machine learning treinados e como eles funcionam; 2) Uma discussão sobre quando utilizar serviços de modelos treinados versus treinar seus próprios modelos; 3) Uma comparação de populares ferramentas e bibliotecas de machine learning como Weka, H2O, Scikit-learn, TensorFlow e Spark MLLib.
O documento discute práticas DevOps como infraestrutura como código, integração contínua, entrega contínua e monitoramento. Também apresenta como essas práticas podem ser implementadas no Azure para permitir que times de desenvolvimento e operações trabalhem de forma mais colaborativa e entreguem valor aos clientes de forma mais rápida e contínua.
O documento discute os princípios fundamentais de arquitetura de dados, incluindo: (1) os dados devem ser compartilhados entre departamentos para fornecer uma visão completa do cliente, (2) interfaces apropriadas devem ser fornecidas para facilitar o consumo de dados compartilhados, e (3) um vocabulário comum é essencial para que as pessoas entendam os dados da mesma maneira.
O documento descreve a metodologia "top-down" para projeto e planejamento de redes. Ele explica que essa metodologia envolve começar pelo alto nível, considerando os objetivos do cliente e aplicativos, e então projetar os detalhes técnicos. Também discute as vantagens de usar uma topologia hierárquica e as funções das camadas de núcleo, distribuição e acesso nessa topologia.
Essa palestra foi uma apresentação sobre itens do ciclo de vida do dado e como fazê-lo usando Open Source. A palestra começa falando sobre ILM (Information Lifecycle Management) e termina falando sobre Governança de Dados e como é possível fazê-lo com Open Source.
Relatório técnico sobre Ferramentas de Planos de Gestão de Dados - Jornadas d...Pedro Príncipe
O documento analisa ferramentas de gestão de Planos de Gestão de Dados e seleciona a ferramenta ARGOS para teste, pois oferece serviços na nuvem, já tem projetos da FCT e terá em breve interface em português.
O documento discute as Metodologias Ágeis de Desenvolvimento de Software, introduzindo o Manifesto Ágil e seus 12 princípios. Também apresenta algumas metodologias como XP (Extreme Programming), Scrum, Crystal e FDD (Feature Driven Development), descrevendo em detalhes os processos de planejamento, projeto, codificação e teste da metodologia XP.
Mais conteúdo relacionado
Semelhante a DataOps: da teoria a prática, como realmente se aplica em projetos de BigData
O documento discute como obter valor comercial com big data. Resume os principais pontos do relatório de Matt Aslett da 451 Research sobre como seis empresas usam big data na nuvem para gerar valor. A nuvem permite introdução mais rápida no mercado, menor custo total de propriedade, redução de custos operacionais, maior agilidade dos desenvolvedores e novas oportunidades de receita.
Tableau Drive, Uma nova metodologia para implantações corporativasTableau Software
O documento discute o Tableau Drive, uma metodologia para implementar analítica de autoatendimento que promove a parceria entre negócios e TI. O Drive baseia-se em métodos ágeis para permitir a iteração em tempo real e colocar o negócio no controle do trabalho analítico criativo. A TI apoia fornecendo infraestrutura e capacitação. O objetivo é gerar insights rapidamente que impulsionem a ação.
TDC2017 | Florianopolis - Trilha DevOps How we figured out we had a SRE team ...tdc-globalcode
A apresentação discute as melhores práticas do Asp.Net MVC utilizadas pela empresa Ayty Tech em seus projetos. A empresa possui experiência com .Net desde 2008 e utilizava WebForms, mas precisava atualizar para novas tecnologias. Eles adotaram o Asp.Net MVC com arquitetura em camadas separadas e práticas como testes unitários, ViewModels e validações simples. O resultado foram novas aplicações com alta performance e manutenibilidade.
1) O documento apresenta um resumo sobre Big Data, Data Driven, Cloud Computing e AWS. 2) Inclui definições sobre Data Lake, perfis na área de dados, computação on-demand e serverless. 3) Discutiu sobre a AWS, seus serviços, custos e casos reais de projetos de análise de dados.
IDC Portugal | Virtualização de Dados como Estratégia de Gestão de Dados para...Denodo
Watch full webinar here: https://bit.ly/3Biofz5
Veja esta sessão para compreender porque é que a virtualização de dados é uma estratégia apropriada quando as aplicações que necessitam de analíticas avançadas exigem dados muito recentes ou quando esses dados são distribuídos por múltiplas plataformas numa arquitectura híbrida.
Vai aprender:
- Porque é que a virtualização de dados é uma abordagem de confiança à integração de dados
- Como os modelos de virtualização de dados distribuíram os dados em estruturas mais simples e unificadas
- Como a virtualização de dados aborda a Analytics, o BI self-service, e a governação de dados
O documento discute os princípios e práticas de DevOps. Ele descreve DevOps como a união de pessoas, processos e ferramentas para entregar valor contínuo aos usuários finais. Algumas práticas DevOps incluem infraestrutura como código, integração contínua, implantação contínua e monitoramento de aplicativos. O documento também discute como o Azure suporta essas práticas de DevOps.
O documento discute a implementação de um Plano de Desenvolvimento em Tecnologias de Informação e Comunicação (PDTIC) para a Universidade Federal de Sergipe (UFS). Ele analisa o banco de dados atual da UFS, identifica problemas como redundância de dados e ausência de interoperabilidade entre sistemas, e sugere soluções como a adoção do PostgreSQL e a implementação de um data warehouse para melhorar a gestão da informação.
1. O documento discute as tendências que vão mudar a estratégia de dados no futuro, incluindo aprendizado de máquina e inteligência artificial para simplificar a gestão e tomada de decisões com dados.
2. A inteligência artificial está sendo incorporada em ferramentas de gestão de dados para automatizar processos como identificação de dados sensíveis.
3. Arquiteturas híbridas e "Data Fabrics" que unificam dados em nuvens e on-premise se tornarão mais comuns.
1) O documento discute as soluções da Dell EMC para ambientes de Big Data, incluindo fundamentos de análise de dados, tipos de dados emergentes e as ofertas de produtos da Dell EMC como bundles prontos para Hadoop e Hortonworks.
2) Apresenta o conceito de BDaaS - The Elastic Data Platform como uma infraestrutura compartilhada e multi-locatária para Big Data que oferece isolamento de dados e computação.
3) Discutem os serviços de consultoria em análise de dados da Dell EMC para ajudar os
O documento apresenta as principais mudanças na versão 3.0 do padrão ArchiMate. As principais alterações incluem a adição de novos elementos para modelar a estratégia, capacidades, resultados, elementos físicos e eventos. A estrutura da linguagem e os relacionamentos entre elementos também foram aprimorados para maior consistência e alinhamento com outros padrões como o TOGAF. A notação gráfica foi simplificada e a personalização da linguagem foi melhor descrita.
O documento fornece uma visão geral das principais ferramentas de machine learning, incluindo serviços de modelos treinados, frameworks e bibliotecas. Ele discute quando utilizar serviços de modelos treinados versus treinar seus próprios modelos e fornece exemplos de ferramentas populares como Watson, Cloud Vision API, Weka, Azure ML Studio, H2O, Scikit-Learn, MLLib e TensorFlow.
TDC2016SP - Machine Learning Black Boxes - Terceirizando o Trabalho Durotdc-globalcode
O documento fornece uma visão geral dos principais conceitos e ferramentas de machine learning, incluindo: 1) Uma explicação de modelos de machine learning treinados e como eles funcionam; 2) Uma discussão sobre quando utilizar serviços de modelos treinados versus treinar seus próprios modelos; 3) Uma comparação de populares ferramentas e bibliotecas de machine learning como Weka, H2O, Scikit-learn, TensorFlow e Spark MLLib.
O documento discute práticas DevOps como infraestrutura como código, integração contínua, entrega contínua e monitoramento. Também apresenta como essas práticas podem ser implementadas no Azure para permitir que times de desenvolvimento e operações trabalhem de forma mais colaborativa e entreguem valor aos clientes de forma mais rápida e contínua.
O documento discute os princípios fundamentais de arquitetura de dados, incluindo: (1) os dados devem ser compartilhados entre departamentos para fornecer uma visão completa do cliente, (2) interfaces apropriadas devem ser fornecidas para facilitar o consumo de dados compartilhados, e (3) um vocabulário comum é essencial para que as pessoas entendam os dados da mesma maneira.
O documento descreve a metodologia "top-down" para projeto e planejamento de redes. Ele explica que essa metodologia envolve começar pelo alto nível, considerando os objetivos do cliente e aplicativos, e então projetar os detalhes técnicos. Também discute as vantagens de usar uma topologia hierárquica e as funções das camadas de núcleo, distribuição e acesso nessa topologia.
Essa palestra foi uma apresentação sobre itens do ciclo de vida do dado e como fazê-lo usando Open Source. A palestra começa falando sobre ILM (Information Lifecycle Management) e termina falando sobre Governança de Dados e como é possível fazê-lo com Open Source.
Relatório técnico sobre Ferramentas de Planos de Gestão de Dados - Jornadas d...Pedro Príncipe
O documento analisa ferramentas de gestão de Planos de Gestão de Dados e seleciona a ferramenta ARGOS para teste, pois oferece serviços na nuvem, já tem projetos da FCT e terá em breve interface em português.
O documento discute as Metodologias Ágeis de Desenvolvimento de Software, introduzindo o Manifesto Ágil e seus 12 princípios. Também apresenta algumas metodologias como XP (Extreme Programming), Scrum, Crystal e FDD (Feature Driven Development), descrevendo em detalhes os processos de planejamento, projeto, codificação e teste da metodologia XP.
Semelhante a DataOps: da teoria a prática, como realmente se aplica em projetos de BigData (20)
DataOps: da teoria a prática, como realmente se aplica em projetos de BigData
1. Globalcode – Open4education
TRILHA BigData & NoSQL
DataOps: da teoria a prática, como
realmente se aplica em projetos de BigData
Eduardo Hahn
DataLakers founder & DataOps Enthusiastic
2. Globalcode – Open4education
+ BuzzWord
“DataOps is an automated, process-oriented methodology,
used by analytic and data teams, to improve the quality and
reduce the cycle time of data analytics.” Wikipedia
“DataOps is about more than speed and quality. With a
culture of continuous improvement, organizations can
deliver data analytics solutions more efficiently, releasing
valuable team members for more valuable activities, such
as building innovative new products.” Eckerson Group
6. Globalcode – Open4education
Desafios de Data Analytics
1. Objetivos de negócio movem-se rápido
2. Dados vivem sem silos
3. Formatos de dados não otimizados
4. Dados errados
5. Dados ruins Relatórios ruins
6. Gestão do Pipeline de dados nunca termina
7. Processo manual esgotado
8. A armadilha da "esperança e heroísmo"
7. Globalcode – Open4education
Desafios de Data Analytics
Pesquisa Gartner - apenas 22% do tempo em novos iniciativas,
56% em execução operacional.
Copyright 2020 by DataKitchen, Inc.
8. Globalcode – Open4education
DataOps benefícios
Um dos principais benefícios de DataOps é entregar aos times, ferramentas
que auxiliem no controle e gestão do processo de pipeline de dados
9. Globalcode – Open4education
DataOps benefícios
Reduzir o tempo para analise de dados (insight)
Melhorar a qualidade de dados
Reduzir o custo marginal de perguntar para o negócio a próxima pergunta
Aprimorar a capacidade de integração e comunicação do time
Promover maior eficiência do time através de processos ágeis, reuso e
deploy
13. Globalcode – Open4education
DataOps Framework
Processo
Agile - modelo de entrega incremental
Tecnologia
Arquitetura - seleção de ferramentas que compõem a cadeia de ingestão de dados
Infraestrutura - seleção de plataforma para suportar arquitetura
Organização
Funções - divisão do trabalho entre equipes de habilidades mistas
Estrutura - modelo de trabalho para projetos em equipes técnicas e de negócios
14. Globalcode – Open4education
DataOps Framework
Getting Started - Processos
Ágil é a chave
Se ainda não estiver lá, escolha um modelo que funcione (Scrum, SAFe)
Avaliar projetos para entrega de produtos de dados
Pontuação na disponibilidade de dados x valor da solução de um problema
Definir projeto de alto valor e rico em dados que exigirá uma solução complexa
Implementar o processo para garantir a funcionalidade de ponta a ponta
15. Globalcode – Open4education
DataOps Framework
Getting Started – Tecnologia
Identifique o caminho para uma arquitetura de serviço moderna e modular
Criar projeto para a próxima geração de plataforma de gerenciamento de dados
Revisitar a estratégia de migração na nuvem (cloud first)
Separar processos monolíticos
Encapsular componentes em APIs, expor como serviços
Comece a construir com novas tecnologias
Escolha um subconjunto de ferramentas para prova de conceitos para substituir a tecnologia antiga, se existir
16. Globalcode – Open4education
DataOps Framework
Getting Started – Organização
Equipe atual
Identificar as principais funções existentes
Encontre os melhores candidatos para novas funções
Criar equipe multifuncional
Data consumers
Data Engineer
Data Analyst
Data Architect
Escolha o seu modelo operacional
Iniciar com serviços compartilhados para o primeiro projeto
Garanta o alinhamento executivo
CDO ou equivalente
25. Globalcode – Open4education
References
DataOps Ecosystem - //medium.com/data-ops/2017-the-year-of-dataops-b2023c17d2af
DataOps Manifesto - http://dataopsmanifesto.org/
DataOps for Analytics //www.qlik.com/pt-br/dataops
DataOps— It’s a Secret - //www.datasciencecentral.com/profiles/blogs/dataops-it-s-a-
secret
Getting DataOps Right - //resources.tamr.com/getting-dataops-right
The Power of DataOps - //www.delphix.com/blog/power-dataops
Building a DataOps Team - //medium.com/data-ops/building-a-dataops-team-
abc375e0a6bc
DataOps: Industrializing Data and Analytics - //www.eckerson.com/articles/dataops-
industrializing-data-and-analytics?content=dataops-industrializing-data-and-analytics
29. Globalcode – Open4education
About me
Eduardo Hahn
• Founder DataLakers Tecnologia
• Data Lover & DataOps Enthusiastic
• eduardo.hahn@datalakers.com.br
• @eduardohahn
• /in/eduardohahn3
Partners
30. Globalcode – Open4education
TRILHA BigData & NoSQL
DataOps: da teoria a prática, como
realmente se aplica em projetos de BigData
Eduardo Hahn
DataLakers founder & DataOps Enthusiastic