Nessa palestra vamos mergulhar em um caso de uso onde o requisito era exportar os dados denormalizados de qualquer entidade no Drupal para um banco de dados externo (BigData) e construir relatórios de negócio personalizados.

1. Gabriel Machado
Arquiteto de Software
CI&T
Exportando dados denormalizados
no Drupal com foco em BI

2. Gabriel Machado Santos

3. Sumário
● Requisito/necessidade do cliente
● Ferramentas ETL/BI no mercado
● Porque não utilizamos as ferramentas do mercado?
● Criação do modulo ETL
● Funcionamento do modulo
● Demostração do modulo exportando dados
● Criando relatórios com foco em inteligência de negócio
● Futuras melhorias para o modulo

4. Sumário
● Requisito/necessidade do cliente
● Ferramentas ETL/BI no mercado
● Porque não utilizamos as ferramentas do mercado?
● Criação do modulo ETL
● Funcionamento do modulo
● Demostração do modulo exportando dados
● Criando relatórios com foco em inteligência de negócio
● Futuras melhorias para o modulo

5. Requisito do cliente
● Analisar os dados em tempo real
● Possibilidade de criar relatórios flexíveis
● Cruzar informações entre as entidades
● Criar relatórios de média e alta complexidade

6. Requisito do cliente
● Ferramentas de relatório que o cliente suporta:
○ Tableau
○ Qlik
○ AWS QuickSight

7. Porque não conectar o Tableau diretamente no MySQL/Drupal?
● Quantidade de tabelas no Drupal
● Número de JOINs inviabiliza performance
● Dificuldade para identificar dimensões e atributos no Tableau

8. Sumário
● Requisito/necessidade do cliente
● Ferramentas ETL/BI no mercado
● Porque não utilizamos as ferramentas do mercado?
● Criação do modulo ETL
● Funcionamento do modulo
● Demostração do modulo exportando dados
● Criando relatórios com foco em inteligência de negócio
● Futuras melhorias para o modulo

9. Ferramentas ETL/BI no mercado
● Ferramentas:
○ Oracle Warehouse Builder (OWB)
○ SAP Data Services
○ IBM Infosphere Information Server
○ SQL Server Integration Services (SSIS)

10. Sumário
● Requisito/necessidade do cliente
● Ferramentas ETL/BI no mercado
● Porque não utilizamos as ferramentas do mercado?
● Criação do modulo ETL
● Funcionamento do modulo
● Demostração do modulo exportando dados
● Criando relatórios com foco em inteligência de negócio
● Futuras melhorias para o modulo

11. Porque não utilizamos as ferramentas do mercado?
● Extremamente caras
● Maioria não é Open Source
● Profissionais especializados com alto custo
● Custo para manter as aplicações
○ Licença
● Servidores dedicados para manter a aplicação

12. Porque não utilizamos os modulos do Drupal?
● Node Export?
● Migrate?

13. Sumário
● Requisito/necessidade do cliente
● Ferramentas ETL/BI no mercado
● Porque não utilizamos as ferramentas do mercado?
● Criação do modulo ETL
● Funcionamento do modulo
● Demostração do modulo exportando dados
● Criando relatórios com foco em inteligência de negócio
● Futuras melhorias para o modulo

14. Enfim, decidimos criar um modulo para ETL, por quê?
● Definir quais entidades devem ser exportadas
● Quais campos de cada entidade
● Alterar os dados antes de persistir
● Manter os dados sincronizados (Drupal Queue API)

15. Sumário
● Requisito/necessidade do cliente
● Ferramentas ETL/BI no mercado
● Porque não utilizamos as ferramentas do mercado?
● Criação do modulo ETL
● Funcionamento do modulo
● Demostração do modulo exportando dados
● Criando relatórios com foco em inteligência de negócio
● Futuras melhorias para o modulo

16. Funcionamento do modulo
● Definir quais entidades devem ser exportadas
○ hook_etl_load_entities_info()

17. Funcionamento do modulo
● Quais campos por entidade devem ser exportados

18. Funcionamento do modulo
● Alterar os dados antes de persistir
○ hook_etl_entity_load_data_alter(&$entity_data, $info)

19. Funcionamento do modulo
● Alterar os dados antes de persistir
○ hook_etl_get_field_parser_value_alter(&$field_value,
$machine_name, $field)

20. Funcionamento do modulo
● Manter os dados atualizados
○ Queue API

21. Sumário
● Requisito/necessidade do cliente
● Ferramentas ETL/BI no mercado
● Porque não utilizamos as ferramentas do mercado?
● Criação do modulo ETL
● Funcionamento do modulo
● Demostração do modulo exportando dados
● Criando relatórios com foco em inteligência de
negócio
● Futuras melhorias para o modulo

22. Demostração

23. Sumário
● Requisito/necessidade do cliente
● Ferramentas ETL/BI no mercado
● Porque não utilizamos as ferramentas do mercado?
● Criação do modulo ETL
● Funcionamento do modulo
● Demostração do modulo exportando dados
● Criando relatórios com foco em inteligência de negócio
● Futuras melhorias para o modulo

24. Futuras melhorias para o modulo
● Listar todas entidades na pagina de configuração
● Refletir as alterações dos labels no destination database
● Verificar a conexão com a base de dados
● Criar tabelas automaticamente

25. Futuras melhorias para o modulo
● Lista de issues no Drupal.org

26. Futuras melhorias para o modulo
● Remover a restrição de caracteres do label

27. Obrigado
Dúvidas?
● drupal.org/u/gabrielmachadosantos
● linkedin.com/in/gabrielmachadosantos
● twitter.com/gmachadosantos