O documento descreve as capacidades do Qlik Sense para lidar com grandes volumes de dados, incluindo sua tecnologia de banco de dados associativo em memória que comprime dados em RAM, permitindo análises rápidas. Também explica como os arquivos QVDs armazenam dados compactados e como recursos como ODAG e Qlik Associative Big Data Index permitem análises detalhadas em grandes conjuntos de dados.

1. ALTA PERFORMANCE E GRANDE
VOLUME DE DADOS COM QLIK
SENSE
1
Victor Bertoldo

2. Iniciei como a grande
maioria na área de TI,
trabalhando com suporte
ao usuário.
2011
Primeiro contato grande
volume de dados.
2019Voltei a liderar equipes,
tive minha primeira
experiencia
empreendendo e meu
primeiro contato com
Qlik.
2017Primeira oportunidade
trabalhando com dados.
Basicamente excel.
2016Comecei a liderar equips
e passei boa parte da
minha carreira focado
em gestão.
2013
Trajetória
https://www.linkedin.com/in/victorbertoldo/
2

3. Sobre a Qlik.
• Os produtos mais conhecidos da Qlik, QlikView
e Qlik Sense possuem em seu cerne uma
tecnologia proprietária denominada Memória
Associativa de dados (Qlik’s in-memory
associative database), em tradução livre.
• Criada em 1993 na Suécia, permite grandes
conjuntos de dados comprimidos e armazenados
em RAM. Basicamente isso é o que definine o
Qlik.
3

4. Portifólio
• QlikView;
• Qlik Sense;
• Attunity – Data Integration;
• Qlik Data Catalyst;
• Qlik Core;
• Qlik Insight Bot;
• Qlik NPrinting.
4

5. Componentes do Qlik
Sense
In-memory associative
database.
ETL Engine:
• Data manager;
• Script;
• Data model.
Visualização.
API e
extensibilidade.
5

6. O motor Associativo 6

7. O motor Associativo 7

8. Ok!
Let’s
Talk about
DATA
“
”
8

9. Por que usar
Qlik,
em ambientes com
grandes volumes
de
dados ?
9

10. QVDs
QVDs São Datafiles
da Qlik, que usam
uma técnica XML
de armazenamento
de dados.
Como falado
anteriormente, o
motor associativo
comprime os dados
em mémoria.
Além da RAM
Alta
compressã
o
10

11. QVDs
São compostos de 3
partes:
• XML Header – Metadados;
• Symbol table – byte-
stuffed format;
• Data table – bit-stuffed
format. A taxa de compressão
pode chegar à até
90%, mas depende dos
dados que estão
sendo processados.
Ratio 10:1
Alta
compressã
o
11

12. Por que usar
QVDs
Em meu projeto
Sem DW não é
BI
?
12

13. 13
Benefícios
0
102
10-100 vezes mais rápido
que carregar dados de
outras origens;
Reduz a carga no
banco de dados;
Carga incremental
muito performática.03

14. Vamos mostrar
AOVIVASSO!
14

15. Xeque-mate
Sem DW não é boa
prática.
15

16. É só isso?
É claro que
não
!
16

17. Em alguns casos, mesmo com a alta
compressãoDe dados precisamos de entregar
análisesCom alta granularidade
17
!

18. On Demand App Generation –
ODAG
Quando usar
18
?
O cenário mais comum é
quando a análise exige grandes
volumes e a necessidade de
detalhar o dado até o menor
nível.

19. Cenário de Vendas 19
Dados sumarizados maior nível.
Dashboard geral de Vendas
Detalhar as vendas por região,
filial, etc.
Análise por Filial
Esporádicamente é necessario
detalhar no nível do item do
pedido de venda, ou item do
cupom fiscal.
Analítico no ultimo nível

20. Como funciona? 20

21. Tem mais?
21

22. Qlik Associative Big Data Index 22

23. Como funciona? 23
Analises sem limites;
Indexação de Data Lakes;
Elimina o custo de recursos intermediários;
Indexa imediatamente dados atualizados
ou adicionados.
QSL (Qlik Selection Language)
Saiba mais em: https://help.qlik.com/en-US/associative-big-data-
index/June2019/Content/QABDI/qlik-associative-big-data-index.htm

24. Obrigado pela
Atenção.
Participem também
do Qlik Meetup
Oficial
Da região.
24

25. 25
Valeu Pessoal!
https://www.meetup.com/pt-BR/Qlik-Meetup-Gyn/
Don’t
worry, be
Qlik®.

26. https://www.linkedin.com/in/victorbertoldo/
26
Contato
Dadobipolar.tech
+55 62 9 9303-5176
Comunidade DataHackers