O WSO2 Data Analytics Server é a plataforma de Big Data ideal para criar Data Lakes (lagos de dados) públicos que suportam grandes volumes de dados em variados formatos para realizar processamento e análises em alta velocidade, veracidade e valor para o negócio. Nesta apresentação veremos um caso real onde milhares de documentos textuais de licitações que somam 1 milhão de páginas foram capturados, processados com OCR, indexados textualmente e armazenados na implementação de Hadoop do WSO2 DAS para criar análises ricas de indícios de direcionamento ou de não conformidade de processos licitatórios utilizando consultas com Lucene e Apache Spark a partir de trilhas de auditoria e regras de negócio bem definidas, em um ambiente onde todas estas ferramentas operam integradas na suite analítica da WSO2. Tópicos: Rápida introdução da Arquitetura do WSO2 DAS Rápida introdução da Arquitetura do Caso Real Apresentação do Caso Real Outras aplicações do WSO2 DAS para a Gestão Pública

1. Detecção de Fraudes em Licitações
Usando Batch Analy:cs com WSO2

2. Desafios
O dinheiro tá curto, mas o usuário quer a
melhor solução!
Queremos descobrir indícios de fraudes
palavra por palavra, mesmo com
documentos em baixa qualidade
São milhões de páginas, mas queremos
respostas analíAcas avançadas em
segundos, e do nosso jeito!
É pro mês que vem!

3. Exemplo de PDF extraído

4. O que conseguimos
• Entregamos a POC em 15 dias, o projeto
versão produção será entregue em 30
dias
• Capturamos e processamos 1 milhão de
páginas em uma VM com 2 cores e 8 GB
de RAM
• Tempo médio de resposta de 3 segundos
nas consultas livres
• O projeto custará, já em produção, com
subscrição do WSO2 DAS, apenas 300 mil
reais (soluções fechadas elevariam o
custo para 1,5 milhões)

5. Cenário de Inovação
Milhões de Páginas
escaneadas para o
OCR reconhecer
Reconheceu 1
página complexa a
cada 1,5 segundos
VM com 2 cores e 8 GB
Arquitetura 100% open-source!
Os textos reconhecidos foram
armazenados no lago de dados do WSO2
DAS (hadoop) e indexados com o motor
textual do WSO2 (Apache Lucene)
Dados Abertos (REST)
Noficações
Análises
Programa Java

6. WSO2 Data Analy:cs Server
1 Análises InteraAvas do Usuário
Consultas e minerações textuais
avançadas com Apache Lucene dos
Objetos armazenados no Hadoop
2 Análises Batch em Paralelo
Consultas em Apache Spark filtram,
reduzem os Objetos armazenados
no Hadoop em dialeto like SQL
3 Visualização das Análises
As análises interaCvas (Lucene) ou
objetos reduzidos (Spark) são
visualizados no DAS ou na
ferramenta de Data VisualizaCon
externa via Hadoop ou REST
4 Alertas
Alertas configuráveis via e-mail,
SMS e serviços

7. Demo
Demonstração
do Radar de
Licitações

8. Lago de Dados de Licitações
Lago de Dados de Licitações
O Lago de Dados de Licitação foi modelado no objeto editalStream
Editais em formato
PDF Texto
Editais escaneados
com OCR Tesseract
São dois fluxos que
enchem o lago (PDF
Texto e OCR)
Vários afluentes do lago
são criados na forma de
reduções hadoop com
Apache Spark como
Edital_Spark
Outros objetos de
reduções do Spark foram
GaranasData,
ResponsaveisData, etc

9. Resultados
• Permiu a avaliação de conformidade todas as
licitações promovidas pelos fiscalizados.
• Melhorou a descoberta de indícios de
irregularidades.
• Ampliou as alternavas de auditoria.
• Realizou novos pos de análise, antes impossíveis
manualmente ou com a solução atual.
• Permiu cruzamentos automazados de dados que
ampliar as descobertas.
• Reduziu potenciais irregularidades, protegendo o
erário.

10. Algumas Trilhas de Auditoria
PALAVRA CHAVE A SER PROCURADA NAO CONFORMIDADE
“Integralizado”
Exigência indevida de capital social ou patrimônio liquido integralizados. A lei 8.666/93 refere-se
apenas a patrimônio líquido ou a capital social. A exigência de capital social integralizado extrapola o
previsto na Lei.
“Responsável Técnico” ou “responsáveis técnicos” Exigir que a vistoria técnica seja realizada somente pelo responsável técnico, quando poderia ser feita
por qualquer outra pessoa indicada pela empresa.
“CerAdão de Quitação “ ou “CerAdão NegaAva de Quitação” Exigir indevidamente cerdão de “quitação” em vez de “regularidade” fiscal.
“CERTIFICADO ISO”, PBQP-H, ABIC. Exigir indevidamente, como requisito de qualificação, cerficados de qualidade (ISO, PBQP-H, ABIC),
visto que não ha amparo legal.
“Idoneidade Financeira” Exigir apresentação de declaração de idoneidade financeira sem amparo legal.
GaranAa de 1% + “Capital Social” ou “Patrimonio liquido”.
Exigir cumulavamente garana de proposta e capital social mínimo ‘e indevido, pois a lei de
licitações dispõe que deve ser um ou outro.
“CerAficado de Boas PráAcas de Fabricação e Controle” –
“CBPF” ou “CerAficado de Boas PráAcas de Armazenamento e
Distribuição de Medicamentos”
Os Cerficados de boas pracas de fabricação e controle e armazenamento e distribuição de
medicamentos, além de não se configurar em documentos essenciais para atestar a capacidade da
licitante de cumprir fielmente as obrigações contratadas, ainda não foi eleito por lei (menos ainda
especial) como requisito de habilitação técnica.
“Vistado pelo CREA” ou “CREA” próximo de “VISTO” Exigir indevidamente visto junto ao CREA do local de execução da obra. Somente pode ser exigido por
ocasião da assinatura do contrato.
“Carta de solidariedade”, “Credenciamento do fabricante”, ou
“Comprovante de revenda”.
A exigência de carta de solidariedade, credenciamento do fabricante, ou comprovante de revenda não
e condição indispensável à garana do cumprimento das obrigações provenientes dos contratos a
serem celebrados.
“CerAdão NegaAva de Protesto” Exigir a indevidamente a apresentação de cerdão negava de protesto.
“LiAgio judicial” Proibir a parcipação de empresas em ligio judicial com a Endade.
“CerAdão negaAva de corregedoria de jusAça” Exigir a apresentação de cerdão negava de corregedoria de jusça sem amparo legal.
“Via postal”, fac-símile (fax) ou telegrama Proibir a apresentação de impugnações e recursos por meio de telegrama, via postal ou fac-símile
(fax).
ABAV, IATA Exigir indevidamente filiação a ABAV e IATA nas licitações de passagens aéreas.
“Grupo econômico”, “sócio em comum” ou “sócios em
comum”
Vedação a parcipação de empresas com sócios em comum ou pertencentes ao mesmo grupo
econômico ou societário.
“Quadro Permanente” Exigir comprovação de ter empregados pertencentes ao quadro permanente sem permir a
comprovação por meio de contrato de prestação de serviços.

11. Um exemplo de visualização

12. Mecanismo de Contratação
ARP da AeronáuAca
Vigente até novembro/2017
Contratação de subscrições WSO2 e
Serviços Técnicos Especializados

13. Sobre o Grupo CDS
O Grupo CDS existe desde 2002, incorporando hoje as empresas NTC e Maxtera
• Inteligência Analí:ca e de Negócio
• Big Data e IoT
• Appliances de Alto Desempenho
• Mineração de Dados e EstaXs:ca
• Análise Predi:va e de Sen:mentos
• Análise e Rede de Relacionamentos
• Consolidação e Cruzamento de Dados
• Qualidade e Governança da Informação
• SOA, Cloud Compu:ng
• Big Data e IoT
• Automação de Processos de Negócio
• Inteligência Geográfica, Geoprocessamento e
Sensoriamento
• Gestão de Conteúdo, Portais e ECM
• Gestão de APIs e Dados Abertos
• Soluções Mobile
• Appliances de Alto Desempenho
• Sala de Situação
• Biometria e Cer:ficação Digital

14. EstaXs:cas da CDS em 2015/2016
• 36 projetos em execução em 15 unidades da
federação no execu:vo, legisla:vo e judiciário
federal, estadual e municipal
• 290 profissionais especializados e cer:ficados
com mais de 560.000 horas de projeto
executados
• Células especializadas de BPM, SOA, ECM/
Portal, Mobile, Geoprocessamento,
Infraestrutura e Inteligência de Negócios
• Escritório de Inovação com a criação de
soluções próprias e sob medida

15. Alguns Clientes

16. Contato
Yuri Marx Pereira Gomes
Diretor de Soluções
yuri.gomes@cds.com.br