A Secretaria de Estado de Fazenda do Mato Grosso implementou uma solução baseada em Cloudera para combater fraudes fiscais de forma mais rápida e efetiva. A solução permite cruzar e analisar grandes volumes de dados de notas fiscais eletrônicas para identificar empresas com faturamento incompatível ou que emitem notas frias. Isso possibilita que auditores fiscais localizem suspeitos de fraude em poucos minutos, em vez de semanas.
Informações sobre o as obrigações fiscais e contábeis e as novas ferramentas que auxiliam na gestão de documentos fiscais eletrônico, Informações de Nota Fiscal eletrônica (NF-e) SPED, Segurança digital entre outras informações.
Apresentação introdutória sobre Gerenciamento de Capacidade com exemplo de como se fazer uma estimativa de requisitos de capacidade que devem ser atendidas no recebimento das declarações de Imposto de Renda
Financial services overview and customer (2014)Sidnir Vieira
Esta apresentação tem como objetivo mostrar de que maneira as instituições financeiras estão trabalhando com o Splunk.
Nós construímos Splunk como uma maneira melhor de gerenciar, proteger e auditar as infraestruturas de TI nos processos de negócio.
Mais de 6.500 clientes licenciados em 80 países, incluindo empresas, prestadores de serviços e agências governamentais utilizam Splunk todos os dias para manter seu negócio crítico e sistemas de TI em execução.
Splunk é a maneira mais eficaz de entender rapidamente o que está acontecendo em toda a sua infra-estrutura de TI. Aponte os seus dados para o Splunk e comece a navegar em uma fração de tempo.
O Splunk pesquisa bilhões de eventos em segundos em um único servidor de commodities.
Splunk indexa todos os seus dados da máquina, independentemente da fonte, formato, localização ou volume.
Depois de indexados você pode pesquisar, alertar e informar sobre os seus dados para solucionar falhas de aplicação, investigar incidentes de segurança e demonstrar a conformidade em questão de minutos ou segundos em vez de horas ou dias.
O valor fantástico do Splunk :
Reduz o tempo médio de resolução (MTR ) e aumenta as taxas de resolução na primeira chamada - o que resulta em melhorias significativas de atendimento ao cliente
Detecta padrões e atividades fraudulentas como ocorre, correlacionando em vários tipos de dados da máquina, tais como Firewall, Intrusion Detection Systems (IDS) e endereços IP - identifica com precisão os abusadores de rede
Monitorar sistemas de processamento de comércio eletrônico, sistemas de liquidação e sistemas de core banking para resolver problemas de forma proativa, garantir a entrega consistente de serviços e melhorar a experiência do cliente.
Melhorar a segurança. Gerir o risco. Monitorização mais eficaz. Investigações mais rápidas. Melhoria da conformidade.
Versátilidade Splunk trabalha dentro e através de dispositivos de processos, aplicações, hardware e rede,etc ...
Informações sobre o as obrigações fiscais e contábeis e as novas ferramentas que auxiliam na gestão de documentos fiscais eletrônico, Informações de Nota Fiscal eletrônica (NF-e) SPED, Segurança digital entre outras informações.
Apresentação introdutória sobre Gerenciamento de Capacidade com exemplo de como se fazer uma estimativa de requisitos de capacidade que devem ser atendidas no recebimento das declarações de Imposto de Renda
Financial services overview and customer (2014)Sidnir Vieira
Esta apresentação tem como objetivo mostrar de que maneira as instituições financeiras estão trabalhando com o Splunk.
Nós construímos Splunk como uma maneira melhor de gerenciar, proteger e auditar as infraestruturas de TI nos processos de negócio.
Mais de 6.500 clientes licenciados em 80 países, incluindo empresas, prestadores de serviços e agências governamentais utilizam Splunk todos os dias para manter seu negócio crítico e sistemas de TI em execução.
Splunk é a maneira mais eficaz de entender rapidamente o que está acontecendo em toda a sua infra-estrutura de TI. Aponte os seus dados para o Splunk e comece a navegar em uma fração de tempo.
O Splunk pesquisa bilhões de eventos em segundos em um único servidor de commodities.
Splunk indexa todos os seus dados da máquina, independentemente da fonte, formato, localização ou volume.
Depois de indexados você pode pesquisar, alertar e informar sobre os seus dados para solucionar falhas de aplicação, investigar incidentes de segurança e demonstrar a conformidade em questão de minutos ou segundos em vez de horas ou dias.
O valor fantástico do Splunk :
Reduz o tempo médio de resolução (MTR ) e aumenta as taxas de resolução na primeira chamada - o que resulta em melhorias significativas de atendimento ao cliente
Detecta padrões e atividades fraudulentas como ocorre, correlacionando em vários tipos de dados da máquina, tais como Firewall, Intrusion Detection Systems (IDS) e endereços IP - identifica com precisão os abusadores de rede
Monitorar sistemas de processamento de comércio eletrônico, sistemas de liquidação e sistemas de core banking para resolver problemas de forma proativa, garantir a entrega consistente de serviços e melhorar a experiência do cliente.
Melhorar a segurança. Gerir o risco. Monitorização mais eficaz. Investigações mais rápidas. Melhoria da conformidade.
Versátilidade Splunk trabalha dentro e através de dispositivos de processos, aplicações, hardware e rede,etc ...
Apresentação do Engenheiro de software, Fábio Caldas, da VTEX na Splunk Live! São Paulo sobre o amadurecimento do uso do Splunk no case da empresa que migrou de um simples monitoramento de logs para um monitoramento efetivo de seu negócio.
A MXM Sistemas possui como principal produto o MXM-WebManager, o Sistema de Gestão Empresarial ERP, integrado e alinhado com a legislação brasileira. Saiba mais sobre o nosso módulo em https://www.mxm.com.br/?s=sped
Escrituração Fiscal e Contábil Digital Emissão de Notas
Eficiência e Precisão em Tempo Real MXM-SPED
O Sistema Público de Escrituração Digital - SPED visa simplificar, padronizar e otimizar os processos de prestação de informações ao Fisco pelos contribuintes e de emissão de documentos fiscais.
O projeto integra as esferas federal, estadual e municipal, sendo considerado um importante avanço no desenvolvimento da Economia Digital no Brasil.
MXM-WebManager, mais que um ERP.
Entre em contato com nossos especialistas e solicite uma demonstração! Rio de Janeiro - (21)3233-2300 | São Paulo - (21) 3233-2300 | WhatsApp Business - (21) 97632-7230 | comercial@mxm.com.br | https://www.mxm.com.br
Sistema Autenticador e Transmissor (SAT): modelo tecnológico de automação e c...TECSI FEA USP
Oferecer um modelo tecnológico de automação e controle de processos em cidades inteligentes, alicerçado em propriedades voltadas a uma aplicação transversal em setores que demandam a geração de dados com estabelecimento de regras e a transmissão segura a sistemas centrais.
O queo facebook faz com minhas fotos??? E o que o BigData tem haver com isso ???Alessandro Binhara
Atualmente o facebook recebe diariamente cerca de 380 milhões de fotos por dia, isso significa um custo de milhares de computadores para conseguir armazenar esse volume de dados. Mas por que o facebook, google e outros mantem serviço gratuitos se tem um custo alto para operar esses serviços? Conheça um pouco da tecnologia por trás desse serviços, a legalidade do armazenamento e rastreamento dos dados, e por que essa empresa investem tanto para dar um serviço de graça.
Esta apresentação faz parte do ciclo de Webinars NDD, onde o Gerente Comercial da NDDigital, Alceu Keller, fala sobre as empresas que tem um grande volume de entrada de NF-e, que sofrem com a complexidade dos problemas relacionados ao cumprimento das exigências legais. Entre eles, estão a falta de documentos para formação do SPED; desconhecimento das notas emitidas contra as empresas; falta de informação para o cumprimento dos processos e leis e as dificuldades quanto a manifestação do destinatário.
Saiba mais: http://bit.ly/22I2ea6
Cloudera Data Impact Awards 2021 - Finalists Cloudera, Inc.
This annual program recognizes organizations who are moving swiftly towards the future and building innovative solutions by making what was impossible yesterday, possible today.
The winning organizations' implementations demonstrate outstanding achievements in fulfilling their mission, technical advancement, and overall impact.
The 2021 Data Impact Awards recognize organizations' achievements with the Cloudera Data Platform in seven categories:
Data Lifecycle Connection
Data for Enterprise AI
Cloud Innovation
Security & Governance Leadership
People First
Data for Good
Industry Transformation
Mais conteúdo relacionado
Semelhante a Combate a fraude com Cloudera - Estado do Mato Grosso
Apresentação do Engenheiro de software, Fábio Caldas, da VTEX na Splunk Live! São Paulo sobre o amadurecimento do uso do Splunk no case da empresa que migrou de um simples monitoramento de logs para um monitoramento efetivo de seu negócio.
A MXM Sistemas possui como principal produto o MXM-WebManager, o Sistema de Gestão Empresarial ERP, integrado e alinhado com a legislação brasileira. Saiba mais sobre o nosso módulo em https://www.mxm.com.br/?s=sped
Escrituração Fiscal e Contábil Digital Emissão de Notas
Eficiência e Precisão em Tempo Real MXM-SPED
O Sistema Público de Escrituração Digital - SPED visa simplificar, padronizar e otimizar os processos de prestação de informações ao Fisco pelos contribuintes e de emissão de documentos fiscais.
O projeto integra as esferas federal, estadual e municipal, sendo considerado um importante avanço no desenvolvimento da Economia Digital no Brasil.
MXM-WebManager, mais que um ERP.
Entre em contato com nossos especialistas e solicite uma demonstração! Rio de Janeiro - (21)3233-2300 | São Paulo - (21) 3233-2300 | WhatsApp Business - (21) 97632-7230 | comercial@mxm.com.br | https://www.mxm.com.br
Sistema Autenticador e Transmissor (SAT): modelo tecnológico de automação e c...TECSI FEA USP
Oferecer um modelo tecnológico de automação e controle de processos em cidades inteligentes, alicerçado em propriedades voltadas a uma aplicação transversal em setores que demandam a geração de dados com estabelecimento de regras e a transmissão segura a sistemas centrais.
O queo facebook faz com minhas fotos??? E o que o BigData tem haver com isso ???Alessandro Binhara
Atualmente o facebook recebe diariamente cerca de 380 milhões de fotos por dia, isso significa um custo de milhares de computadores para conseguir armazenar esse volume de dados. Mas por que o facebook, google e outros mantem serviço gratuitos se tem um custo alto para operar esses serviços? Conheça um pouco da tecnologia por trás desse serviços, a legalidade do armazenamento e rastreamento dos dados, e por que essa empresa investem tanto para dar um serviço de graça.
Esta apresentação faz parte do ciclo de Webinars NDD, onde o Gerente Comercial da NDDigital, Alceu Keller, fala sobre as empresas que tem um grande volume de entrada de NF-e, que sofrem com a complexidade dos problemas relacionados ao cumprimento das exigências legais. Entre eles, estão a falta de documentos para formação do SPED; desconhecimento das notas emitidas contra as empresas; falta de informação para o cumprimento dos processos e leis e as dificuldades quanto a manifestação do destinatário.
Saiba mais: http://bit.ly/22I2ea6
Cloudera Data Impact Awards 2021 - Finalists Cloudera, Inc.
This annual program recognizes organizations who are moving swiftly towards the future and building innovative solutions by making what was impossible yesterday, possible today.
The winning organizations' implementations demonstrate outstanding achievements in fulfilling their mission, technical advancement, and overall impact.
The 2021 Data Impact Awards recognize organizations' achievements with the Cloudera Data Platform in seven categories:
Data Lifecycle Connection
Data for Enterprise AI
Cloud Innovation
Security & Governance Leadership
People First
Data for Good
Industry Transformation
2020 Cloudera Data Impact Awards FinalistsCloudera, Inc.
Cloudera is proud to present the 2020 Data Impact Awards Finalists. This annual program recognizes organizations running the Cloudera platform for the applications they've built and the impact their data projects have on their organizations, their industries, and the world. Nominations were evaluated by a panel of independent thought-leaders and expert industry analysts, who then selected the finalists and winners. Winners exemplify the most-cutting edge data projects and represent innovation and leadership in their respective industries.
Machine Learning with Limited Labeled Data 4/3/19Cloudera, Inc.
Cloudera Fast Forward Labs’ latest research report and prototype explore learning with limited labeled data. This capability relaxes the stringent labeled data requirement in supervised machine learning and opens up new product possibilities. It is industry invariant, addresses the labeling pain point and enables applications to be built faster and more efficiently.
Data Driven With the Cloudera Modern Data Warehouse 3.19.19Cloudera, Inc.
In this session, we will cover how to move beyond structured, curated reports based on known questions on known data, to an ad-hoc exploration of all data to optimize business processes and into the unknown questions on unknown data, where machine learning and statistically motivated predictive analytics are shaping business strategy.
Introducing Cloudera DataFlow (CDF) 2.13.19Cloudera, Inc.
Watch this webinar to understand how Hortonworks DataFlow (HDF) has evolved into the new Cloudera DataFlow (CDF). Learn about key capabilities that CDF delivers such as -
-Powerful data ingestion powered by Apache NiFi
-Edge data collection by Apache MiNiFi
-IoT-scale streaming data processing with Apache Kafka
-Enterprise services to offer unified security and governance from edge-to-enterprise
Introducing Cloudera Data Science Workbench for HDP 2.12.19Cloudera, Inc.
Cloudera’s Data Science Workbench (CDSW) is available for Hortonworks Data Platform (HDP) clusters for secure, collaborative data science at scale. During this webinar, we provide an introductory tour of CDSW and a demonstration of a machine learning workflow using CDSW on HDP.
Shortening the Sales Cycle with a Modern Data Warehouse 1.30.19Cloudera, Inc.
Join Cloudera as we outline how we use Cloudera technology to strengthen sales engagement, minimize marketing waste, and empower line of business leaders to drive successful outcomes.
Leveraging the cloud for analytics and machine learning 1.29.19Cloudera, Inc.
Learn how organizations are deriving unique customer insights, improving product and services efficiency, and reducing business risk with a modern big data architecture powered by Cloudera on Azure. In this webinar, you see how fast and easy it is to deploy a modern data management platform—in your cloud, on your terms.
Modernizing the Legacy Data Warehouse – What, Why, and How 1.23.19Cloudera, Inc.
Join us to learn about the challenges of legacy data warehousing, the goals of modern data warehousing, and the design patterns and frameworks that help to accelerate modernization efforts.
Leveraging the Cloud for Big Data Analytics 12.11.18Cloudera, Inc.
Learn how organizations are deriving unique customer insights, improving product and services efficiency, and reducing business risk with a modern big data architecture powered by Cloudera on AWS. In this webinar, you see how fast and easy it is to deploy a modern data management platform—in your cloud, on your terms.
Explore new trends and use cases in data warehousing including exploration and discovery, self-service ad-hoc analysis, predictive analytics and more ways to get deeper business insight. Modern Data Warehousing Fundamentals will show how to modernize your data warehouse architecture and infrastructure for benefits to both traditional analytics practitioners and data scientists and engineers.
Explore new trends and use cases in data warehousing including exploration and discovery, self-service ad-hoc analysis, predictive analytics and more ways to get deeper business insight. Modern Data Warehousing Fundamentals will show how to modernize your data warehouse architecture and infrastructure for benefits to both traditional analytics practitioners and data scientists and engineers.
Explore new trends and use cases in data warehousing including exploration and discovery, self-service ad-hoc analysis, predictive analytics and more ways to get deeper business insight. Modern Data Warehousing Fundamentals will show how to modernize your data warehouse architecture and infrastructure for benefits to both traditional analytics practitioners and data scientists and engineers.
Extending Cloudera SDX beyond the PlatformCloudera, Inc.
Cloudera SDX is by no means no restricted to just the platform; it extends well beyond. In this webinar, we show you how Bardess Group’s Zero2Hero solution leverages the shared data experience to coordinate Cloudera, Trifacta, and Qlik to deliver complete customer insight.
Federated Learning: ML with Privacy on the Edge 11.15.18Cloudera, Inc.
Join Cloudera Fast Forward Labs Research Engineer, Mike Lee Williams, to hear about their latest research report and prototype on Federated Learning. Learn more about what it is, when it’s applicable, how it works, and the current landscape of tools and libraries.
Analyst Webinar: Doing a 180 on Customer 360Cloudera, Inc.
451 Research Analyst Sheryl Kingstone, and Cloudera’s Steve Totman recently discussed how a growing number of organizations are replacing legacy Customer 360 systems with Customer Insights Platforms.
Build a modern platform for anti-money laundering 9.19.18Cloudera, Inc.
In this webinar, you will learn how Cloudera and BAH riskCanvas can help you build a modern AML platform that reduces false positive rates, investigation costs, technology sprawl, and regulatory risk.
Introducing the data science sandbox as a service 8.30.18Cloudera, Inc.
How can companies integrate data science into their businesses more effectively? Watch this recorded webinar and demonstration to hear more about operationalizing data science with Cloudera Data Science Workbench on Cazena’s fully-managed cloud platform.
Introducing the data science sandbox as a service 8.30.18
Combate a fraude com Cloudera - Estado do Mato Grosso
1. Combate a Fraude com Cloudera
Everton Fernandes
Gerente de Soluções Emergentes
everton.fernandes@compwire.com.br
Paulo Contopoulos
Especialista em Big Data
paulo.contopoulos@compwire.com.br
2. Sobre
Estado do Mato Grosso
Localizado no Centro Oeste do Brasil
População de 3,4 Milhões de Habitantes
141 Municípios
Economia baseada na Agropecuário principalmente na Produção de Soja e Criação de Gado
Secretaria de Estado de Fazenda do Mato Grosso
Localizada na Capital em Cuiabá
Área de Atuação e Atribuição: Gestão Operacional de
Mercadorias em trânsito, através do controle de
fronteiras e da fiscalização de mercadorias, bens e
serviços.
3. Volume de Dados de NFe
Volume Atual
NF-e
1 Milhão Diário
30 Milhões Mensais
Histórico
NF-e
18 Milhões
50 Bilhões de
Itens de NFe
4. Problema: Relatório de Agregação
Tabelas
Oracle
Bilhões de itens de NFe e
NFc armazendos em tabelas
na Database Relacional do
AmbienteRelatórios de
agregação Anual
Relatórios de
Agregação Mensal
5. Cluster para POC
• Hardware do Cluster Hadoop de POC;
3 Servidores x86;
24 Cores no Total do Cluster;
96GB de Memória no Total do Cluster;
12 Discos SATA no Total do Cluster;
Rede Ethernet Gigabit;
Grajaú 01
DN 02 DN 03Ethernet Gigabit
DN 01
9. Resultados da POC
Tabelas
Relatório Anual
Relatório Mensal
2 Horas
1 Hora
Mensal
25 Milhões de XML
125 Milhões de Itens
Anual
300 Milhões de XML
1,5 Bilhões de Itens
11. Cluster de Produção
NN1 NN2 HA Edge
Rede 1Gbp/s
DN1 DN2 DN3 DN4 DN5 DN6
• Hardware do Cluster Hadoop de POC;
10 Servidores x86 (4 Manager Nodes);
72 Cores no Total do Cluster;
768GB de Memória no Total do Cluster;
72 Discos SATA no Total no Total do Cluster;
Rede Ethernet Gigabit;
12. Cluster de Produção
• Agora podemos usar o Impala!
• Carregamos e ingerimos todo o Histórico 2007 – 2017 em 3 dias!
13. Resultados em Produção
Tabelas
Relatório Anual
Relatório Mensal
Mensais de todas as
Nfes de 2007 a 2017
9 Minutos
1 Minuto
25 Milhões de XML
125 Milhões de Itens
15. Case 1 Prevenção de Fraude: Identificar Empresas contribuintes com
faturamento incompatível
Enquadramento do
Simples Nacional
R$ 3.6 Milhões
Empresas fora do
Enquadramento do
Simples Nacional
Benefícios do
Simples Nacional
Acima de R$ 3.6 Milhões
16. Case 2 Fraude de NFe: Localizar Empresas que emitem NFe frias
Empresas Falsas Documentos
Fraudados
17. Empresa Falsa 1 Empresa Falsa 2 Empresa Falsa N
...
Case 2 Fraude de NFe: Localizar Empresas que emitem NFe frias
18. Problema: Fraudadores mais ágeis do que a análise!
Suspeita de Fraude! Análise
Quais?
Onde?
Auditor Fiscal
19. Suspeita de Fraude! Análise
Auditor Fiscal
Problema: Fraudadores mais ágeis do que a análise!
20. Suspeita de Fraude! Análise
Auditor Fiscal
Mudança Física de Endereço
Problema: Fraudadores mais ágeis do que a análise!
21. Solução Implementada
NFe Item
Ref1 Ref2 RefN
Tabelas Database Relacional Tabelas Impala MPP
DB
NFe Item
Ref1 Ref2 RefN
• Carregamento inicial de Nfe de 2002 a 2017
• Entrada diária de dados, via sqoop incremental, duração de poucos minutos
22. Case 1: Calculo de Enquadramento Resolvido!
Base de Dados NFCe
Consolidada na Plataforma
de Analytics
Calculos rápidos do
Enquadramento de
Faturamento+ = Controle de Faturamento
das Empresas
Auditor Fiscal
23. Como Localizar Fraudadores
• Quais Nfes São Fraudes?
• Ação Manual com Heurísitica Fuzzy (feeling do auditor) + Análise de dados via
queries dos casos suspeitos.
24. Como Localizar Fraudadores
• Onde?
• Informações da NFe
• Nome Empresa = Donos Fakes!
• Endereço = Fake!
• Hora da Emissão – Via Sistema, OK!
25. Ingerindo outros dados de outras origens…
NFe Item
Ref1 Ref2 RefN
Tabelas Database Relacional Tabelas Impala MPP
DB
NFe Item
Ref1 Ref2 RefN
Tabelas Hive
AcessosLogs Acessos
26. Case 2: Fraudadores Localizados em poucos minutos!
Base de Dados NFe
Acessos do log Tomcat
NFe Suspeitas
Endereço IPs Suspeitos+ = Empresas Fraudulentas
Busca e Apreensão
Auditor Fiscal
27. Próximos Passos
• Implementar a lógica de separação de casos via Machine Learning
utilizando Spark Mlib.
• Implementar análises de fraude em Streaming utilizando Spark + Flume.
28. Resumo
• Ganhos Reais em Analytics
• Cruzamento de dados em um Data Lake permitiu viabilizar novas
estratégias de Analytics
• Agilidade que o Data Lake trouxe permitiu controlar os faturamentos
e surpreender fruadadores de NFe
29. Relato do Cliente
“Com o poder de processamento e cruzamento dos dados da solução cloudera
foi possível ajudar os auditores fiscais da SEFAZ a identificar contribuintes com
faturamento incompatível ao seu enquadramento de Microempresa de forma
muito rápida. Uma atividade que demorava semanas para ser finalizada, agora
pode ser executada em menos de 10 minutos.”
Ricardo Crudo
Coordenador de Tecnologia da Informação
Secretária da Fazendo do Mato Grosso
30. Contatos
• Especialista Big Data – Compwire – Paulo Contopoulos:
paulo.contopoulos@compwire.com.br
• Gerente Novas Iniciativas – Compwire – Everton Fernandes:
everton.fernantes@compwire.com.br
• Especialista Cloudera - Claudio Takamiya
ct@cloudera.com