A DataMotion é uma empresa líder em soluções de Integração e Qualidade de Dados, especializada no tratamento e cruzamento de dados para os principais países da América Latina.
O documento descreve a empresa DataMotion Tecnologia, especializada em soluções de tratamento e integração de dados. A empresa foi fundada em 2005 em São Paulo e oferece produtos e serviços de qualidade de dados, enriquecimento de dados, captura de dados e integração de dados para clientes na América Latina, EUA e Europa.
O documento fornece uma visão geral do sistema de gestão empresarial SAP. O SAP é um software desenvolvido pela empresa alemã SAP AG para integrar os processos de negócios de uma organização. O documento descreve a evolução do SAP, sua estrutura de três camadas e os principais módulos funcionais.
O documento descreve as evoluções da interface e arquitetura da linha de produtos RM da TOTVS. Apresenta as principais melhorias na interface como janela principal, visões/cadastros, anexos e atalhos. Também explica as mudanças na arquitetura como a adoção de três camadas, workflow, integração e central de diagnósticos. Por fim, detalha os recursos de BI Self-Service como gráficos, indicadores, painel de cenários, painel de metas e gerador de relatórios.
1) O documento descreve a tecnologia por trás dos produtos do ERP TOTVS RM, incluindo sua arquitetura de serviços e camadas, além de novas funcionalidades da interface do usuário.
2) A tecnologia do ERP RM é baseada em um framework comum que fornece componentes compartilhados entre todos os produtos, garantindo padrão e qualidade.
3) A nova interface do usuário oferece funcionalidades similares ao Microsoft Office e integra recursos de business intelligence.
O documento discute a gestão eletrônica de documentos (GED) como uma solução inevitável para as empresas, permitindo o acesso seguro a informações de qualquer lugar a qualquer momento. Também aborda a integração da GED com o Microsoft SharePoint 2010 para organizar e armazenar documentos digitalizados, bem como a autenticação forte com tokens gerados pelo processador para login em portais.
Este documento apresenta os serviços e soluções da empresa Infoschema para implementação de sistemas SAP, incluindo consultoria ERP, serviços de automação de processos, business intelligence e desenvolvimento de aplicações customizadas utilizando plataformas como SAP Netweaver e Tableau. A Infoschema defende uma abordagem baseada em serviços e componentes reutilizáveis para atender requisitos específicos de cada cliente.
O documento discute os principais conceitos de arquitetura orientada a serviços (SOA), incluindo: 1) os benefícios da abordagem SOA para empresas; 2) os desafios de integração no mundo corporativo; 3) os papéis e características de serviços web.
Sistema de Informação Cadastral Poster - 2011 Esri Brasil EUFernando Gil
O documento descreve o Sistema de Informação Cadastral da Ferbritas (FBSIC) no Brasil em 2011. O FBSIC é baseado em uma arquitetura escalável que utiliza padrões de tecnologia da informação para fornecer uma solução sustentável e flexível. O sistema permite visualizar, editar, analisar e gerar relatórios sobre propriedades rurais e urbanas com informações geográficas, alfanuméricas e documentais.
O documento descreve a empresa DataMotion Tecnologia, especializada em soluções de tratamento e integração de dados. A empresa foi fundada em 2005 em São Paulo e oferece produtos e serviços de qualidade de dados, enriquecimento de dados, captura de dados e integração de dados para clientes na América Latina, EUA e Europa.
O documento fornece uma visão geral do sistema de gestão empresarial SAP. O SAP é um software desenvolvido pela empresa alemã SAP AG para integrar os processos de negócios de uma organização. O documento descreve a evolução do SAP, sua estrutura de três camadas e os principais módulos funcionais.
O documento descreve as evoluções da interface e arquitetura da linha de produtos RM da TOTVS. Apresenta as principais melhorias na interface como janela principal, visões/cadastros, anexos e atalhos. Também explica as mudanças na arquitetura como a adoção de três camadas, workflow, integração e central de diagnósticos. Por fim, detalha os recursos de BI Self-Service como gráficos, indicadores, painel de cenários, painel de metas e gerador de relatórios.
1) O documento descreve a tecnologia por trás dos produtos do ERP TOTVS RM, incluindo sua arquitetura de serviços e camadas, além de novas funcionalidades da interface do usuário.
2) A tecnologia do ERP RM é baseada em um framework comum que fornece componentes compartilhados entre todos os produtos, garantindo padrão e qualidade.
3) A nova interface do usuário oferece funcionalidades similares ao Microsoft Office e integra recursos de business intelligence.
O documento discute a gestão eletrônica de documentos (GED) como uma solução inevitável para as empresas, permitindo o acesso seguro a informações de qualquer lugar a qualquer momento. Também aborda a integração da GED com o Microsoft SharePoint 2010 para organizar e armazenar documentos digitalizados, bem como a autenticação forte com tokens gerados pelo processador para login em portais.
Este documento apresenta os serviços e soluções da empresa Infoschema para implementação de sistemas SAP, incluindo consultoria ERP, serviços de automação de processos, business intelligence e desenvolvimento de aplicações customizadas utilizando plataformas como SAP Netweaver e Tableau. A Infoschema defende uma abordagem baseada em serviços e componentes reutilizáveis para atender requisitos específicos de cada cliente.
O documento discute os principais conceitos de arquitetura orientada a serviços (SOA), incluindo: 1) os benefícios da abordagem SOA para empresas; 2) os desafios de integração no mundo corporativo; 3) os papéis e características de serviços web.
Sistema de Informação Cadastral Poster - 2011 Esri Brasil EUFernando Gil
O documento descreve o Sistema de Informação Cadastral da Ferbritas (FBSIC) no Brasil em 2011. O FBSIC é baseado em uma arquitetura escalável que utiliza padrões de tecnologia da informação para fornecer uma solução sustentável e flexível. O sistema permite visualizar, editar, analisar e gerar relatórios sobre propriedades rurais e urbanas com informações geográficas, alfanuméricas e documentais.
O documento apresenta a Solutial, uma empresa especializada em soluções de dados espaciais e análise de dados. A Solutial oferece serviços como transformação, validação e migração de dados usando a ferramenta FME para preparar dados para data warehouses. Exemplos mostram como a FME pode ser usada para integrar, transformar e carregar dados espaciais e tabulares de vários formatos e bancos de dados.
Sistema GED - Mais de 10 motivos para usar na sua empresaBruno Velaz
1) O documento discute os tipos de retornos que podem ser obtidos com a gestão eletrônica de documentos, variando de 40% a 100% dependendo do tipo de documento.
2) O Taugor GED é uma plataforma totalmente web que oferece recursos completos de gerenciamento de documentos e conteúdo, workflows configuráveis, buscas, visualizadores e integrações.
3) O sistema possui tecnologias como OCR, capture, gerenciamento de documentos e workflows, permitindo a digitalização, automação e gestão
Sistema GED - Mais de 10 motivos para usar Documentos ArmazenadosTaugor Corporation
Sistema GED - Mais de 10 motivos para usar Documentos Armazenados leia este material.
Depende muito do tipo de documento que será objeto
de gestão eletrônica. No caso de documentos
fiscais/trabalhistas a redução de espaço pode chegar a
algo próximo de 40%. Já no caso de documentos
relacionados à operação da organização esse
percentual cresce consideravelmente, podendo atingir
90% (em alguns seguimentos é possível chegar a 100%)
O documento descreve a solução IntegraTMS da empresa MSP para integrar sistemas ERP, TMS e transferir dados entre eles em tempo real através de web services. A solução permite a integração ilimitada de sistemas através de um módulo central que resolve questões como compatibilização de chaves e envio de dados para o sistema destinatário.
Marcos ferreira da silva tecnologia da informaçãoMarcos Ferreira
Marcos Ferreira da Silva, 39 anos, busca uma posição em tecnologia da informação com foco em projetos, infraestrutura, segurança da informação e gestão de equipes. Ele possui mais de 20 anos de experiência trabalhando com sistemas operacionais, bancos de dados, redes, segurança e implementação de soluções como ERP, CRM e BI. Seu objetivo é aplicar suas habilidades multidisciplinares para melhorar processos, reduzir custos e aumentar a produtividade.
Flavia Fernanda tem 15 anos de experiência em TI, incluindo liderança de projetos de governança, testes e resolução de problemas. Ela trabalhou como consultora sênior na TIM, analista de sistemas sênior na Fidelity e Oi, e analista de teste integrado na Oi, entre outros cargos. Flavia tem formação em estatística e cursos complementares em programação, sistemas, inglês e SAP.
Quebra de paradigmas na coleta e governança de dados sucesu68
1. O documento discute a abordagem tradicional versus a abordagem da Informatica para integração de dados, citando que 87% das empresas ainda usam codificação manual.
2. Apresenta a plataforma da Informatica para integração de dados de forma abrangente, unificada, aberta e econômica através de várias soluções como data warehouse, migração de dados e gerenciamento de dados mestres.
3. Destaca um caso de sucesso no Brasil onde a Informatica reduziu o consumo de recursos do mainframe
O documento apresenta as principais ferramentas e funcionalidades do SharePoint Server 2010 para desenvolvedores, incluindo ferramentas de desenvolvimento de primeira linha, melhorias no suporte ao debugging e tuning, e uma rica plataforma de serviços.
O documento descreve os recursos e funcionalidades do sistema Microsoft Dynamics CRM para gestão de atendimento, incluindo mobilidade, gerenciamento de solicitações, atendimento móvel, integração com sistemas legados e portais externos.
Nesta sessão vou falar o porquê de termos que conhecer plataformas de CRM. Como é que a plataforma Dynamics CRM introduz o termo xRM, que permite que esta plataforma possa gerir qualquer negócio. Vamos perceber quais os mecanismos funcionais e técnicos (através do Javascript e C#) que permitem estender esta plataforma. Por fim vamos conhecer o ambiente que a Microsoft está a criar a volta do Dynamics CRM.
Dynamics CRM - Mais que uma plataforma de CRMPedro Azevedo
O documento discute sistemas de CRM e Microsoft Dynamics CRM, incluindo sua arquitetura, integrações, custos e evolução. Ele fornece detalhes sobre a experiência da empresa com tecnologias Microsoft e CRM, além de resumir os principais recursos e vantagens do Dynamics CRM.
Rafael tem mais de 10 anos de experiência em TI, atuando como consultor sênior e analista de infraestrutura. Ele tem expertise em gestão de projetos, governança e segurança da informação. Seu foco é reduzir custos e melhorar a eficiência por meio da automação e da implantação de novas tecnologias. Rafael está cursando Gestão da Tecnologia da Informação e possui diversos cursos complementares.
Este documento apresenta uma introdução à plataforma Microsoft Dynamics CRM. Resume os principais pontos sobre o que é um CRM, as suas funcionalidades principais, o mercado de CRM, as vantagens de um sistema proprietário vs personalizado, e demonstra alguns recursos básicos do Dynamics CRM como entidades, atributos e processos.
Este documento descreve um webinar sobre a manipulação de dados com FME e a visualização geoespacial no Elastic Search. Apresenta a Solutial, uma empresa especializada em análise e migração de dados, e seus serviços de ETL, treinamentos e consultorias com FME e integração com Big Data e Elastic Search. Fornece exemplos de extração de dados de roubos de celulares em São Paulo e visualização em tempo real de ônibus no Kibana.
O documento discute o que é um sistema ERP, sua história e benefícios. Um ERP integra todos os sistemas de uma organização em um único sistema para evitar redundância de dados e melhorar o fluxo de informações entre os departamentos.
A plataforma Fluig fornece produtividade e colaboração para gestão de processos, documentos e identidades em uma única interface. Ela inclui componentes como BPM, ECM, ESB, Analytics e portais para atender diversos setores como construção, manufatura, serviços e varejo. A plataforma oferece mobilidade, integrações e comunidades para apoiar a colaboração entre times.
A empresa é uma integradora de soluções de cloud computing, virtualização e data center com mais de 1000 clientes em diversos setores. Ela oferece infraestrutura completa e equipe especializada em virtualização e cloud. Tem escritórios no Brasil e Estados Unidos e recebeu prêmios de parceiro da Citrix e Microsoft.
Cleber de Almeida Silva tem formação acadêmica em sistemas de informação e tecnologia em redes, com MBA em gestão empresarial e ERP SAP e pós-graduação em gerenciamento de projetos em tecnologia. Tem experiência como coordenador de projetos, gerente de TI e coordenador de infraestrutura e TI, tendo liderado projetos de virtualização, implementação do SAP B1 e O2, Help Desk, VoIP e rede WAN.
O documento descreve a plataforma Fluig, que fornece funcionalidades de produtividade, colaboração, gestão de processos e documentos. A plataforma oferece módulos como BPM, ECM, Analytics, Mobile e LMS para auxiliar empresas em diferentes áreas e pode ser acessada via web ou mobile.
PRODUÇÃO E CONSUMO DE ENERGIA DA PRÉ-HISTÓRIA À ERA CONTEMPORÂNEA E SUA EVOLU...Faga1939
Este artigo tem por objetivo apresentar como ocorreu a evolução do consumo e da produção de energia desde a pré-história até os tempos atuais, bem como propor o futuro da energia requerido para o mundo. Da pré-história até o século XVIII predominou o uso de fontes renováveis de energia como a madeira, o vento e a energia hidráulica. Do século XVIII até a era contemporânea, os combustíveis fósseis predominaram com o carvão e o petróleo, mas seu uso chegará ao fim provavelmente a partir do século XXI para evitar a mudança climática catastrófica global resultante de sua utilização ao emitir gases do efeito estufa responsáveis pelo aquecimento global. Com o fim da era dos combustíveis fósseis virá a era das fontes renováveis de energia quando prevalecerá a utilização da energia hidrelétrica, energia solar, energia eólica, energia das marés, energia das ondas, energia geotérmica, energia da biomassa e energia do hidrogênio. Não existem dúvidas de que as atividades humanas sobre a Terra provocam alterações no meio ambiente em que vivemos. Muitos destes impactos ambientais são provenientes da geração, manuseio e uso da energia com o uso de combustíveis fósseis. A principal razão para a existência desses impactos ambientais reside no fato de que o consumo mundial de energia primária proveniente de fontes não renováveis (petróleo, carvão, gás natural e nuclear) corresponde a aproximadamente 88% do total, cabendo apenas 12% às fontes renováveis. Independentemente das várias soluções que venham a ser adotadas para eliminar ou mitigar as causas do efeito estufa, a mais importante ação é, sem dúvidas, a adoção de medidas que contribuam para a eliminação ou redução do consumo de combustíveis fósseis na produção de energia, bem como para seu uso mais eficiente nos transportes, na indústria, na agropecuária e nas cidades (residências e comércio), haja vista que o uso e a produção de energia são responsáveis por 57% dos gases de estufa emitidos pela atividade humana. Neste sentido, é imprescindível a implantação de um sistema de energia sustentável no mundo. Em um sistema de energia sustentável, a matriz energética mundial só deveria contar com fontes de energia limpa e renováveis (hidroelétrica, solar, eólica, hidrogênio, geotérmica, das marés, das ondas e biomassa), não devendo contar, portanto, com o uso dos combustíveis fósseis (petróleo, carvão e gás natural).
O documento apresenta a Solutial, uma empresa especializada em soluções de dados espaciais e análise de dados. A Solutial oferece serviços como transformação, validação e migração de dados usando a ferramenta FME para preparar dados para data warehouses. Exemplos mostram como a FME pode ser usada para integrar, transformar e carregar dados espaciais e tabulares de vários formatos e bancos de dados.
Sistema GED - Mais de 10 motivos para usar na sua empresaBruno Velaz
1) O documento discute os tipos de retornos que podem ser obtidos com a gestão eletrônica de documentos, variando de 40% a 100% dependendo do tipo de documento.
2) O Taugor GED é uma plataforma totalmente web que oferece recursos completos de gerenciamento de documentos e conteúdo, workflows configuráveis, buscas, visualizadores e integrações.
3) O sistema possui tecnologias como OCR, capture, gerenciamento de documentos e workflows, permitindo a digitalização, automação e gestão
Sistema GED - Mais de 10 motivos para usar Documentos ArmazenadosTaugor Corporation
Sistema GED - Mais de 10 motivos para usar Documentos Armazenados leia este material.
Depende muito do tipo de documento que será objeto
de gestão eletrônica. No caso de documentos
fiscais/trabalhistas a redução de espaço pode chegar a
algo próximo de 40%. Já no caso de documentos
relacionados à operação da organização esse
percentual cresce consideravelmente, podendo atingir
90% (em alguns seguimentos é possível chegar a 100%)
O documento descreve a solução IntegraTMS da empresa MSP para integrar sistemas ERP, TMS e transferir dados entre eles em tempo real através de web services. A solução permite a integração ilimitada de sistemas através de um módulo central que resolve questões como compatibilização de chaves e envio de dados para o sistema destinatário.
Marcos ferreira da silva tecnologia da informaçãoMarcos Ferreira
Marcos Ferreira da Silva, 39 anos, busca uma posição em tecnologia da informação com foco em projetos, infraestrutura, segurança da informação e gestão de equipes. Ele possui mais de 20 anos de experiência trabalhando com sistemas operacionais, bancos de dados, redes, segurança e implementação de soluções como ERP, CRM e BI. Seu objetivo é aplicar suas habilidades multidisciplinares para melhorar processos, reduzir custos e aumentar a produtividade.
Flavia Fernanda tem 15 anos de experiência em TI, incluindo liderança de projetos de governança, testes e resolução de problemas. Ela trabalhou como consultora sênior na TIM, analista de sistemas sênior na Fidelity e Oi, e analista de teste integrado na Oi, entre outros cargos. Flavia tem formação em estatística e cursos complementares em programação, sistemas, inglês e SAP.
Quebra de paradigmas na coleta e governança de dados sucesu68
1. O documento discute a abordagem tradicional versus a abordagem da Informatica para integração de dados, citando que 87% das empresas ainda usam codificação manual.
2. Apresenta a plataforma da Informatica para integração de dados de forma abrangente, unificada, aberta e econômica através de várias soluções como data warehouse, migração de dados e gerenciamento de dados mestres.
3. Destaca um caso de sucesso no Brasil onde a Informatica reduziu o consumo de recursos do mainframe
O documento apresenta as principais ferramentas e funcionalidades do SharePoint Server 2010 para desenvolvedores, incluindo ferramentas de desenvolvimento de primeira linha, melhorias no suporte ao debugging e tuning, e uma rica plataforma de serviços.
O documento descreve os recursos e funcionalidades do sistema Microsoft Dynamics CRM para gestão de atendimento, incluindo mobilidade, gerenciamento de solicitações, atendimento móvel, integração com sistemas legados e portais externos.
Nesta sessão vou falar o porquê de termos que conhecer plataformas de CRM. Como é que a plataforma Dynamics CRM introduz o termo xRM, que permite que esta plataforma possa gerir qualquer negócio. Vamos perceber quais os mecanismos funcionais e técnicos (através do Javascript e C#) que permitem estender esta plataforma. Por fim vamos conhecer o ambiente que a Microsoft está a criar a volta do Dynamics CRM.
Dynamics CRM - Mais que uma plataforma de CRMPedro Azevedo
O documento discute sistemas de CRM e Microsoft Dynamics CRM, incluindo sua arquitetura, integrações, custos e evolução. Ele fornece detalhes sobre a experiência da empresa com tecnologias Microsoft e CRM, além de resumir os principais recursos e vantagens do Dynamics CRM.
Rafael tem mais de 10 anos de experiência em TI, atuando como consultor sênior e analista de infraestrutura. Ele tem expertise em gestão de projetos, governança e segurança da informação. Seu foco é reduzir custos e melhorar a eficiência por meio da automação e da implantação de novas tecnologias. Rafael está cursando Gestão da Tecnologia da Informação e possui diversos cursos complementares.
Este documento apresenta uma introdução à plataforma Microsoft Dynamics CRM. Resume os principais pontos sobre o que é um CRM, as suas funcionalidades principais, o mercado de CRM, as vantagens de um sistema proprietário vs personalizado, e demonstra alguns recursos básicos do Dynamics CRM como entidades, atributos e processos.
Este documento descreve um webinar sobre a manipulação de dados com FME e a visualização geoespacial no Elastic Search. Apresenta a Solutial, uma empresa especializada em análise e migração de dados, e seus serviços de ETL, treinamentos e consultorias com FME e integração com Big Data e Elastic Search. Fornece exemplos de extração de dados de roubos de celulares em São Paulo e visualização em tempo real de ônibus no Kibana.
O documento discute o que é um sistema ERP, sua história e benefícios. Um ERP integra todos os sistemas de uma organização em um único sistema para evitar redundância de dados e melhorar o fluxo de informações entre os departamentos.
A plataforma Fluig fornece produtividade e colaboração para gestão de processos, documentos e identidades em uma única interface. Ela inclui componentes como BPM, ECM, ESB, Analytics e portais para atender diversos setores como construção, manufatura, serviços e varejo. A plataforma oferece mobilidade, integrações e comunidades para apoiar a colaboração entre times.
A empresa é uma integradora de soluções de cloud computing, virtualização e data center com mais de 1000 clientes em diversos setores. Ela oferece infraestrutura completa e equipe especializada em virtualização e cloud. Tem escritórios no Brasil e Estados Unidos e recebeu prêmios de parceiro da Citrix e Microsoft.
Cleber de Almeida Silva tem formação acadêmica em sistemas de informação e tecnologia em redes, com MBA em gestão empresarial e ERP SAP e pós-graduação em gerenciamento de projetos em tecnologia. Tem experiência como coordenador de projetos, gerente de TI e coordenador de infraestrutura e TI, tendo liderado projetos de virtualização, implementação do SAP B1 e O2, Help Desk, VoIP e rede WAN.
O documento descreve a plataforma Fluig, que fornece funcionalidades de produtividade, colaboração, gestão de processos e documentos. A plataforma oferece módulos como BPM, ECM, Analytics, Mobile e LMS para auxiliar empresas em diferentes áreas e pode ser acessada via web ou mobile.
PRODUÇÃO E CONSUMO DE ENERGIA DA PRÉ-HISTÓRIA À ERA CONTEMPORÂNEA E SUA EVOLU...Faga1939
Este artigo tem por objetivo apresentar como ocorreu a evolução do consumo e da produção de energia desde a pré-história até os tempos atuais, bem como propor o futuro da energia requerido para o mundo. Da pré-história até o século XVIII predominou o uso de fontes renováveis de energia como a madeira, o vento e a energia hidráulica. Do século XVIII até a era contemporânea, os combustíveis fósseis predominaram com o carvão e o petróleo, mas seu uso chegará ao fim provavelmente a partir do século XXI para evitar a mudança climática catastrófica global resultante de sua utilização ao emitir gases do efeito estufa responsáveis pelo aquecimento global. Com o fim da era dos combustíveis fósseis virá a era das fontes renováveis de energia quando prevalecerá a utilização da energia hidrelétrica, energia solar, energia eólica, energia das marés, energia das ondas, energia geotérmica, energia da biomassa e energia do hidrogênio. Não existem dúvidas de que as atividades humanas sobre a Terra provocam alterações no meio ambiente em que vivemos. Muitos destes impactos ambientais são provenientes da geração, manuseio e uso da energia com o uso de combustíveis fósseis. A principal razão para a existência desses impactos ambientais reside no fato de que o consumo mundial de energia primária proveniente de fontes não renováveis (petróleo, carvão, gás natural e nuclear) corresponde a aproximadamente 88% do total, cabendo apenas 12% às fontes renováveis. Independentemente das várias soluções que venham a ser adotadas para eliminar ou mitigar as causas do efeito estufa, a mais importante ação é, sem dúvidas, a adoção de medidas que contribuam para a eliminação ou redução do consumo de combustíveis fósseis na produção de energia, bem como para seu uso mais eficiente nos transportes, na indústria, na agropecuária e nas cidades (residências e comércio), haja vista que o uso e a produção de energia são responsáveis por 57% dos gases de estufa emitidos pela atividade humana. Neste sentido, é imprescindível a implantação de um sistema de energia sustentável no mundo. Em um sistema de energia sustentável, a matriz energética mundial só deveria contar com fontes de energia limpa e renováveis (hidroelétrica, solar, eólica, hidrogênio, geotérmica, das marés, das ondas e biomassa), não devendo contar, portanto, com o uso dos combustíveis fósseis (petróleo, carvão e gás natural).
Em um mundo cada vez mais digital, a segurança da informação tornou-se essencial para proteger dados pessoais e empresariais contra ameaças cibernéticas. Nesta apresentação, abordaremos os principais conceitos e práticas de segurança digital, incluindo o reconhecimento de ameaças comuns, como malware e phishing, e a implementação de medidas de proteção e mitigação para vazamento de senhas.
A linguagem C# aproveita conceitos de muitas outras linguagens,
mas especialmente de C++ e Java. Sua sintaxe é relativamente fácil, o que
diminui o tempo de aprendizado. Todos os programas desenvolvidos devem
ser compilados, gerando um arquivo com a extensão DLL ou EXE. Isso torna a
execução dos programas mais rápida se comparados com as linguagens de
script (VBScript , JavaScript) que atualmente utilizamos na internet
As classes de modelagem podem ser comparadas a moldes ou
formas que definem as características e os comportamentos dos
objetos criados a partir delas. Vale traçar um paralelo com o projeto de
um automóvel. Os engenheiros definem as medidas, a quantidade de
portas, a potência do motor, a localização do estepe, dentre outras
descrições necessárias para a fabricação de um veículo
1. Tratamento de Dados
- Data Quality -
DataMotion Tecnologia e Serviços
Rua Gomes de Carvalho, 1327 – 11 andar
04547-005 – São Paulo – SP
(11) 3842-2616/3045-3791
www.datamotion.com.br
2. DataMotion Tecnologia e Serviços Ltda 2
R Gomes de Carvalho, 1327 – 11 andar – Vila Olímpia – 04547-005 – São Paulo – SP
Telefone : (11) 3842-2616 / (11) 3045-3791
Tecnologia para Tratamento de Dados
CENÁRIO
As empresas em geral possuem formatos e localizações múltiplas nas quais os dados
estão armazenados. Visando suportar a tomada de decisão, aprimorar a performance
dos sistemas ou mesmo atualizar sistemas existentes, os dados freqüentemente
devem ser copiados, movidos, replicados ou mesmo devem sofrer transformações de
uma localização para outra. O conceito do DataMotion DataQuality visa justamente
oferecer uma solução para essa demanda.
DataMotion é uma tecnologia de componentes específicos para processos de Data
Quality, ETL, Validação de Dados Cadastrais e Filtros de Entrada de Dados. Dada sua
arquitetura e seus métodos de acesso, o DataMotion pode ser aplicado nos mais
diversos cenários, onde necessita-se de higienização e correção de dados,
transformação, recodificação e conversão de conteúdos.
Apesar do papel crítico de uma ferramenta de Data Quality & ETL em uma corporação,
seu uso tende a ser bastante genérico. O DataMotion, seguindo essa premissa, possui
uma arquitetura aberta e flexível para atender as principais demandas do usuário.
Processos de CRM, ERP, SCM, BI, Data Warehouse, Knowledge Management, Data
Formation, Cadastros, Cobrança, Anti-Fraudes, enfim, em todas as áreas e segmentos
onde a Qualidade dos Dados é ponto focal, o DataMotion pode ser utilizado.
3. DataMotion Tecnologia e Serviços Ltda 3
R Gomes de Carvalho, 1327 – 11 andar – Vila Olímpia – 04547-005 – São Paulo – SP
Telefone : (11) 3842-2616 / (11) 3045-3791
APLICAÇÕES
Exemplos de aplicações e usos típicos do Data Quality:
Campanhas de Marketing Direto
Validação de Dados Cadastrais
Consistência Cadastral em tempo de Entrada de Dados
Transformações e validações de conteúdos em tempo de execução
Consolidação de diversas bases de dados, com layouts distintos
Processamento e conversão de dados para ERP e CRM
Integração de arquivos de diferentes fontes em um único repositório
Definição de regras “de/para” durante etapas de migração de bases
Automação e Encadeamento de processos
Preparação dos dados para projetos de Business Inteligence e Data Mining
Preparação dos dados para Projetos de Data Mart e Data Warehouse
Suporte na Administração e suporte em Pesquisas de Mercado e Enquetes
etc
Processos de Validação contemplados pelo DataMotion
Conteúdos Geográficos
o Tratamento de endereços – validação, padronização e separação do logradouro,
complemento, bairro, cidade, UF, CEP e Código do IBGE
o Validação e atualização de CEP contra o DNE dos Correios
o Separação e padronização dos componentes do logradouro (tipo de logradouro,
logradouro, número, complemento, Bairro, CEP, Cidade e UF)
o Integração com CEPNet dos Correios
o Georreferenciamento a partir do endereço
Nomes
o Atribuição de gênero (sexo)
o Identificação de tipo de pessoa – física ou jurídica
o Identificação de palavrões – nomes incorretamente digitados
o Separação de nome composto, primeiro nome, nome do meio e último nome
Telefones
o Tratamento de Telefones – validação e atualização de DDDs e prefixos
Documentos
o Validação do dígito de controle e formatação de CNPJ, CPF e Inscrição Estadual
E-mail
o Verificação e consistência no conteúdo do campo e-mail
o Ping para verificação da existência do domínio
Campos genéricos
o Padronização e formatação de campos genéricos como Cargos, Tabela de
Produtos, Parentesco, Estado Civil, etc...
o Integração com expressões regulares (RegExp)
4. DataMotion Tecnologia e Serviços Ltda 4
R Gomes de Carvalho, 1327 – 11 andar – Vila Olímpia – 04547-005 – São Paulo – SP
Telefone : (11) 3842-2616 / (11) 3045-3791
MatchCode
o Identificação de registros duplicados no cadastro
o Visão única de Cliente
o Householding
o Parametrização e regras de negócios customizáveis
o Criação de MatchKeys Fonéticas
o Geração de arquivo DE/PARA
o Merge & Purge em campanhas de Marketing/CRM
Desempenho e Acuracidade
o O DataMotion tem capacidade para processar mais de 4 milhões de registros
por hora, mesmo com o módulo de Debug habilitado.
CARACTERÍSTICAS
Em termos de funcionalidade, o DataMotion é compatível com os mais diversos
ambientes, possuindo perfeita integração com os principais gerenciadores de banco de
dados, entre eles: SQLServer, Oracle, DB2, MySQL, MSAccess, etc.
A Tecnologia DataMotion é disponibilizada nas versões Batch e Online (Transacional) e
pode ser instalada em virtualmente qualquer versão do Windows:
o Através de ferramentas específicas, o usuário terá a disposição, diversos recursos
para melhorar sua produtividade em operações envolvendo transformação,
migração e pesquisa de dados. A versão Batch é indicada para processos que
tratam diretamente as bases de dados, sem necessariamente exigir integração com
aplicações internas/externas da empresa.
o A versão Online permite que todo o acervo de funções disponíveis no DataMotion
possa ser integrado Online e Realtime com qualquer tipo de aplicação existente na
empresa, seja na Internet, ERP, CRM, etc. A versão Online é ideal para validação
de processos de entrada de dados, consistências cadastrais, etc.
o Caso a necessidade do usuário seja utilizar os componentes do DataMotion dentro
de uma aplicação qualquer, seja ela um processo de validação, de consolidação de
base de dados, etc, é disponibilizado também o SDK (Software Development Kit)
com acesso as todas funções primitivas do DataMotion.
o Através do “DataMotion Studio”, o usuário poderá definir todas as regras e
premissas que deverão ser aplicadas durante todo o processo de tratamento de
dados.
O DataMotion é totalmente compatível com o MSOffice e o SQLServer. A tecnologia é
plug & play com o próprio DTS (Data Transformation Services) ou Integration Services,
fazendo com que, por exemplo, um processo de ETL possa acessar diretamente os
métodos e classes disponíveis no DataMotion. Toda e qualquer aplicação que possa
interagir com componentes COM/DLL da Microsoft, ou possa consumir métodos via
XML Web Services, está apta a interagir com o DataMotion.
5. DataMotion Tecnologia e Serviços Ltda 5
R Gomes de Carvalho, 1327 – 11 andar – Vila Olímpia – 04547-005 – São Paulo – SP
Telefone : (11) 3842-2616 / (11) 3045-3791
Facilidades e recursos técnicos específicos do produto:
o Acervo com centenas de métodos voltado a Transformação, Recode e
Tratamento de String de Dados
o API integrável com qualquer aplicação Windows e Web IIS
o Explorador de Dados com sofisticados recursos de Query
o Assistente de Importação/Exportação de dados
(TXT, MDB, DBF, XLS, SQLServer, Oracle, DB2, etc)
o Recursos avançados de “Procura e Substituição” de conteúdos
o Disponível client (front end) em Excel
o Acionamento automático de objetos
o Envio de mensagens e notificações
o Inteiramente extensível a componentes do usuário (Plug-ins)
o Disponibiliza trace de execução passo a passo (debug);
o Registro de mensagens de log customizado
o Possibilidade de ser executado via linha de comando
o Suporte a XML WebServices
o Gerenciador de Dicionário de Dados
o Interfaces/Customizações via VBScript ou PascalScript
o Uso de Regular Expressions
o Totalmente integrável ao Windows Scheduler
o etc
Deduplicação de Conteúdo e Mecanismo de Busca
Uma das principais necessidades quando se trabalha com uma grande (e variada)
quantidade de informações é o processo de identificação de registros ou conteúdos
duplicados.
Através dos exclusivos processos de Geração de Match Keys Fonéticas e através da
rotina que analisa o percentual de similaridade entre strings distintas, toda a demanda
relacionada a busca de conteúdos homogêneos dentro de um universo heterogêneo,
poderá ser atendida prontamente.
Todo processo de Deduplicação (Merge & Purge) ou Busca de Conteúdos (Alpha Search
em aplicações online) pode ser parametrizado para atender as premissas das mais
sofisticadas regras de negócio.
O DataMotion possui rotinas específicas para criação da visão única de clientes
(Cadastro Único), bem como, dispõem do métodos exclusivos para identificação de
Householder.
O DataMotion é 100% desenvolvido no Brasil com fonética da língua portuguesa. A
interface gráfica, bem como, toda documentação do produto está disponível nos
principais idiomas ocidentais.
O DataMotion é comercializado também em países da América Latina e nos USA,
customizado com suas geografias e fonéticas próprias.
6. DataMotion Tecnologia e Serviços Ltda 6
R Gomes de Carvalho, 1327 – 11 andar – Vila Olímpia – 04547-005 – São Paulo – SP
Telefone : (11) 3842-2616 / (11) 3045-3791
Enriquecimento de dados
O recurso de DataEnrichment do DataMotion, permite ao usuário verificar a
existência de seus registros nas bases de dados das empresas parceiras para aquisição
de registros para atualização de Endereços e Telefones para pessoas físicas e
Endereços, Telefones, Qtde de Funcionários, Ramo de Atividade, Executivos,
Faturamento e outras informações para pessoas jurídicas.
DataMotion Studio : Todas funcionalidades presentes em um único módulo.
7. DataMotion Tecnologia e Serviços Ltda 7
R Gomes de Carvalho, 1327 – 11 andar – Vila Olímpia – 04547-005 – São Paulo – SP
Telefone : (11) 3842-2616 / (11) 3045-3791
O DataMotion possui diversos módulos para facilitar e permitir que cada etapa do
tratamento de dados seja executada da melhor maneira possível.
Administrador de ADO : O ADOAdmin permite que todas as conexões aos arquivos e
banco de dados tratados sejam gerenciadas a partir de uma única tela. Depois de
configuradas, as conexões podem ser utilizadas em todos os módulos do DataMotion
apenas utilizando-se os Alias criados.
8. DataMotion Tecnologia e Serviços Ltda 8
R Gomes de Carvalho, 1327 – 11 andar – Vila Olímpia – 04547-005 – São Paulo – SP
Telefone : (11) 3842-2616 / (11) 3045-3791
Explorador de arquivos : Utilizando as conexões (Alias) criadas no Administrador de
ADO, os usuários podem acessar as tabelas ou arquivos para a realização de consultas,
queries, exportações, importações de mais dados e manipulações diversas.
9. DataMotion Tecnologia e Serviços Ltda 9
R Gomes de Carvalho, 1327 – 11 andar – Vila Olímpia – 04547-005 – São Paulo – SP
Telefone : (11) 3842-2616 / (11) 3045-3791
Content Search and Retrieval : Poderoso mecanismo de busca de conteúdos em
arquivos ou tabelas. Todo dado é fonetizado e padronizado de modo que o componente
retorne o maior número de opções possíveis. No exemplo abaixo, o componente é
utilizado em uma tabela de endereços, mas pode ser utilizado em qualquer tipo de
conteúdo como observações, produtos, contratos, textos diversos, etc ...
10. DataMotion Tecnologia e Serviços Ltda 10
R Gomes de Carvalho, 1327 – 11 andar – Vila Olímpia – 04547-005 – São Paulo – SP
Telefone : (11) 3842-2616 / (11) 3045-3791
Tratamento de Nomes : Identificação do tipo de pessoa (PF ou PJ), atribuição do
sexo, identificação e separação de vários nomes dentro de um mesmo campo.
11. DataMotion Tecnologia e Serviços Ltda 11
R Gomes de Carvalho, 1327 – 11 andar – Vila Olímpia – 04547-005 – São Paulo – SP
Telefone : (11) 3842-2616 / (11) 3045-3791
Tratamento de endereços : Padronização e correção de todos os componentes que
compõem um endereço.
O resultado do tratamento pode ser em campos específicos de Tipo de Logradouro,
Logradouro, Número e Complemento ou todos juntos ou parcialmente juntos.
Além de endereços o DataMotion também trata Telefones, Documentos (CPF, CNPJ e
Inscrição Estadual), Cargos, Emails, etc ...
12. DataMotion Tecnologia e Serviços Ltda 12
R Gomes de Carvalho, 1327 – 11 andar – Vila Olímpia – 04547-005 – São Paulo – SP
Telefone : (11) 3842-2616 / (11) 3045-3791
Mais de 20 códigos de retorno para o usuário saber exatamente o que aconteceu com
o dado, como o dado estava originalmente, como ficou e o que foi atualizado.
Abaixo alguns exemplos de tratamento de endereço:
13. DataMotion Tecnologia e Serviços Ltda 13
R Gomes de Carvalho, 1327 – 11 andar – Vila Olímpia – 04547-005 – São Paulo – SP
Telefone : (11) 3842-2616 / (11) 3045-3791
Likeness : Para identificação da similaridade de possíveis duplicidades o DataMotion
utiliza várias customizações de algoritmos clássicos e consagrados, tais como Ratcliff
Oberschelp Pattern Matching, Daitch Mokotoff Soundex, Metaphone e Levenshtein
Distance. Estes algoritmos analisam variações ortográficas e fonéticas atribuindo um
percentual de semelhança entre as comparações levando em consideração padrões
específicos para strings do tipo Nome, Endereço, Razão Social e campos gerais. As
comparações podem ser feitas entre os conteúdos dos campos ou entre MatchKeys
criadas a partir dos conteúdos mais significativos dos campos.
14. DataMotion Tecnologia e Serviços Ltda 14
R Gomes de Carvalho, 1327 – 11 andar – Vila Olímpia – 04547-005 – São Paulo – SP
Telefone : (11) 3842-2616 / (11) 3045-3791
Exemplos de nomes após a criação de chaves fonéticas (note que os nomes são
diferentes mas as chaves fonetizadas são iguais).
NOME MATCHKEY NOME MATCHKEY
GRASIELE NYbOqYY} AIRTOM reC_IN
GRASIELLE NYbOqYY} AIRTON reC_IN
GRAZIELE NYbOqYY} AIRTTON reC_IN
GRAZIELI NYbOqYY} AYRTOM reC_IN
GRAZIELLE NYbOqYY} AYRTON reC_IN
GRAZIELY NYbOqYY} HAIRTON reC_IN
HAYRTON reC_IN
Brain : Com este módulo o usuário pode ensinar o DataMotion a realizar novos tipos
de padrões e correções no conteúdo e no formato dos dados. Este componente pode
ser utilizado para identificação e correção de formas de escrita em campos genéricos,
como por exemplo, tabela de produtos. Se o conteúdo de algum campo não seguir
uma ordem correta de digitação ou tiver alguma palavra, sigla ou número inválidos o
DataMotion pode indicar que a forma de preenchimento está incorreta como também
pode corrigi-la se tiver o padrão correto.
15. DataMotion Tecnologia e Serviços Ltda 15
R Gomes de Carvalho, 1327 – 11 andar – Vila Olímpia – 04547-005 – São Paulo – SP
Telefone : (11) 3842-2616 / (11) 3045-3791
Data Profiling : Segundo estimativas da DMReview, de 20 a 50% das empresas no
mundo têm problemas de qualidade em seus dados. Através de avaliação e do
monitoramento preventivo é possível fazer com que não conformidades que estejam
acontecendo não ocorram mais, bem como, é possível também prever futuras
inconsistências cadastrais ou transacionais.
Todas as etapas relacionadas a análise do conteúdo e estrutura dos dados são
definidas pelos processos de Data Profiling. Através do DataMotion, diversas e
poderosas funcionalidades de diagnóstico e análise de conteúdo cadastral são
disponibilizadas ao usuário.
O Data Profiling DataMotion possui as seguintes funcionalidades integradas:
Análise de praticamente qualquer tipo de arquivo;
Suporte a arquivos de virtualmente qualquer tamanho;
Mapeamento do layout dos campos;
Análise Estrutural da base de dados;
Análise de Missings;
Tabulação de conteúdo e de padrão de preenchimento dos campos;
Identificação de possíveis anormalidades cadastrais;
Relatórios gerenciais em planilhas Excel;
Etc.
Segue abaixo telas produzidas pelo módulo:
16. DataMotion Tecnologia e Serviços Ltda 16
R Gomes de Carvalho, 1327 – 11 andar – Vila Olímpia – 04547-005 – São Paulo – SP
Telefone : (11) 3842-2616 / (11) 3045-3791
Deduper : Aplicativo para realização de cruzamento e deduplicação de base de dados
o Acessa qualquer tipo de base de dados via ADO (através do ADOAdmin)
o Exige o DataMotion v4.* previamente instalado
o Processamento de até 10 arquivos de entrada simultaneamente
o Suporte a datasets com diferentes layouts de entrada
o Candidate Key customizável
o ConcurrentMatch - Suporte de até 10 match codes diferentes simultaneamente
o 20 tipos de componentes previstos para match codes
o 7 tipos de formatação para as match codes
o ComparsionMatch - Suporte de até 10 regras de deduplicação
o Inferred Matching – regra A=B; B=C; portanto A=C (1 nível de recursividade)
o PreProcessing - Cleansing e validação durante o processamento (sem Address
Correction)
o Modo de Debug para acompanhamento dos processamentos
o TXTs com log do processamento e arquivos de saída
Inferred Matching
Suponhamos que num processo de deduplicação estejam sendo utilizadas as seguintes
condições de matching:
Candidate Key - Cidade + UF
Condição #1 - Nome + Endereço
Condição #2 - Endereço + Telefone
A regra de negócio é a seguinte: Para um registro ser duplicado com outro, os
conteúdos deverão estar na mesma Window (terem a mesma Candidate Key), bem
como, os registros precisarão ser duplicados considerando-se a condição #1 OU a
condição #2. Dessa forma, para se constituir um match será necessário satisfazer a
condição #1 OU #2.
O conteúdo a ser deduplicado é o seguinte:
Através da condição #1, os registros 1 e 2 serão considerados duplicados. Utilizando a
condição #2, os registros 2 e 3 serão considerados duplicados entre si. Quando a
condição #1 E a condição #2 forem simultaneamente verdadeiras e ambas se
relacionarem entre si, então através do Inferred Matching será possível afirmar que os
registros 3 e 1 serão considerados duplicados. No caso do exemplo, ao todo teremos 3
registros num mesmo grupo de duplicados.
17. DataMotion Tecnologia e Serviços Ltda 17
R Gomes de Carvalho, 1327 – 11 andar – Vila Olímpia – 04547-005 – São Paulo – SP
Telefone : (11) 3842-2616 / (11) 3045-3791
MatchCode Components
Marcados em vermelho na sintaxe abaixo:
[MATCHCODE]
CandidateKey=ZipCode[3,0]+Name[3,1]
MatchKey1=Name[10,1]+Address[10,1]
MatchKey2=Telephone[0,3]
MatchKey3=Email[0,4]
Regras de comparação
[PROCESS]
Rule1=MatchKey1[100%]+MatchKey2[90%]
Rule2=MatchKey3[100%]
Na regra acima, somente serão considerados conteúdos duplicados caso
(MatchKey1=T AND MatchKey2=T) OR (MatchKey3=T)
Fases do Deduper
Um processamento típico do Deduper, contempla as seguintes fases:
o Step 1 - Fusion Process
o Step 2 - Generation of Candidate and Match Keys
o Step 3.1 - Populating In-Memory Table
o Step 3.2 - Grouping Similar Records
o Step 3.3 - Populating GroupID and MemberNumber (Phase 1 and 2 is included)
o Step 4 –Updating the records at DM_Deduper.dat (Survivoring Proc)
o Step 5 – Reporting Procedure
18. DataMotion Tecnologia e Serviços Ltda 18
R Gomes de Carvalho, 1327 – 11 andar – Vila Olímpia – 04547-005 – São Paulo – SP
Telefone : (11) 3842-2616 / (11) 3045-3791
Integração no SQL Server : Integração da API do DataMotion no SQL Server para
utilização dos métodos através de Functions ou Stored Procedures.
19. DataMotion Tecnologia e Serviços Ltda 19
R Gomes de Carvalho, 1327 – 11 andar – Vila Olímpia – 04547-005 – São Paulo – SP
Telefone : (11) 3842-2616 / (11) 3045-3791
Web Service : Disponibilização de todos os componentes do DataMotion para serem
utilizados em XML Web Services, permitindo acesso multiplataforma aos recursos de
tratamento de dados.
20. DataMotion Tecnologia e Serviços Ltda 20
R Gomes de Carvalho, 1327 – 11 andar – Vila Olímpia – 04547-005 – São Paulo – SP
Telefone : (11) 3842-2616 / (11) 3045-3791
Arquitetura e Glossário
METHODS – Conjunto de funções (Primitivas) que formam o Kernel (SDK) do
DataMotion. As primitivas são basicamente os Métodos. Um conjunto de Métodos com
a mesma afinidade e característica é denominado uma Classe (Class).
TASKS – Uma Tarefa (Task) é um processo de transformação que pode reunir um ou
mais métodos. As Tasks são definidas pelo usuário utilizando-se o DataMotion Studio.
Através do DataMotion Studio, o usuário terá acesso ao editor de TaskCode.
TASKCODE – Código que descreve quais e como as Tarefas serão executadas,
compondo assim um Package.
BRAIN – (Gerenciador do Metadados) Armazena todos os conhecimento do DataMotion
relativo aos dicionários de dados, translate tables e métricas de negócio. O Brain
poderá ter vários ‘Knowledges’ e cada ‘Knowledge’ poderá ter várias regras. O
conteúdo - ou knowledge - do Brain poderá ser editado, importado ou exportado,
podendo-se assim, transferir conhecimentos em diferentes versões do DataMotion ou
diferentes versões de banco de dados.
DMI - DATAMOTION INTERPRETER : Recurso utilizado para execução do DataMotion
em modo batch. Através do DMI o usuário pode criar um script de comandos para
execuções em lotes.
21. DataMotion Tecnologia e Serviços Ltda 21
R Gomes de Carvalho, 1327 – 11 andar – Vila Olímpia – 04547-005 – São Paulo – SP
Telefone : (11) 3842-2616 / (11) 3045-3791
Customização
Conforme mencionado, o uso do Data Quality & ETL nas organizações é feito de uma
maneira bastante genérica. Sua aplicação é vista em diversos tipos de sistemas e
operações, fazendo com que seja necessário que o DataMotion – enquanto solução -
possua uma arquitetura aberta para atender as principais demandas do usuário. Dado
esse escopo, o DataMotion foi desenhado para poder ser ‘customizado’ através do uso
de Métodos e/ou outros componentes (Plug Ins).
Por outro lado, a cada novo release, novos Métodos poderão ser implementados
nativamente no DataMotion. Periodicamente, novas Classes serão disponibilizadas.
Os Plug Ins (ou AddOns) poderão ser desenvolvidos sob medida as necessidades ou
regras de negócios dos usuários, e ainda assim terem completa integração com o
próprio kernel do DataMotion. Vale ressaltar que esses Plug Ins serão Métodos
pontuais criados a partir de uma necessidade, e que poderão ser integrados a qualquer
Package ou Task DataMotion.
Portanto, o DataMotion pode ser customizado para resolver qualquer tipo de problema
que relacione-se com Data Quality, Data Transformation, Recoding e Conversão de
Dados.
www.datamotion.com.br
Registro INPI : 018060114531
22. DataMotion Tecnologia e Serviços Ltda 22
R Gomes de Carvalho, 1327 – 11 andar – Vila Olímpia – 04547-005 – São Paulo – SP
Telefone : (11) 3842-2616 / (11) 3045-3791
Anexo – Metodologia de Tratamento, Padronização e
Enriquecimento dos Endereços
Todos elementos que compõem o endereço são detalhadamente avaliados e auditados
por rotinas de validação cadastral. O processo que antecede o tratamento e a
padronização é o Diagnóstico. Nesta etapa, cada um dos elementos, assim como cada
string de endereçamento é investigada quanto a forma e padrão de preenchimento. A
identificação do melhor algoritmo de tratamento a ser implementado, depende das
conclusões da etapa de diagnóstico.
As partículas de Tipo de Logradouro, Logradouro, Número, Complemento, Bairro, CEP,
Cidade e UF, são então dispostas em forma de uma grande equação simultânea, onde
diversas regras de negócio são aplicadas. Nesse momento, o algoritmo de tratamento
e padronização entra em ação. Nomes oficiais de logradouros, tratamento de
acentuações, recodificações de prefixos e sufixos, etc, enfim todo tipo de validação é
executada de forma sincronizada durante os processos de tratamento dos logradouros.
Durante o processamento, toda consistência e enriquecimento de endereços é feita
com base no Diretório Nacional de Endereços (DNE dos Correios), assim como, em
base de conhecimento própria, que ao todo, compõem um gigantesco banco de dados,
com milhões de referência sobre todos os logradouros do país, seus respectivos
códigos de endereçamento postal, municípios de CEP único, etc. Endereços com
problemas terão seus componentes inconsistentes adequadamente substituídos por
conteúdos corretos, utilizando-se as premissas e padrões oficiais dos Correios.
Validações de combinações exatas e aproximadas de endereços, endereços sem
números, eliminação de títulos, preposições, conectivos ou então de palavras
intermediárias, abreviaturas e erros de sílabas são exaustivamente tratadas,
utilizando-se sempre um gestor de similaridade fonética para enriquecimento dos
elementos que compõem o endereço.
A cada registro processado são gerados diversos tipos de códigos de retorno, com
informações detalhadas sobre o resultado do tratamento. Para cada método aplicado
na tentativa de validação cadastral é gerado uma pontuação com a respectiva
avaliação.
Níveis de sensibilidade de Match
Os níveis de sensibilidade dos processos de Match, são orientados ao diagnóstico do
conteúdo a ser processado. Essa orientação permite que a aplicação possa ser
parametrizada pelos mais diversos critérios, tais como: fonéticos e ortográficos.
A parametrização do Match possui todos os elementos necessários, para que seja feito
a melhor validação cadastral possível. Fazem parte dos parâmetros de Match os
seguintes elementos:
Tipo de conteúdo a ser analisado
Formato e Tamanho da Chave de Match
Rotina Fonética
Algoritmo de similaridade
Grau de corte da similaridade
23. DataMotion Tecnologia e Serviços Ltda 23
R Gomes de Carvalho, 1327 – 11 andar – Vila Olímpia – 04547-005 – São Paulo – SP
Telefone : (11) 3842-2616 / (11) 3045-3791
1) Análise dos layouts e campos
Levantamento dos diversos layouts dos arquivos com a finalidade de se obter o
melhor layout para o arquivo final (cadastro único). Nesta etapa os campos são
analisados levando em consideração o tipo, tamanho e conteúdo.
Análise de freqüência de conteúdos são utilizadas para que seja determinado o
conteúdo final dos campos. Ex: Em um arquivo podemos ter o campo GÊNERO com
conteúdos “M”,”F” e em outro arquivo “1”,”2”.
Análises de padrões também podem ajudar a entender melhor determinados
conteúdos, como no caso dos Telefones. Ex: (99) 9999-9999, (0xx99) 99999999,
etc ...
Arquivo 1 Arquivo 2 Arquivo N
GENERO GENERO GENERO
Type Char (1) Type Integer ...
Freqüência Freqüência ...
F 1
M 2
Máscaras Máscaras ...
X 9
TELEFONE TELEFONE TELEFONE
Type Integer Type Char (20) ...
Máscaras Máscaras ...
99999999 (99) 9999-9999
9999999 (99) 99999999
99 - 99999999
99 9999999
(9xx99) 9999-9999
...
DDD DDD
Type Integer ...
Máscaras ...
999
99
24. DataMotion Tecnologia e Serviços Ltda 24
R Gomes de Carvalho, 1327 – 11 andar – Vila Olímpia – 04547-005 – São Paulo – SP
Telefone : (11) 3842-2616 / (11) 3045-3791
2) Padronização e Parser
Aplicação de tabelas de máscaras e padrões de escrita para correção e separação
de determinados tipos de campos
Telefone DDD Número Telefone
(11) 3842-2616 11 38422616
(99) 9999-9999
(0xx11) 38422616 11 38422616
(9xx99) 99999999
Razão Social e Nome
Empresa XPTO S A Empresa XPTO S.A.
Empresa ABC Ltd Empresa ABC Ltda
Antonio Fco da Silva Antonio Francisco da Silva
Ma Aparecida Oliveira Maria Aparecida Oliveira
3) Correção de endereços e outros campos
Através do cruzamento do campo endereço com o DNE (Diretório Nacional de
Endereços) podemos validar/corrigir os logradouros. Além de endereços podemos
validar DDDs, prefixos telefônicos, domínios de emails, dígitos de controle de
documentos (CPF, CNPJ e IE), etc ...
25. DataMotion Tecnologia e Serviços Ltda 25
R Gomes de Carvalho, 1327 – 11 andar – Vila Olímpia – 04547-005 – São Paulo – SP
Telefone : (11) 3842-2616 / (11) 3045-3791
4) Identificação dos registros duplicados
Com o dado padronizado e validado/corrigido o próximo passo é a definição das
chaves de match e a execução do processo de escolha dos registros sobreviventes.
A escolha do registro sobrevivente pode ser pela recência, utilizando-se uma data
de cadastramento (ou alteração), por quantidade de campos com melhor
preenchimento ou qualquer outro critério necessário. A escolha das melhores
chaves de match dependem de análise previa dos conteúdos dos campos.
No exemplo acima o registro sobrevivente, tendo como critério a recência, é o
registro de código 3
5) Fusão dos registros duplicados
Preenchimento das variáveis que o registro sobrevivente não possui, mas os
registros duplicados possuem. No caso abaixo, o registro de código 3 passa a
conter o conteúdo gerado pela fusão dos outros registros.
Todos os direitos reservados
DataMotion Tecnologia