Aplicação de redes convolucionais e princípios de visão computacional para a resolução de problema de backoffice. Aqui abordamos um pipeline simplificado para tratar imagens digitalizadas e assim extrair informações de dados não estruturados (utilizando algoritmos de OCR - Optical Character Recognition).
O presente artigo tem como objetivo o estudo de modelos de Inteligência Artificial para sistemas de recomendação, case Santander do Kaggle, utilizando algoritmos de Machine Learning e Deep Learning para fazer a recomendação de produtos com base na história dos clientes do banco.
Num cenário onde a data da Entrega foi encurtada de 535 para 60 dias, com vários refactorings de telas e arquitetura, como usamos alguns conceitos da Especificação por exemplos para reduzir o número de defeitos. Também vou apresentar os efeitos de termos abandonado a prática no meio do processo e o side-effect que ocasionado por essa mudança.
O presente artigo tem como objetivo o estudo de modelos de Inteligência Artificial para sistemas de recomendação, case Santander do Kaggle, utilizando algoritmos de Machine Learning e Deep Learning para fazer a recomendação de produtos com base na história dos clientes do banco.
Num cenário onde a data da Entrega foi encurtada de 535 para 60 dias, com vários refactorings de telas e arquitetura, como usamos alguns conceitos da Especificação por exemplos para reduzir o número de defeitos. Também vou apresentar os efeitos de termos abandonado a prática no meio do processo e o side-effect que ocasionado por essa mudança.
Esta apresentação foi realizada no Cloud Latam 2014 em São Paulo - Brasil. O objetivo desta apresentação foi descrever algumas iniciativas em Big Data no VAGAS.com
Palestra realizada pelo MVP em Data Platform Diego Nogare durante o SQL Saturday 488 em Joinville. Descrição da Palestra: "Há alguns anos surgiu uma nova profissão: a do Cientista de Dados. Entenda o que o mercado (e os outros profissionais) devem esperar de um Cientista de Dados, e como esta nova profissão pode ajudar sua empresa. Entenda termos usados por nós, veja alguns métodos estatísticos e matemáticos que dão suporte ao aprendizado de máquinas, conheça os algoritmos que permitem que modelos preditivos sejam criados e garantam que sua empresa dê um passo à frente da concorrência."
Breve apresentação dos conceitos de Manufatura Digital. Os desafios e os novos paradigmas de negócios. Também é abordado a forma como a inovação e tecnologia podem ajudar nesse novo cenário.
Explica-se algumas ferramentas integrantes do conceito de Manufatura Digital e sua diferença para o conceito de Fábrica Digital.
Material da solução de Fiscalização Inteligente da Celelre que utiliza IA para processamento de imagens de evidências de andamento e conclusões de obras FTTH.
No Encontro IPNews SDN André Faccioli, diretor da NetBr, abordou a importância e a necessidade urgente de automação dos data center. Para ele, este é um caminho sem volta que vai, inclusive, mudar o perfil do Engenheiro de Redes.
O modelo padrão de imagens quantitativas de DTI foi recentemente proposto por Mori, no qual se utiliza dos mesmos procedimentos de construção de mapas padrões em imagens
convencionais de MRI. Mori et al. [1] propõe a construção de modelos cerebrais a fim de se obter maior precisão do corregistro de imagens de pacientes, além de fornecer um atlas digital dos principais tractos da substância branca. Contudo, os mapas padronizados oferecidos pelo autor somente fornecem o valor médio dos mapas FA e ADC, sendo estes insuficientes para uma proposta de análise estatística frequentista. Assim, propomos a construção mais abrangente de mapas
quantitativos de DTI no qual ofereçem maiores informações para uma análise generalizada em estudos do cérebro humano. São oferecidos aqui tantos os mapas FA e ADC quanto os mapas de anisotropia relativa (Relative Anisotropy, RA) e difusibilidade radial (Radial Diffusibility, RD) (média e
variância). Com estes modelos estatísticos é possível calcular o desvio das medidas quantitativas de cada mapa de DTI e assim estipular quais voxeis apresentam um valor estatisticamente anormal em relação ao valor esperado da população.
Esta apresentação foi realizada no Cloud Latam 2014 em São Paulo - Brasil. O objetivo desta apresentação foi descrever algumas iniciativas em Big Data no VAGAS.com
Palestra realizada pelo MVP em Data Platform Diego Nogare durante o SQL Saturday 488 em Joinville. Descrição da Palestra: "Há alguns anos surgiu uma nova profissão: a do Cientista de Dados. Entenda o que o mercado (e os outros profissionais) devem esperar de um Cientista de Dados, e como esta nova profissão pode ajudar sua empresa. Entenda termos usados por nós, veja alguns métodos estatísticos e matemáticos que dão suporte ao aprendizado de máquinas, conheça os algoritmos que permitem que modelos preditivos sejam criados e garantam que sua empresa dê um passo à frente da concorrência."
Breve apresentação dos conceitos de Manufatura Digital. Os desafios e os novos paradigmas de negócios. Também é abordado a forma como a inovação e tecnologia podem ajudar nesse novo cenário.
Explica-se algumas ferramentas integrantes do conceito de Manufatura Digital e sua diferença para o conceito de Fábrica Digital.
Material da solução de Fiscalização Inteligente da Celelre que utiliza IA para processamento de imagens de evidências de andamento e conclusões de obras FTTH.
No Encontro IPNews SDN André Faccioli, diretor da NetBr, abordou a importância e a necessidade urgente de automação dos data center. Para ele, este é um caminho sem volta que vai, inclusive, mudar o perfil do Engenheiro de Redes.
O modelo padrão de imagens quantitativas de DTI foi recentemente proposto por Mori, no qual se utiliza dos mesmos procedimentos de construção de mapas padrões em imagens
convencionais de MRI. Mori et al. [1] propõe a construção de modelos cerebrais a fim de se obter maior precisão do corregistro de imagens de pacientes, além de fornecer um atlas digital dos principais tractos da substância branca. Contudo, os mapas padronizados oferecidos pelo autor somente fornecem o valor médio dos mapas FA e ADC, sendo estes insuficientes para uma proposta de análise estatística frequentista. Assim, propomos a construção mais abrangente de mapas
quantitativos de DTI no qual ofereçem maiores informações para uma análise generalizada em estudos do cérebro humano. São oferecidos aqui tantos os mapas FA e ADC quanto os mapas de anisotropia relativa (Relative Anisotropy, RA) e difusibilidade radial (Radial Diffusibility, RD) (média e
variância). Com estes modelos estatísticos é possível calcular o desvio das medidas quantitativas de cada mapa de DTI e assim estipular quais voxeis apresentam um valor estatisticamente anormal em relação ao valor esperado da população.
The skull stripping procedure is an important image preprocessing step commonly applied in many neuroscience studies. Even though several efforts have been made in order to create robust brain extraction algorithms,
minor segmentation errors still remain, often requiring manual refinement. In this study, an automatic Brain Volume Refinement (BVeR) method is proposed. The method interprets segmentation outliers as local interference in brain tissue
signal contrast, offering a suitable solution for external brain boundary adjustment of structural T1 and T2 weighted MRI. Two publicly available structural MRI image datasets of healthy adults and two commonly used brain extraction methods (BET and FreeSurfer) were used for evaluation. Quantitative segmentation evaluation for accuracy and reproducibility were applied to evaluate the performance of BVeR, showing that the average brain volume refinement showed a significant improvement (p<0.001) in most metrics. In conclusion, the BVeR method offers an automatic alternative to the
manual correction often requested in brain MRI studies, in which it considerably reduces human errors and processing time.
Apresentação para a disciplina de Processamento e Recuperação de Imagens Médicas do curso de pós graduação em Física Aplicada em Medicina e Biologia da USP campus Ribeirão Preto.
Trabalho sobre a utilização da teoria de automata celular aplicado em processamento de imagens médicas. 2011
Apresentação para WorkShop do curso de Informática Biomédica da USP campus Ribeirão Preto.
Trabalho sobre o uso de filtro espacial baseado em equação de difusão anisotrópica clássica. 2011
Guia para controle de qualidade em ultrassom de imagem biomédica de modo-B.
Texto baseado nos moldes de segurança e aplicaçãod e testes de controle de qualidade da American Association of Physicist in Medicne AAPM.
Resumo sobre Segurança e Equipamentos Compatíveis em IRMN.
Desenvolvido durante a discipina de Ressonância Magnética ministrada para o curso de Física Médica da USP campus Ribeirão Preto.
Seminário sobre Segurança em tomógrafos por Ressonância Magnética Nuclear.
Seminário apresentado na disciplina de Ressonância Magnética ministrada para o curso de Física Médico da USP campus de Ribeirão Preto.
Seminário sobre aplicação de filtro espacial baseado em equação de difusão isotrópica e anisotrópica.
Seminário apresentado na disciplina de Processamento de Imagens Médicas ministrada para o curso de Física Médico da USP campus de Ribeirão Preto.
Seminário sobre transdutor para medidas do sistema respiratório.
Seminário apresentado na disciplina de Introdução à Instrumentação Biomédica ministrada para o curso de Física Médico da USP campus de Ribeirão Preto.
Seminário sobre conceitos e aplicações do estado da matéria: Spin.
Seminário apresentado na disciplina de Física Moderna II ministrada para o curso de Física Médico da USP campus de Ribeirão Preto.
Seminário sobre imageamento por inframervelho.
Seminário apresentado na disciplina de Física das Radiações ministrada para o curso de Física Médico da USP campus de Ribeirão Preto.
Seminário sobre terapia com Cobalto.
Seminário apresentado na disciplina de Dosimetria ministrada para o curso de Física Médico da USP campus de Ribeirão Preto.
Seminário sobre a teoria ondulatória e corpuscular da luz no contexto histórico da evolução dos conceitos da física.
Seminário apresentado na disciplina de Evolução dos Conceitos da Física ministrada para o curso de Física Médico da USP campus de Ribeirão Preto
Conferência Goiás I Como uma boa experiência na logística reversa pode impact...E-Commerce Brasil
Diogo Inoue
Diretor de Operações OOH
Jadlog Logística.
Como uma boa experiência na logística reversa pode impactar na conversão do seu e-commerce?
Saiba mais em: https://eventos2.ecommercebrasil.com.br/conferencia-goias/
Conferência Goiás I As tendências para logística em 2024 e o impacto positivo...E-Commerce Brasil
Camila Suziane Rezende
Agente Comercial Regional
Total Express,
Renata Bettoni Abrenhosa
Agente Comercial Regional
Total Express
As tendências para logística em 2024 e o impacto positivo que ela pode ter no seu negócio.
Saiba mais em: https://eventos2.ecommercebrasil.com.br/conferencia-goias/
Conferência Goiás I Perspectivas do Pix 2024: novidades e impactos no varejo ...E-Commerce Brasil
Thiago Nunes
Key Account Manager - Especialista em Digital Payments
Vindi
Perspectivas do Pix 2024: novidades e impactos no varejo e na indústria.
Saiba mais em: https://eventos2.ecommercebrasil.com.br/conferencia-goias/
Conferência Goiás I Fraudes no centro-oeste em 2023E-Commerce Brasil
Cristiane Cajado
Coordenadora de Customer Success
ClearSale
Fraudes no centro-oeste em 2023.
Saiba mais em: https://eventos2.ecommercebrasil.com.br/conferencia-goias/
Conferência Goiás I Moda e E-commerce: transformando a experiência do consumi...E-Commerce Brasil
Carolina Soares
Sales Manager
DHL Suppy Chain.
Moda e E-commerce: transformando a experiência do consumidor com estratégias de fulfillment logístico.
Saiba mais em: https://eventos2.ecommercebrasil.com.br/conferencia-goias/
Conferência Goiás I Uma experiência excelente começa quando ela ainda nem seq...E-Commerce Brasil
Carolina Ramos de Campos
Gerente de Relacionamento com o Seller
Americanas S.A
Uma experiência excelente começa quando ela ainda nem sequer foi imaginada!
https://eventos2.ecommercebrasil.com.br/conferencia-goias/
Conferência Goiás I Conteúdo que vende: Estratégias para o aumento de convers...E-Commerce Brasil
Maurici Junior
Gerente de Conteúdo
Magalu
Conteúdo que vende: Estratégias para o aumento de conversão para marketplace.
Saiba mais em: https://eventos2.ecommercebrasil.com.br/conferencia-goias/
MANUAL DO REVENDEDOR TEGG TELECOM - O 5G QUE PAGA VOCÊEMERSON BRITO
Tegg Telecom – 5G que paga você!
Essa é a proposta da Tegg Telecom. Fundado há quase 3 anos, o Grupo Tegg criou sua própria operadora de telefonia móvel, a Tegg Telecom, com a inovadora promessa de pagar aos usuários por utilizarem o serviço de telefonia 5G. Além disso, a Tegg oferece planos mensais a partir de R$ 14,90, sem contratos de fidelidade.
A Tegg é uma Startup Mobitech que chegou para revolucionar a telefonia móvel! 🤳🏻 Planos sem fidelidade.
⬇️ Saiba Mais!
Para Mais Informações me chame no WhatsApp
(67)99114-7996 - EMERSON BRITO
A linha Tegg é o nosso serviço de telefonia móvel. Assim como tudo na Tegg, foi desenhada para todos que desejam um serviço transparente, simples e sem surpresas na fatura. Ela foi feita para redefinir a maneira como você consome a telefonia. Não gera fidelidade, nem multa em caso de cancelamento.
Tenha uma Renda Extra e desenvolva seu próprio Negócio.
Acesse agora e venda chips para qualquer lugar do Brasil!
Assuma o Controle do Seu Futuro Agora!
.
.
Revenda Telefonia Móvel da Empresa TEGG TELECOM
Trabalhe no Conforto de Sua Casa
Inicie seu negócio Online Agora
Compartilhe com Seus Amigos
Não sabe como começar?
Me chama no zap que te explico.
盧 67 99114.7996
Codigo dos Homens.pdf e suas artimanhas de conquistas
Automação de BackOffice de uma grande corporação financeira usando Visão Computacional e Redes Neurais Convolucionais (CNN)
1. Automação de BackOffice de uma grande
corporação financeira usando Visão
Computacional e Redes Neurais
Convolucionais (CNN)
Ph.D. Antonio Carlos Senra Filho, MSc. Francisco Bruno Sousa Rocha
2019
2. Big Data
A quantidade de dados digitais
aumentaram exponencialmente
nas últimas décadas
3. Big Data
Comunicação entre empresas é (usualmente) 100% digital, porém ainda há
muito trabalho de backoffice para envio destas informações
5. O Problema
Esta apresentação está voltada para o
problema do envio de informações de
veículos aos DETRANs
Agências de financiamento
● Bancos
● Financeiras
● Consórcio
DETRAN A
DETRAN B
DETRAN D
DETRAN C
7. Digitalização de Documentos
A digitalização de documentos é uma abordagem de
armazenamento
Com a imagem digitalizada, é possível extrair
informações (Optical Character Recognition - OCR)
Porém, há artefatos a serem considerados...
junção de caracteres
Artefatos de compressão
Iluminação não uniforme
8. Estratégias para Tratamentos de Imagens
Algoritmos de Visão Computacional úteis:
● Regularização de background
● Binarização
● Rotação
● Remoção de ruído
● Remoção de artefatos de scanner
● Detecção de objetos
9. Estratégias para Tratamentos de Imagens
Algoritmos de Visão Computacional úteis:
● Regularização de background
● Binarização
● Rotação
● Remoção de ruído
● Remoção de artefatos de scanner
● Detecção de objetos
10. Estratégias para Tratamentos de Imagens
Algoritmos de Visão Computacional úteis:
● Regularização de background
● Binarização
● Rotação
● Remoção de ruído
● Remoção de artefatos de scanner
● Detecção de objetos
11. Estratégias para Tratamentos de Imagens
Algoritmos de Visão Computacional úteis:
● Regularização de background
● Binarização
● Rotação
● Remoção de ruído
● Remoção de artefatos de scanner
● Detecção de objetos
12. Estratégias para Tratamentos de Imagens
Algoritmos de Visão Computacional úteis:
● Regularização de background
● Binarização
● Rotação
● Remoção de ruído
● Remoção de artefatos de scanner
● Detecção de objetos
13. Estratégias para Tratamentos de Imagens
Algoritmos de Visão Computacional úteis:
● Regularização de background
● Binarização
● Rotação
● Remoção de ruído
● Remoção de artefatos de scanner
● Detecção de objetos
14. Estratégias para Tratamentos de Imagens
Algoritmos de Visão Computacional úteis:
● Regularização de background
● Binarização
● Rotação
● Remoção de ruído
● Remoção de artefatos de scanner
● Detecção de objetos
15. Classificação de Contratos
O que é um contrato de financiamento de veículos?
Algumas características podem ser usadas para uma pré-seleção, como:
● logomarca da empresa,
● código de barras,
● documentos não contratuais,
○ CNH, RG, Recibos de pagamento, etc.
19. Modelos de pré-seleção de imagens
Remoção de páginas em branco:
def _features_blank_pages(page):
small_page = cv2.resize(page, (char_size[0], char_size[1]),
interpolation=cv2.INTER_NEAREST)
bin_tbl = cv2.threshold(small_page, 0.5, 1, cv2.THRESH_OTSU)[1]
count_feat = []
for i in range(0, 3):
connector = sitk.ConnectedComponentImageFilter()
obj_space = bin_tbl.astype(np.uint8)
if i != 0:
image = swap_matrix(sitk.BinaryErode(swap_matrix(obj_space), i))
connector.Execute(swap_matrix(obj_space))
objs = connector.GetObjectCount()
count_feat.append(objs / (obj_space.size / 2))
return np.array([count_feat]).reshape(1, -1)
Binarização por algoritmo de Otsu
Método de contagem de objetos não
conectados (kernel 4-connectors)
Ajuste do array de características (1xN),
N=3 para atenuação em escala
(robusto com erros de binarização)
21. Modelos de pré-seleção de imagens
Remoção de fotocópia:
def _features_photocopy_documents(page):
patches = image2patches(data)
for patch in patches:
h_data = np.histogram(patch, 5, (0, 255))[0]
features.append(float(entropy(h_data)) / ((-1) * math.log(0.2, 2)))
features.sort()
return np.hstack((np.array([features]), columns_feat.reshape((1, -1))))
Separa a imagem de
entrada em partes menores
(patches)
Entropia clássica (Shannon)
normalizada por patch
23. Modelos de pré-seleção de imagens
● Método de classificação: Voting Classifier (Sklearn)
○ Conceito de “crowd wisdom” ou “classificação democrática”
○ K-Nearest Neighbors, Random Forest, SVM
● Treino com cross-validation (split 25% dos dados para validação)
● Métrica de treino: maximização da precisão
● Ambos com acurácia de 99,4% (branco), 98,3% (fotocópia)
Diminuir falsos positivos
26. Modelo de classificação de contratos
Classificação com arquitetura SmallerVGG
(CNN):
● Aplica poucas camadas
convolucionais
○ menos parâmetros, menor perturbação
por efeito de volume parcial
● Robusto contra o efeito de
“overfitting”
○ Camada de dropout
27. Modelo de classificação de contratos
class SmallerVGG(DeepClassifier):
model = Sequential()
model.add(Conv2D(self.filters[0], self.kernels[0], padding="same",
input_shape=self.image_properties))
model.add(Activation("relu"))
model.add(BatchNormalization(axis=self.change_dimension))
model.add(self.pool_type(pool_size=self.pool_size[0]))
model.add(Dropout(self.dropout[0]))
model.add(Flatten())
model.add(Dense(self.filters[5]))
model.add(Activation("relu"))
model.add(BatchNormalization())
model.add(Dropout(self.dropout[3]))
model.add(Dense(self.classes))
model.add(Activation("softmax"))
Modelo sequencial (Keras)
Camada de convolução:
1. Convolução+Ativação
2. Pooling
3. Dropout
x3 nesta arquitetura CNN
Redução para camada densa (1D)
Similar a modelos MLP
Saída com números de classes
desejado
(N páginas de contrato layout i)
28. Modelo de classificação de contratos
Detalhes para processamento e classificação dos contratos de financiamento:
● Modelagem da imagem
○ Inversão de sinal
○ Redução de escala (80 x 80)
Estrutura textual
fica em foreground
29. Modelo de classificação de contratos
Detalhes para processamento e classificação dos contratos de financiamento:
● Modelagem da imagem
○ Inversão de sinal
○ Redução de escala (80 x 80)
Resolução padrão 300 dpi
(matriz de imagem ~1600 x 2300 px)
Tamanho médio de
caracteres de texto
20x30 px
Matriz de imagem de entrada
~80 x 80 px
30. Modelo de classificação de contratos
Detalhes para processamento e classificação dos contratos de financiamento:
● Otimização de treinamento
○ Stochastic Gradient Descent (SGD)1
○ acurácia média por classe
■ ponderação ~30:1
1 Sebastian Ruder, “An overview of gradient descent optimization
algorithms”. https://arxiv.org/abs/1609.04747
31. Modelo de classificação de contratos
from sklearn.utils import class_weight
from keras.callbacks import EarlyStopping
from nina.deep_training import DeepTraining
from nina.architectures.deep_classifiers.smallervgg import SmallerVGG
nina_model = SmallerVGG(classes=2, image_properties=(80, 80, 1))
dnn_trainer = DeepTraining(nina_model)
dnn_trainer.configure_dataset(dataset, preproc)
cw = class_weight.compute_class_weight('balanced')
dnn_trainer.configure_compiler(loss='categorical_crossentropy')
dnn_trainer.configure_fit(class_weight=cw, batch_size=50, epochs=150,
callbacks=[EarlyStopping(monitor="val_acc",
min_delta=0.01,
mode="max",
patience=5)])
dnn_trainer.fit()
Classe dedicada para treino de DNN
Callback (Keras) como critério de
parada
Arquitetura SmallerVGG
Binário -> Contrato, Não Contrato
Carrega dados para treinamento
usando os critérios de pré-
processamento (preproc)
Configuração dos parâmetros de
treinamento
1. Batch
2. Epochs
3. Callbacks
4. Ponderação de classe (~30:1)
37. Estatísticas de Extração de Informações
ClienteCredor
Nome
Documento
Endereço
Número
Cidade
Estado
CEP
Nome
Documento
Endereço
Cidade
CEP
Bairro
Estado
Telefone
Contrato Veículo
Grupo Marca
Cota
Cidade de pagamento
Data de compra
Data de adesão
Primeira parcela
Última parcela
Valor da parcela
Total de parcelas
Valor total do bem
Taxas de juros a.m.
Taxas de juros a.a.
Modelo
Cor
Ano de fabricação
Ano do modelo
Chassi
Placa
Renavam
38. Processo de comunicação
Cliente Nuveo Credenciada
01 Envio de remessas 02 Recebimento de
remessas
03 Processamento
de remessas e
contratos
04 Contratos e
dados extraídos
estruturados 05 Análise de
Contratos05 Contratos
válidos
seleção de documentos, preparação dos dados importantes, formatação do envio
https://insightaas.com/dell-slide-data-growth/
Formatação do dado estruturado para envio aos DETRANs (json, dados obrigatórios mudam dependendo do DETRAN e credenciada (INFOSOLO, ARQDigital, Tecnobank, ...)
Como vimos nesta apresentação é possível classificar documentos digitalizados usando CNN e assim montar contratos com páginas ordenadas corretamente. Com o contrato montado usamos OCR para extrair informações relevantes do contrato (transformar em dados estruturados). Passamos o contrato e as informações extraídas para credenciada encerrando o processo.