Iremos apresentar sobre a migração entre arquiteturas de dados, de um modelo mais antigo baseado em Postgres e scripts PLSQL, para um modelo escalável e que visa redução de custos na AWS. Esta arquitetura é baseada em MongoDB e RabbitMQ, utilizando a linguagem Golang. Iremos explicar os motivos da migração e da escolha de tais ferramentas, bem como quais os problemas enfrentados e como foram resolvidos.
This is a description of our company, services provided, successes and contact information. We are a full service real and personal property tax company with an average of over 12 years experience each.
Reclamo por los camiones que venden mercaderías en la Plaza Municipal sin autorización. La cava de la calle Colón y otros. Demostración ante las acusaciones de que no es la CC-ARI-CAMBIEMOS la que miente sino el Departamento Ejecutivo Municipal.
Batra Computer Centre is An ISO certified 9001:2008 training Centre in Ambala.
We Provide PHP Training in Ambala. BATRA COMPUTER CENTRE provides best training in C, C++, S.E.O, Web Designing, Web Development and So many other courses are available.
This is a description of our company, services provided, successes and contact information. We are a full service real and personal property tax company with an average of over 12 years experience each.
Reclamo por los camiones que venden mercaderías en la Plaza Municipal sin autorización. La cava de la calle Colón y otros. Demostración ante las acusaciones de que no es la CC-ARI-CAMBIEMOS la que miente sino el Departamento Ejecutivo Municipal.
Batra Computer Centre is An ISO certified 9001:2008 training Centre in Ambala.
We Provide PHP Training in Ambala. BATRA COMPUTER CENTRE provides best training in C, C++, S.E.O, Web Designing, Web Development and So many other courses are available.
BSidesDC - **** it, Do It Live (PowerShell Digital Forensics)Jared Atkinson
Slides for Jared Atkinson's talk at BSidesDC titled "**** it, Do It Live (PowerShell Digital Forensics)". The presentation was given on 17 October 2015
Demonetization is not a new phenomenon. It was tried by many countries before the recently done in India on Nov 2016. Although it wasn't successful in most of the countries, but economists believe it resets the black economy. Read more on Groww.in
Tdc Future 2021 - simples soluções grandes resultados - Márcio Rogério NizzolaDextra Sistemas / Etec Itu
Dicas práticas de abordagem adotada em case de migração de legado e como melhorar aplicações legadas deixando sistemas mais estáveis para suportar o tempo de desenvolvimento de novas aplicações
ASP.Net Performance – A pragmatic approach - Luis PaulinoComunidade NetPonto
Nesta sessão abordamos a performance de Sistemas de Informação desenvolvidos na plataforma ASP.NET com recurso a SQL Server com SGBD. Iremos explicar como surgem os problemas de performance em sistemas com alguns anos de existência e qual a abordagem a tomar, quando temos utilizadores insatisfeitos.
Abordaremos também alguns casos de sucesso no mercado a nível de sistemas de alta disponibilidade e como o mercado tem evoluído. De uma forma geral, pretendemos demonstrar técnicas de análise/tuning de performance em ASP.NET e sua evolução ao longo das várias versões, como também algumas técnicas de requisitos para obtenção e estruturação da informação.
Finalmente, o objetivo passa por divulgar procedimentos, técnicas e ferramentas que sirvam como uma referência que possam ser úteis caso surjam problemas de performance nos nossos sistemas de futuro, entre os quais : Do’s & Dont’s, Systematic Tuning, ASP.NET Trace, VS Profiling Tools, SQL Profiler entre outros.
Monitorando APIs REST com o Application Insights - .Azure Weekend 2018 - Camp...Renato Groff
Apresentação sobre o uso do Application Insights (serviço que integra o Microsoft Azure) no monitoramento de APIs REST, utilizando também para isto o ASP.NET Core e o Azure App Service. Palestra realizada em 01/09/2018 durante o Azure Weekend 2018, evento promovido pelo grupo Campinas .NET na cidade de Campinas-SP.
Monitorando APIs REST com o Application Insights - .NET São Paulo - Junho-2018Renato Groff
Apresentação sobre o uso do Application Insights (serviço que integra o Microsoft Azure) no monitoramento de APIs REST. Palestra realizada em meetup promovido pelo grupo .NET São Paulo em 11/06/2018 na cidade de São Paulo-SP.
O Splunk é o mecanismo para os dados gerados por máquina
Sua infraestrutura de TI gera enormes quantidades de dados. Dados gerados por máquina - gerados por sites, aplicativos, servidores, redes, dispositivos móveis e afins. Ao monitorar e analisar tudo, de clickstreams e transações de clientes à atividade de rede para registrar chamadas, o Splunk transforma seus dados de máquina em percepções valiosas.
Solucione problemas e investigue incidentes de segurança em minutos (não horas ou dias). Monitore sua infraestrutura de ponta a ponta para evitar a degradação ou interrupções de serviço. E obtenha visibilidade em tempo real sobre a experiência, transações e comportamento dos clientes
Esta apresentação foi utilizada na QCon SP, 2016. O objetivo foi mostrar quais foram os desafios e dificuldades enfrentadas pelo time na migração do front-end para novas tecnologias, utilização de sistema de caching e manter integração com o checkout legado.
As empresas geralmente têm dificuldades para selecionar e implementar projetos de Big Data que produzem resultados significativos.
Aprender com o sucesso e as falhas de outras empresas ajudam a identificar as armadilhas e extrair mais valor de suas iniciativas de Big Data. Um novo estudo da 451 Research faz um mergulho em seis organizações e seus esforços de adoção de Big Data utilizando Cloud Computing.
Neste Webinar nós vamos compartilhar pontos-chave descobertos neste estudo e verificar como empresas de vários segmentos usam Cloud para obter valores mensuráveis com Big Data. Você vai conhecer os desafios encontrados, as ferramentas que utilizaram para endereçar estes desafios, e os benefícios de usar AWS Cloud para desenvolver e entregar soluções de Big Data.
ERES 2018 - Microserviços: Desafios para Lidar com a QualidadeAndré Abe Vicente
Muitas empresas tem adotado uma arquitetura de microserviços em seus projetos, devido a capacidade de fazermos o deploy de cada serviço de forma independente, escalar e manter cada microserviço, além de paralelizar o desenvolvimento entre múltiplos times. Nesse contexto, pretende-se mostrar desafios que temos encontrado na área de qualidade e quais técnicas de desenvolvimento e testes podem ser utilizados.
Obs.: Evolução da apresentação feita originalmente no TDC 2018 (Trilha Testes)
BSidesDC - **** it, Do It Live (PowerShell Digital Forensics)Jared Atkinson
Slides for Jared Atkinson's talk at BSidesDC titled "**** it, Do It Live (PowerShell Digital Forensics)". The presentation was given on 17 October 2015
Demonetization is not a new phenomenon. It was tried by many countries before the recently done in India on Nov 2016. Although it wasn't successful in most of the countries, but economists believe it resets the black economy. Read more on Groww.in
Tdc Future 2021 - simples soluções grandes resultados - Márcio Rogério NizzolaDextra Sistemas / Etec Itu
Dicas práticas de abordagem adotada em case de migração de legado e como melhorar aplicações legadas deixando sistemas mais estáveis para suportar o tempo de desenvolvimento de novas aplicações
ASP.Net Performance – A pragmatic approach - Luis PaulinoComunidade NetPonto
Nesta sessão abordamos a performance de Sistemas de Informação desenvolvidos na plataforma ASP.NET com recurso a SQL Server com SGBD. Iremos explicar como surgem os problemas de performance em sistemas com alguns anos de existência e qual a abordagem a tomar, quando temos utilizadores insatisfeitos.
Abordaremos também alguns casos de sucesso no mercado a nível de sistemas de alta disponibilidade e como o mercado tem evoluído. De uma forma geral, pretendemos demonstrar técnicas de análise/tuning de performance em ASP.NET e sua evolução ao longo das várias versões, como também algumas técnicas de requisitos para obtenção e estruturação da informação.
Finalmente, o objetivo passa por divulgar procedimentos, técnicas e ferramentas que sirvam como uma referência que possam ser úteis caso surjam problemas de performance nos nossos sistemas de futuro, entre os quais : Do’s & Dont’s, Systematic Tuning, ASP.NET Trace, VS Profiling Tools, SQL Profiler entre outros.
Monitorando APIs REST com o Application Insights - .Azure Weekend 2018 - Camp...Renato Groff
Apresentação sobre o uso do Application Insights (serviço que integra o Microsoft Azure) no monitoramento de APIs REST, utilizando também para isto o ASP.NET Core e o Azure App Service. Palestra realizada em 01/09/2018 durante o Azure Weekend 2018, evento promovido pelo grupo Campinas .NET na cidade de Campinas-SP.
Monitorando APIs REST com o Application Insights - .NET São Paulo - Junho-2018Renato Groff
Apresentação sobre o uso do Application Insights (serviço que integra o Microsoft Azure) no monitoramento de APIs REST. Palestra realizada em meetup promovido pelo grupo .NET São Paulo em 11/06/2018 na cidade de São Paulo-SP.
O Splunk é o mecanismo para os dados gerados por máquina
Sua infraestrutura de TI gera enormes quantidades de dados. Dados gerados por máquina - gerados por sites, aplicativos, servidores, redes, dispositivos móveis e afins. Ao monitorar e analisar tudo, de clickstreams e transações de clientes à atividade de rede para registrar chamadas, o Splunk transforma seus dados de máquina em percepções valiosas.
Solucione problemas e investigue incidentes de segurança em minutos (não horas ou dias). Monitore sua infraestrutura de ponta a ponta para evitar a degradação ou interrupções de serviço. E obtenha visibilidade em tempo real sobre a experiência, transações e comportamento dos clientes
Esta apresentação foi utilizada na QCon SP, 2016. O objetivo foi mostrar quais foram os desafios e dificuldades enfrentadas pelo time na migração do front-end para novas tecnologias, utilização de sistema de caching e manter integração com o checkout legado.
As empresas geralmente têm dificuldades para selecionar e implementar projetos de Big Data que produzem resultados significativos.
Aprender com o sucesso e as falhas de outras empresas ajudam a identificar as armadilhas e extrair mais valor de suas iniciativas de Big Data. Um novo estudo da 451 Research faz um mergulho em seis organizações e seus esforços de adoção de Big Data utilizando Cloud Computing.
Neste Webinar nós vamos compartilhar pontos-chave descobertos neste estudo e verificar como empresas de vários segmentos usam Cloud para obter valores mensuráveis com Big Data. Você vai conhecer os desafios encontrados, as ferramentas que utilizaram para endereçar estes desafios, e os benefícios de usar AWS Cloud para desenvolver e entregar soluções de Big Data.
ERES 2018 - Microserviços: Desafios para Lidar com a QualidadeAndré Abe Vicente
Muitas empresas tem adotado uma arquitetura de microserviços em seus projetos, devido a capacidade de fazermos o deploy de cada serviço de forma independente, escalar e manter cada microserviço, além de paralelizar o desenvolvimento entre múltiplos times. Nesse contexto, pretende-se mostrar desafios que temos encontrado na área de qualidade e quais técnicas de desenvolvimento e testes podem ser utilizados.
Obs.: Evolução da apresentação feita originalmente no TDC 2018 (Trilha Testes)
TDC2013 - Desenvolvimento de Software e Colaboração em tempos de FacebookPatricia Mantovani
Apresentação do TDC. Boa parte era composta de demonstração. Demostrações semelhantes podem ser vistas em http://youtu.be/LlQ-0-RJRoM e http://youtu.be/tJZvDPqocpw.
Como Implementar a Análise de Dados em Tempo RealDenodo
Watch full webinar here: https://bit.ly/31rnBD0
As técnicas de análise em tempo real prometem enriquecer a análise tradicional de dados. Isto é fundamental para muitos cenários, tais como gerenciamento dos processos de produção ou atendimento ao cliente. A virtualização de dados é bem conhecida por oferecer conectividade em tempo real a diversas fontes e recursos de federação - os dois ingredientes básicos para análises de dadis em tempo real. No entanto, construir uma estratégia em torno destes conceitos pode ser um desafio. O impacto de fontes de dados sensíveis, questões de segurança e desempenho são freqüentemente mencionados.
Participe deste webinar e descubra:
- Quais são os cenários onde o valor da análise de dados em tempo real pode fazer a diferença
- As principais capacidades que as tornam possíveis
- As melhores práticas para torná-las bem sucedidas
Python Brasil 2020 - Desmitificando pipeline de dados com Python: o que apren...Affinitas GmbH
Quais os problemas da engenharia de dados? Python é uma ferramenta que importa nessa jornada. Conceitos básicos serão apresentados para desmistificar erros mais comuns ao projetar pipelines usando Python, desde aquisição, ingestão, transformação, armazenamento e gerenciamento.
Evento realizado na Gonow Tecnologia no dia 09/12/2009.
Os itens abordados na apresentação foram funcionalidades desenvolvidas em plataformas open-source:
- Search Engine
- BI
- Asterisk: Pabx
2. Kamila Hinckel
Desenvolvedora na Neoway
Graduada em Sistemas
Eletrônicos (IF-SC)
5 anos de experiência na área de
desenvolvimento de software
Desenvolvedor na Neoway
Graduado em Sistemas de
Informação (UFSC)
6 anos de experiência na área
de desenvolvimento de software
Olá!
Matheus Vill
8. O que fazemos?
Serviços de tratamento e enriquecimento de dados
Exemplos:
Apresentação do TDC -> APRESENTACAO DO TDC
DILMA VANA ROUSSEFF -> 133.267.246-91
9. O que fazemos?
Integração e disponibilização de dados
Exemplo:
Informações das empresas da Receita Federal
+
Informações dos sócios das Juntas Comerciais
10. O que fazemos?
Geração de histórico das fontes capturadas
Exemplos:
Dia 1: Nome da empresa -> Neoway
Dia 2: Nome da empresa -> Neoway Business
11. O que fazemos?
Criação de modelos estatísticos para qualificação e
predição
Exemplos:
- Nível de atividade de uma empresa
- Faturamento Presumido
13. ➔ Custo elevado e dificuldades para escalar;
➔ Atraso na disponibilização dos dados para as aplicações;
➔ Dificuldades para simular o ambiente existente;
➔ Dificuldade de mapear os impactos de alterações.
Problemas
16. Go, Rabbit e Mongo
Go
- Simples e leve
- Concorrência/paralelismo
- É demais!!!! :)
Rabbit
- Servidor de mensageria
- Filas e tópicos
- Persistência de mensagens
Mongo
- NoSQL
- Orientado à documento
- Não possui schema definido
- JSON como protocolo
21. O que ganhamos?
Tempo: Disponibilização dos dados de forma
contínua e integrada entre todas as aplicações.
Escalabilidade: Necessidade de escalar
horizontalmente devido ao aumento do número de
fontes capturadas.
Infraestrutura imutável: Scripts automatizados,
evitando máquinas “flocos de neve”.
Qualidade: Arquitetura orientada à testes
automatizados.
Custo: Possibilidade de redução de custos de infra.
23. Testes Unitários
Vantagens:
- Executam em poucos segundos
- Segurança para implementar
novas features
- Teste de erros e exceções
Desvantagens:
- Alguns problemas com Mongo
e Rabbit não eram percebidos e
só foram descobertos nos
primeiros deploys
25. Testes end-to-end
Vantagens:
- Garante que todos os serviços
funcionem de forma integrada
- Ideia futura de integrar os bots
nesses testes também
Desvantagens:
- Mais lento
- Mais díficil de encontrar onde
está o problema
26. Testes de integração
Vantagens:
- Necessidade de ter uma meio
termo entre os testes unitários e
os testes end-to-end
- Permitiram testes integrados com
o Mongo e o Rabbit, porém com
cases específicos de cada serviço
Desvantagens:
- Setup desses testes são mais
complexos que os testes
unitários
- Mais difícil garantir o
isolamento dos testes
27. Testes de carga
Características:
- Possível verificar se novas
features não impactaram na
performace do stream de dados
- Verificar qual dos microserviços
pode estar dimuindo a velocidade
do fluxo de dados
Ferramentas:
- rabbit-mq-stress-tester:
https://github.com/backstop/rabbit-
mq-stress-tester
- boom:
https://github.com/rakyll/boom