O Amazon CloudSearch é um serviço gerenciado de buscas em larga escala. É a mesma funcionalidade disponível no site da amazon.com, disponível tambem para a sua empresa. Nesta apresentação avançada, exploramos o CloudSearch e a sua integração com diversas ferramentas, e arquiteturas de uso.
Nesta apresentação introdutória, mostramos passo a passo, como criar soluções de Big Data, utilizando os serviços disponíveis na nuvem AWS - EMR, Redshift, Kinesis - e exemplificamos com casos práticos.
"O Amazon DynamoDB é um serviço de banco de dados NoSQL, totalmente gerenciado, para aplicativos que precisam de latência consistente de um dígito de milissegundos em qualquer escala. Nesta sessão iremos explorar as capacidades e benefícios do DynamoDB em detalhes e iremos discutir como obter o máximo do seu banco de dados DynamoDB. Examinaremos as melhores práticas de design de schema com o DynamoDB em vários casos de uso, incluindo jogos, AdTech, IoT e outros.
Também exploraremos o design de índices eficientes, scanning e queries, e detalharemos as funcionalidades lançadas recentemente, incluindo o suporte a documentos JSON, Streams, Time-to-Live (TTL) e muito mais."
https://aws.amazon.com/pt/dynamodb/
Veja além de primeira página: Aprenda a otimizar e utilizar as melhores práticas do Amazon Redshift, banco de dados colunar e de processamento paralelo massivo, para aumentar a capacidade de entregar performance em queries com alto volume de dados em segundos ou milisegundos. Esta sessão explica como migrar ambientes de Data Warehouses existentes, criar schemas otimizados, fazer carga de maneira eficiente, utilizar o workload management, e otimizar suas queries, utilizando o Amazon Redshift com features avançadas.
https://aws.amazon.com/pt/redshift/
Fluxo dinâmicos usando spring aplicationJeison Barros
O documento descreve como usar o Spring Application para criar fluxos dinâmicos em Mulesoft de acordo com uma configuração variável. Ele propõe criar um fluxo modelo parametrizado e, em seguida, programáticamente criar contextos de aplicação individuais para cada configuração, em vez de adicionar fluxos duplicados em tempo de compilação. Um exemplo mostra como ler propriedades de configuração para criar múltiplos contextos de aplicação com fluxos personalizados para cada parceiro.
Enquanto muitas organizações já começaram a automatizar o seu processo de desenvolvimento de software, muitas ainda criam a sua infraestrutura manualmente. Tratando a sua infraestrutura como um pedaço de código permite a criação de uma infraestrutura de forma programável.
Tony\'s Top 10 Computer Forensics Artifactstonyrodrigues
O documento discute vestígios forenses em aplicações web deixados no banco de dados. São descritos logs e dados voláteis importantes para investigação como transaction logs, plan cache, sessões e conexões ativas. Logs de eventos e erros também podem conter pistas sobre incidentes.
Este documento apresenta uma solução de big data utilizando vários serviços da AWS, como Kinesis, EMR, Redshift e Quicksight. A solução coleta dados de várias fontes, os processa utilizando Spark no EMR, armazena os resultados no S3 e carrega no data warehouse Redshift para análises. O caso de uso apresentado é a análise de malha aérea para uma empresa de transporte aéreo.
O documento discute os serviços de banco de dados gerenciados da AWS, incluindo Amazon RDS para bancos de dados relacionais, DynamoDB para bancos de dados não relacionais e Amazon Redshift para data warehouses. Ele fornece detalhes sobre recursos, casos de uso, arquitetura e preços de cada serviço.
Nesta apresentação introdutória, mostramos passo a passo, como criar soluções de Big Data, utilizando os serviços disponíveis na nuvem AWS - EMR, Redshift, Kinesis - e exemplificamos com casos práticos.
"O Amazon DynamoDB é um serviço de banco de dados NoSQL, totalmente gerenciado, para aplicativos que precisam de latência consistente de um dígito de milissegundos em qualquer escala. Nesta sessão iremos explorar as capacidades e benefícios do DynamoDB em detalhes e iremos discutir como obter o máximo do seu banco de dados DynamoDB. Examinaremos as melhores práticas de design de schema com o DynamoDB em vários casos de uso, incluindo jogos, AdTech, IoT e outros.
Também exploraremos o design de índices eficientes, scanning e queries, e detalharemos as funcionalidades lançadas recentemente, incluindo o suporte a documentos JSON, Streams, Time-to-Live (TTL) e muito mais."
https://aws.amazon.com/pt/dynamodb/
Veja além de primeira página: Aprenda a otimizar e utilizar as melhores práticas do Amazon Redshift, banco de dados colunar e de processamento paralelo massivo, para aumentar a capacidade de entregar performance em queries com alto volume de dados em segundos ou milisegundos. Esta sessão explica como migrar ambientes de Data Warehouses existentes, criar schemas otimizados, fazer carga de maneira eficiente, utilizar o workload management, e otimizar suas queries, utilizando o Amazon Redshift com features avançadas.
https://aws.amazon.com/pt/redshift/
Fluxo dinâmicos usando spring aplicationJeison Barros
O documento descreve como usar o Spring Application para criar fluxos dinâmicos em Mulesoft de acordo com uma configuração variável. Ele propõe criar um fluxo modelo parametrizado e, em seguida, programáticamente criar contextos de aplicação individuais para cada configuração, em vez de adicionar fluxos duplicados em tempo de compilação. Um exemplo mostra como ler propriedades de configuração para criar múltiplos contextos de aplicação com fluxos personalizados para cada parceiro.
Enquanto muitas organizações já começaram a automatizar o seu processo de desenvolvimento de software, muitas ainda criam a sua infraestrutura manualmente. Tratando a sua infraestrutura como um pedaço de código permite a criação de uma infraestrutura de forma programável.
Tony\'s Top 10 Computer Forensics Artifactstonyrodrigues
O documento discute vestígios forenses em aplicações web deixados no banco de dados. São descritos logs e dados voláteis importantes para investigação como transaction logs, plan cache, sessões e conexões ativas. Logs de eventos e erros também podem conter pistas sobre incidentes.
Este documento apresenta uma solução de big data utilizando vários serviços da AWS, como Kinesis, EMR, Redshift e Quicksight. A solução coleta dados de várias fontes, os processa utilizando Spark no EMR, armazena os resultados no S3 e carrega no data warehouse Redshift para análises. O caso de uso apresentado é a análise de malha aérea para uma empresa de transporte aéreo.
O documento discute os serviços de banco de dados gerenciados da AWS, incluindo Amazon RDS para bancos de dados relacionais, DynamoDB para bancos de dados não relacionais e Amazon Redshift para data warehouses. Ele fornece detalhes sobre recursos, casos de uso, arquitetura e preços de cada serviço.
MVP Conf 2018 - Pesquisa e Indexação de Documento com Azure SearchRafael Cruz, MCT, MBA
Este documento apresenta uma palestra sobre pesquisa e indexação de documentos com Azure Search. A palestra inclui uma introdução ao Azure Search, cenários de uso, provisionamento, criação de índices, indexação, pesquisa, tuning e um exemplo prático. O palestrante também disponibiliza seus contatos para possíveis dúvidas.
Este documento apresenta uma introdução ao Elasticsearch, cobrindo sua visão, histórico, conceitos-chave, instalação, buscas, clientes, arquitetura e considerações sobre desempenho. É dado ênfase aos processos de indexação, busca, clientes Java e arquitetura distribuída do Elasticsearch.
O documento discute o uso da Amazon CloudFront para entrega de conteúdo, melhorando o desempenho, disponibilidade e cache. Apresenta como o CloudFront funciona, casos de uso e funcionalidades como streaming de vídeo, proteção de conteúdo e compressão. Fornece arquiteturas de referência para diferentes cenários e melhores práticas de segurança, monitoramento e configuração.
Work Cloud - Descobrindo o Microsoft AzureLucas Chies
Esta palestra foi apresentada no evento Work Cloud, onde abordei um overview sobre o que é nuvem e o que é o Microsoft Azure. Mostando cenários e principais features disponíveis.
Usando Amazon CloudFront para aumentar performance, disponibilidade e cache n...Amazon Web Services LATAM
O documento discute o uso da Amazon CloudFront para melhorar o desempenho, disponibilidade e cache de aplicações. A CloudFront funciona como uma rede de distribuição de conteúdo global que entrega conteúdo para usuários finais com menor latência em comparação a não usar uma CDN.
Tornando as coisas mais simples com Azure Functions e Node.JSMatheus Donizete
Palestra realizada no TDC (The Developers Conference) 2018, edição de Porto Alegre. Se trata de uma apresentação sobre Serverless e o funcionamento das Azure Functions, ecossistemas e funcionalidades, com exemplos de código e um pouco mais.
O documento discute a jornada da TV Globo para migrar seus serviços para a nuvem AWS durante a Copa do Mundo de 2014 no Brasil, incluindo o desenvolvimento de um aplicativo móvel para interagir com torcedores em tempo real. Detalha a arquitetura implementada na AWS, os serviços utilizados e as lições aprendidas sobre resiliência, desempenho e métricas.
Tudo definido por software! Esta é a realidade na nuvem da AWS. Desde um simples servidor, até múltiplos data centers interconectados em altíssima disponibilidade - tudo pode ser definido, descrito, testado e implementado por um script. O AWS Cloud Formation é a ferramenta que torna isto possível. Nesta apresentação avançada, exploramos o AWS Cloud Formation e mostramos passo-a-passo como utilizar e tornar-se mestre, nesta poderosíssima ferramenta.
2016/08/19 - Uma visão geral da AWS para desenvolvedoresJardel Weyrich
O documento fornece uma visão geral de ferramentas e serviços da AWS para desenvolvedores, incluindo CLI, SDK, Elastic Beanstalk, API Gateway, Lambda, SNS, SQS, CodeCommit, CodeDeploy e CodePipeline.
O documento discute Java e Cloud Computing, definindo Cloud Computing como o uso de recursos computacionais oferecidos como serviço através da internet. Ele descreve características-chave como provisionamento dinâmico de recursos sob demanda e escalabilidade, e discute serviços populares de Cloud Computing como SaaS, IaaS e PaaS.
[1] O documento discute os passos para uma jornada de migração para a nuvem, incluindo desenvolver um business case, estabelecer um modelo de pessoas, criar uma arquitetura de nuvem e estratégia de migração, e definir um modelo operacional. [2] É importante ter uma estratégia e plano detalhado, entender os componentes envolvidos e como otimizar os custos, e determinar o melhor caminho de migração. [3] Recursos como parceiros, ferramentas e serviços da AWS podem a
O documento apresenta uma introdução ao framework JavaScript Backbone.js, discutindo seu propósito de separar as responsabilidades entre modelo, vista e roteador, e como ele pode ser usado para estruturar projetos com maior responsividade. Também aborda tópicos como estruturação de projetos com Backbone, uso de views, modelos, coleções e roteadores, além de testabilidade do framework.
TDC2016POA | Trilha Banco de Dados - Firebase e Realm, o NoSQL ganha força no...tdc-globalcode
Este documento discute duas opções para armazenamento de dados em aplicativos móveis: Realm e Firebase. Realm é um banco de dados orientado a objetos que promete ser mais rápido que o SQLite ou qualquer outro ORM. Firebase fornece uma variedade de ferramentas para desenvolvimento de aplicativos móveis, incluindo um banco de dados NoSQL hospedado na nuvem. O documento explica como configurar e usar ambas as opções para armazenar e recuperar dados em aplicativos Android.
Escalabilidade para sua solução na Nuvem da AWS de um para centenas de milhõe...Amazon Web Services LATAM
O documento discute estratégias para escalabilidade na nuvem AWS, começando com uma única instância EC2 e evoluindo para arquiteturas capazes de suportar milhões de usuários. É recomendado usar redundância, balanceamento de carga, auto-escalonamento, arquitetura orientada a serviços e serviços gerenciados como S3, DynamoDB e ElastiCache. Ferramentas de automação e monitoramento também são importantes para gerenciar a infraestrutura em larga escala.
O documento discute a possibilidade de usar bancos de dados na nuvem da Microsoft Azure. Ele descreve os serviços de banco de dados relacional SQL Database como uma opção gerenciada que oferece escalabilidade, continuidade e funcionalidades para desenvolvedores sem a necessidade de um DBA. Ele também discute os níveis de serviço disponíveis e suas características de desempenho e preços.
O documento fornece uma visão geral dos conceitos fundamentais do Azure, incluindo: 1) o que é nuvem e seus modelos, 2) os principais serviços do Azure como computação, redes, gerenciamento de acesso e armazenamento de dados, e 3) os tipos de assinatura do Azure.
Os clientes que usam a AWS se beneficiam de mais de 1.800 controles de segurança e conformidade incorporados na plataforma da AWS. Nesta sessão, você aprenderá a tirar proveito dos recursos de segurança avançados da plataforma AWS para obter visibilidade, agilidade e controle necessários para ser mais seguro na nuvem do que em ambientes legados. Vamos dar uma olhada em várias arquiteturas de referência para cargas de trabalho comuns e destacar as maneiras inovadoras que os clientes estão usando a AWS para gerenciar a segurança de forma mais eficiente. Depois de participar desta sessão, você estará familiarizado com o modelo de responsabilidade de segurança compartilhado e como você pode herdar controles dos programas de certificação e acreditação mantidos pela AWS.
https://aws.amazon.com/pt/getting-started/
Arquitetura Serverless para Machine LearningFelipe Santos
Nesta apresentação, trazemos uma jornada de análise de arquiteturas serverless para se utilizar com machine learning. Analisamos vários pontos, mostrando os prós e contras de cada solução.
1. COLETAR dados de acesso do servidor web usando Amazon Kinesis.
2. PROCESSAR os dados com Apache Spark no Amazon EMR, armazenando resultados no Amazon S3.
3. ANALISAR os dados no data warehouse Amazon Redshift usando consultas SQL.
O documento discute opções para Disaster Recovery na nuvem AWS, incluindo Backup e Restore, Pilot Light, Warm Standby e Multi-Site. A AWS oferece várias soluções para atender a diferentes requisitos de RTO e RPO a um custo variável. A nuvem permite testes fáceis e dimensionamento flexível dos recursos de recuperação de desastres.
MVP Conf 2018 - Pesquisa e Indexação de Documento com Azure SearchRafael Cruz, MCT, MBA
Este documento apresenta uma palestra sobre pesquisa e indexação de documentos com Azure Search. A palestra inclui uma introdução ao Azure Search, cenários de uso, provisionamento, criação de índices, indexação, pesquisa, tuning e um exemplo prático. O palestrante também disponibiliza seus contatos para possíveis dúvidas.
Este documento apresenta uma introdução ao Elasticsearch, cobrindo sua visão, histórico, conceitos-chave, instalação, buscas, clientes, arquitetura e considerações sobre desempenho. É dado ênfase aos processos de indexação, busca, clientes Java e arquitetura distribuída do Elasticsearch.
O documento discute o uso da Amazon CloudFront para entrega de conteúdo, melhorando o desempenho, disponibilidade e cache. Apresenta como o CloudFront funciona, casos de uso e funcionalidades como streaming de vídeo, proteção de conteúdo e compressão. Fornece arquiteturas de referência para diferentes cenários e melhores práticas de segurança, monitoramento e configuração.
Work Cloud - Descobrindo o Microsoft AzureLucas Chies
Esta palestra foi apresentada no evento Work Cloud, onde abordei um overview sobre o que é nuvem e o que é o Microsoft Azure. Mostando cenários e principais features disponíveis.
Usando Amazon CloudFront para aumentar performance, disponibilidade e cache n...Amazon Web Services LATAM
O documento discute o uso da Amazon CloudFront para melhorar o desempenho, disponibilidade e cache de aplicações. A CloudFront funciona como uma rede de distribuição de conteúdo global que entrega conteúdo para usuários finais com menor latência em comparação a não usar uma CDN.
Tornando as coisas mais simples com Azure Functions e Node.JSMatheus Donizete
Palestra realizada no TDC (The Developers Conference) 2018, edição de Porto Alegre. Se trata de uma apresentação sobre Serverless e o funcionamento das Azure Functions, ecossistemas e funcionalidades, com exemplos de código e um pouco mais.
O documento discute a jornada da TV Globo para migrar seus serviços para a nuvem AWS durante a Copa do Mundo de 2014 no Brasil, incluindo o desenvolvimento de um aplicativo móvel para interagir com torcedores em tempo real. Detalha a arquitetura implementada na AWS, os serviços utilizados e as lições aprendidas sobre resiliência, desempenho e métricas.
Tudo definido por software! Esta é a realidade na nuvem da AWS. Desde um simples servidor, até múltiplos data centers interconectados em altíssima disponibilidade - tudo pode ser definido, descrito, testado e implementado por um script. O AWS Cloud Formation é a ferramenta que torna isto possível. Nesta apresentação avançada, exploramos o AWS Cloud Formation e mostramos passo-a-passo como utilizar e tornar-se mestre, nesta poderosíssima ferramenta.
2016/08/19 - Uma visão geral da AWS para desenvolvedoresJardel Weyrich
O documento fornece uma visão geral de ferramentas e serviços da AWS para desenvolvedores, incluindo CLI, SDK, Elastic Beanstalk, API Gateway, Lambda, SNS, SQS, CodeCommit, CodeDeploy e CodePipeline.
O documento discute Java e Cloud Computing, definindo Cloud Computing como o uso de recursos computacionais oferecidos como serviço através da internet. Ele descreve características-chave como provisionamento dinâmico de recursos sob demanda e escalabilidade, e discute serviços populares de Cloud Computing como SaaS, IaaS e PaaS.
[1] O documento discute os passos para uma jornada de migração para a nuvem, incluindo desenvolver um business case, estabelecer um modelo de pessoas, criar uma arquitetura de nuvem e estratégia de migração, e definir um modelo operacional. [2] É importante ter uma estratégia e plano detalhado, entender os componentes envolvidos e como otimizar os custos, e determinar o melhor caminho de migração. [3] Recursos como parceiros, ferramentas e serviços da AWS podem a
O documento apresenta uma introdução ao framework JavaScript Backbone.js, discutindo seu propósito de separar as responsabilidades entre modelo, vista e roteador, e como ele pode ser usado para estruturar projetos com maior responsividade. Também aborda tópicos como estruturação de projetos com Backbone, uso de views, modelos, coleções e roteadores, além de testabilidade do framework.
TDC2016POA | Trilha Banco de Dados - Firebase e Realm, o NoSQL ganha força no...tdc-globalcode
Este documento discute duas opções para armazenamento de dados em aplicativos móveis: Realm e Firebase. Realm é um banco de dados orientado a objetos que promete ser mais rápido que o SQLite ou qualquer outro ORM. Firebase fornece uma variedade de ferramentas para desenvolvimento de aplicativos móveis, incluindo um banco de dados NoSQL hospedado na nuvem. O documento explica como configurar e usar ambas as opções para armazenar e recuperar dados em aplicativos Android.
Escalabilidade para sua solução na Nuvem da AWS de um para centenas de milhõe...Amazon Web Services LATAM
O documento discute estratégias para escalabilidade na nuvem AWS, começando com uma única instância EC2 e evoluindo para arquiteturas capazes de suportar milhões de usuários. É recomendado usar redundância, balanceamento de carga, auto-escalonamento, arquitetura orientada a serviços e serviços gerenciados como S3, DynamoDB e ElastiCache. Ferramentas de automação e monitoramento também são importantes para gerenciar a infraestrutura em larga escala.
O documento discute a possibilidade de usar bancos de dados na nuvem da Microsoft Azure. Ele descreve os serviços de banco de dados relacional SQL Database como uma opção gerenciada que oferece escalabilidade, continuidade e funcionalidades para desenvolvedores sem a necessidade de um DBA. Ele também discute os níveis de serviço disponíveis e suas características de desempenho e preços.
O documento fornece uma visão geral dos conceitos fundamentais do Azure, incluindo: 1) o que é nuvem e seus modelos, 2) os principais serviços do Azure como computação, redes, gerenciamento de acesso e armazenamento de dados, e 3) os tipos de assinatura do Azure.
Os clientes que usam a AWS se beneficiam de mais de 1.800 controles de segurança e conformidade incorporados na plataforma da AWS. Nesta sessão, você aprenderá a tirar proveito dos recursos de segurança avançados da plataforma AWS para obter visibilidade, agilidade e controle necessários para ser mais seguro na nuvem do que em ambientes legados. Vamos dar uma olhada em várias arquiteturas de referência para cargas de trabalho comuns e destacar as maneiras inovadoras que os clientes estão usando a AWS para gerenciar a segurança de forma mais eficiente. Depois de participar desta sessão, você estará familiarizado com o modelo de responsabilidade de segurança compartilhado e como você pode herdar controles dos programas de certificação e acreditação mantidos pela AWS.
https://aws.amazon.com/pt/getting-started/
Arquitetura Serverless para Machine LearningFelipe Santos
Nesta apresentação, trazemos uma jornada de análise de arquiteturas serverless para se utilizar com machine learning. Analisamos vários pontos, mostrando os prós e contras de cada solução.
1. COLETAR dados de acesso do servidor web usando Amazon Kinesis.
2. PROCESSAR os dados com Apache Spark no Amazon EMR, armazenando resultados no Amazon S3.
3. ANALISAR os dados no data warehouse Amazon Redshift usando consultas SQL.
O documento discute opções para Disaster Recovery na nuvem AWS, incluindo Backup e Restore, Pilot Light, Warm Standby e Multi-Site. A AWS oferece várias soluções para atender a diferentes requisitos de RTO e RPO a um custo variável. A nuvem permite testes fáceis e dimensionamento flexível dos recursos de recuperação de desastres.
O documento discute opções para Disaster Recovery na nuvem AWS, incluindo Backup e Restore, Pilot Light, Warm Standby e Multi-Site. A AWS oferece várias soluções para atender a diferentes requisitos de RTO e RPO a um custo variável. A nuvem permite testes fáceis e dimensionamento flexível dos recursos de recuperação de desastres.
O documento descreve várias soluções de segurança da nuvem da AWS, incluindo ferramentas para gestão de acessos e identidade, detecção, segurança de infraestrutura, resposta a incidentes e proteção de dados. A AWS oferece 203 certificações de segurança e mais de 2.600 controles auditados anualmente para ajudar clientes a manterem a conformidade e segurança na nuvem.
En este webinar, aprenderá cómo las empresas pueden aprovechar la nube de AWS para automatizar los pipelines de desarrollo de software. Este enfoque permite que su equipo sea más ágil, mejorando su capacidad para entregar aplicaciones y servicios rápidamente.
Neste webinar, você aprenderá como as empresas podem se valer da nuvem da AWS para automatizar os pipelines de desenvolvimento de software. Essa abordagem permite que sua equipe seja mais ágil, melhorando sua capacidade para entregar aplicações e serviços mais rapidamente.
Las tecnologías como los contenedores y kubernetes pueden hacer que sus procesos de entrega de software sean más fáciles y más rápidos. En este webinar, hablaremos sobre cómo usar el Amazon Kubernetes Service (EKS) para construir aplicaciones modernas con grupos Kubernetes totalmente administrados.
Tecnologias como containers e Kubernetes podem tornar seus processos de entrega de software mais fáceis e rápidos. Neste webinar, falaremos sobre como usar o Amazon Elastic Kubernetes Service (EKS) para criar aplicativos modernos com clusters de Kubernetes totalmente gerenciados.
Ransomware é uma das ameaças de crescimento mais rápido para qualquer organização. Nenhuma empresa, grande ou pequena, está imune a ataques de cibercriminosos. Nesta sessão, mostramos como você pode aproveitar os serviços e recursos da nuvem AWS para proteger seus dados mais valiosos de ataques cibernéticos e acelerar a restauração de operações.
El ransomware es una de las amenazas de más rápido crecimiento para cualquier organización. Ninguna empresa, grande o pequeña, es inmune a los ataques de los ciberdelincuentes. En esta sesión, mostramos cómo puede aprovechar los servicios y las capacidades de la nube AWS para proteger sus datos más valiosos de los ataques cibernéticos y acelerar la restauración de las operaciones.
Ransomware é uma prática maliciosa que tem se popularizado nos últimos anos. Nessa sessão, mostraremos como através da Amazon Web Services nossos clientes podem desenvolver uma estratégia pró-ativa de mitigação a ataques de ransomware, tanto em cenários on-premises como operando na nuvem.
El ransomware es una práctica maliciosa que se ha popularizado en los últimos años. En esta sesión les mostraremos cómo desde Amazon Web Services nuestros clientes pueden desarrollar una estrategia proactiva de mitigación frente a ataques de ransomware, tanto en escenarios on-premises, como operando en la nube.
Al mover datos a la nube, los clientes deben comprender los métodos óptimos para los diferentes casos de uso, los tipos de datos que están moviendo y los recursos disponibles en la red, entre otros. Las soluciones de migración y transferencia de AWS contemplan desde la migración de datos con conectividad limitada, almacenamiento en la nube híbrida, transferencias frecuentes de archivos B2B, hasta transferencias de datos en línea y sin conexión. En esta sesión, le mostramos cómo puede acelerar la migración y transferencia de datos de manera simplificada desde y hacia la nube de AWS.
O documento discute estratégias para migração de dados para a AWS, incluindo serviços como AWS Transfer Family para transferência de arquivos, AWS DataSync para mover dados entre ambientes on-premises e AWS, e AWS Snow Family para transferência offline de grandes quantidades de dados.
El almacenamiento de archivos tiene diversos casos de uso; como directorios de usuarios, datos de aplicaciones, archivos multimedia y almacenamiento compartido para cargas de trabajo de alto rendimiento. La administración del almacenamiento de archivos en instalaciones propias suele ser un trabajo pesado, indiferenciado, con altos costos de adquisición, carga operativa para configurar y administra, lo que conlleva a desafíos de escalabilidad. En esta sesión, le mostramos cómo puede aprovechar las soluciones de archivos totalmente administradas de AWS para dejar de preocuparse por la sobrecarga administrativa de configurar, proteger, mantener y realizar copias de seguridad de su infraestructura de archivos.
La visualización de datos analíticos es un reto al que se enfrentan muchas organizaciones, el poder crear tableros, alertas, agregar predicciones a sus datos y actuar de acuerdo a estas de manera rápida es una necesidad de todos los negocios actuales. Únase a nuestros arquitectos para aprender como Amazon QuickSight le permite agregar inteligencia de negocios a sus aplicaciones y crear predicciones a futuro de sus datos. Amazon QuickSight es un servicio de inteligencia de negocios escalable y serverless creado para la nube, a través del cual podrá explotar sus datos de negocio para convertirlos en insights para hacer decisiones informadas sobre su negocio sin preocuparse de la gestión, escalamiento y la disponibilidad de la infraestructura de cómputo.
A visualização de dados é um desafio que muitas organizações enfrentam hoje. Criar dashboards, alertas, fazer previsões e agir rapidamente de acordo com os insights dos dados é uma necessidade de todas as empresas. Junte-se aos nossos arquitetos para aprender como o Amazon QuickSight o ajudará a adicionar BI aos seus aplicativos. O Amazon Quicksight é um serviço de BI escalável e serverless criado para a nuvem. Com ele, você pode explorar seus dados para obter insights e tomar decisões embasadas em seus negócios, sem se preocupar em gerenciar e dimensionar servidores e manter a disponibilidade de sua infraestrutura.
1) O documento discute os benefícios de migrar workloads de Big Data para a AWS, incluindo tornar mais fácil construir data lakes e analytics, oferecer maior abrangência de serviços e fornecer infraestrutura mais segura e escalável.
2) É apresentada a plataforma Amazon EMR para executar aplicativos de Big Data de forma gerenciada na AWS, proporcionando melhor desempenho a menor custo em comparação a clusters on-premises.
3) A separação de computação e armazenamento no Amazon EMR permite
2. Amazon CloudSearch Avançado
Fábio Aragão da Silva, Solutions Architect at AWS
David Lojudice Sb, Chief Technology Officer at SCUP
28 de Maio de 2015
6. Busca no Amazon CloudSearch
• Disponibilizado a partir do motor A9
• Clientes pediram mais funcionalidades
• Primeiro passo: Apache Solr como novo motor
de busca
• A missão: gerenciar os detalhes operacionais
8. API 2013 do CloudSearch
• Mais funcionalidades e desenvolvimento
contínuo
• Custo mais baixo
• Suporte a muitas funcionalidades do Solr
– Mais tipos de dados: float, date, geo, signed integer
– Múltiplas línguas
– Funcionalidades de UI: Highlighting, sugestões
– Funcionalidades do Solr: boosting, fuzzy, sloppy phrases
– Funcionalidades Operacionais: IAM, CLI, escalabilidade
11. Criando e Configurando um Domínio
aws cloudsearch create-domain
--domain-name twitter-sm
aws cloudsearch define-index-field
--domain-name twitter-sm
--name text
--type text
aws cloudsearch define-index-field
--domain-name twitter-sm
--name hashtags
--type literal-array
aws cloudsearch define-index-field
--domain-name twitter-sm
--name timestamp_ms --type int
etc...
12. Convertendo Dados
def _convert_tweet(r):
clean_r = _clean_record(r) # remove bad Unicode
doc = sdf.SDFDoc()
doc.docid = clean_r['id'] # Identify the document's ID
# Process document sub-parts
if clean_r.has_key('entities'):
_parse_and_add_entities(clean_r, doc)
if clean_r.has_key('user'):
_parse_and_add_user_data(clean_r, doc)
# Remove unwanted portions of the source data
if clean_r.has_key('retweeted_status'):
clean_r.pop('retweeted_status', None)
if clean_r.has_key('sizes'):
clean_r.pop('sizes', None)
doc.add_fields(**clean_r)
return doc
14. Criando Batches
for filename in dirwalk(sourcedir): # Or streaming, or DB, or...
with open(filename, 'r') as f:
for l in f:
batch.add_doc(_convert_tweet(l))
if batch.size > sdf_size:
flush_batch(batch)
15. Usando a AWS CLI para fazer upload
aws cloudsearchdomain upload-documents
--documents <filename>
--endpoint 'http://<doc endpoint>'
--content-type 'application/json'
{
"status": "success",
"adds": 5684,
"deletes": 0
}
17. Boas práticas de segurança
• Controle de forma cuidadosa o acesso ao
serviço de documento (indexação)
• Os serviços de busca e sugestão necessitam de
acesso mais amplo
• Utilize políticas de acesso diferentes para
diferentes classes de usuários administrativos
22. Dica #4
Aumente o tipo de instância
quando precisar indexar uma
carga grande de documentos
23. Escalando o CloudSearch
• Escale pra cima para suportar a
carga/indexação inicial
• Volte ao tamanho adequado para o tráfego
normal
• Faça pré-aquecimento para aumentos previstos
de tráfego
24. Escalando por volume de dados
Small
Large
XLarge
2XLarge
2XLarge
(P1)
2XLarge
(P2)
Aumento no volume de dados
25. E quão grande?
Tipo de Instância
Dados do Twitter
(apenas a busca)
Dados do Common-crawl
(apenas a busca)
search.m1.small
6.7 GB, 4.7 milhões de
documentos
4 GB, 625 mil
documentos
search.m1.large
26.8 GB, 18.8 milhões
de documentos
16 GB, 2.5 milhões de
documentos
search.m2.xlarge
53.6 GB, 37.6 milhões
de documentos
34 GB, 5 milhões de
documentos
search.m2.2xlarge*
107.2 GB, 75.2 milhões
de documentos
64 GB, 10 milhões de
documentos
30. Processo de carga de dados
aws cloudsearch update-scaling-parameters
--domain-name foo
--scaling-parameters DesiredInstanceType=search.m2.2xlarge,
DesiredPartitionCount=3
aws cloudsearch index-documents
--domain-name foo
E após carregar os dados...
aws cloudsearch update-scaling-parameters
--domain-name foo
--scaling-parameters DesiredInstanceType=search.m1.small,
DesiredPartitionCount=1
32. Escalando a partir de consultas
search
request
volume and
complexity
SEARCH INSTANCE
Index Partition 1
Replica 1
SEARCH INSTANCE
Index Partition 2
Replica 1
SEARCH INSTANCE
Index Partition n
Replica 1
SEARCH INSTANCE
Index Partition 1
Replica 2
SEARCH INSTANCE
Index Partition 2
Replica 2
SEARCH INSTANCE
Index Partition n
Replica 2
SEARCH INSTANCE
Index Partition 1
Replica n
SEARCH INSTANCE
Index Partition 2
Replica n
SEARCH INSTANCE
Index Partition n
Replica n
33. Escalando a partir de consultas
Tipo de Instância Threads JMeter
Throughput
do Twitter
Throughput
da Common Crawl
search.m1.small 20
2 hosts
10 threads
25.1 qps
397 ms
48.3 qps
206 ms
search.m1.large 20
4 hosts
20 threads
108.5 qps
183 ms
291.5 qps
68 ms
search.m2.xlarge 20
8 hosts
40 threads
419.6 qps
94 ms
665.9 qps
59 ms
search.m2.2xlarge 20
16 hosts
80 threads
566.4 qps
140 ms
985.3 qps
80 ms
41. Filtro versus Consulta
• Filtros não contribuem
para o ranqueamento
• Filtros podem ser
mais rápidos
• Filtros suportam
linguagem estruturada
de consulta Times include HTTP transport
0
50
100
150
200
250
q= fq= fq= (10 Queries)
TotalQueryLatency,Milliseconds
Query Condi on
p50
Average
p90
43. Boosting
baseball
(or 'baseball' (term
field='hashtags' boost=4
'sfgiants'))
• Great Day of Baseball here
at the Junior Fall Classic
• Good Morning! Fall
#Baseball.
#HuntingtonPark
• Beautiful Saturday morning
for baseball in Norfolk.
• A day off. Pretty nice to
have one sometimes. No
teaching, no #baseball
• One word to describe 9th
inning....baseball. #SFGiants
• I'm on a #SFGiants high.
Listening to analysis...
• @RealTimers @thejoelstein
Unless it's #SFGiants...
• Apropos of nothing:
#SFGiants are in the Big
Show again...
56. Melhores Práticas
• Escolha a abordagem de domínio único quando
o número de vizinhos for grande
• Escolha a abordagem de múltiplos domínios
quando existe grande variação de escala ou
configuração entre os vizinhos
• Escolha uma abordagem híbrida (quando fizer
sentido) para minimizar o custo e maximizar a
performance
58. Monitoramento do Comportamento de
Usuário
Servidores
de Aplicação
Amazon
Redshift
Informaçòes de Sessão
Consultas/Resultados
Cliques
Compras
Amazon
CooudSearch
Amazon
EMR
Banco da
Aplicação
Processamento
59. O Que é Possível Fazer com Comportamento
de Usuário?
• Boosting de documentos
• Enriquecimento de documentos
• Criação de sinônimos
• Etc…
60.
61. • Multinacional Brasileira
• 5 anos, Pioneira e Líder de Mercado
• Certificada pelo Facebook e pelo Twitter
• Parceira do Google+, Facebook e Twitter
• Presente em 40 das 100 Maiores
Empresas do Brasil*
“Queremos focar
nas
funcionalidades
desejadas pelos
clientes”
David Lojudice, CTO do
Scup
Fonte: Revista Exame
62. • “Near real-time search”: busca
em documentos recém-
indexados
• Mínimo esforço do time de
DevOps.
• Volume crescente de buscas
• Volume crescente de indexação
O Desafio
63. • Solução Inicial (primeiro ano da empresa)
• Problemas:
– Performance
– Não permitia filtros complexos
– Não escala
1a. Geração – MySQL Full Text
Search
Amazon EC2
Crawlers
64. • Entendemos que precisávamos de um search engine (segundo ano
da empresa)
• Problemas:
– Não escala
– Instabilidade (índice corrompia)
– Demandava tempo significativo da equipe de DevOps
2a. Geração - Sphinx
Amazon EC2
Crawlers
65. • “Near real-time search”
• Escala (volume, buscas e indexação)
• Baixa demanda do time de DevOps.
3a. Geração - CloudSeach
Amazon RDS
MySQL
Amazon EC2
Crawlers
Amazon
CloudSearch
66. • 300 milhões de documentos
• 400 mil queries / dia
• 300 mil indexações / dia
• 17 instâncias search.m2.2xlarge
CloudSearch no Scup
67. • Migre para a API 2013
• Mais barato, melhor integração – AWS SDK, AWS CLI
• Use o máximo que puder de batches para obter a
melhor performance durante indexações
• Escale manualmente quando for carregar dados de
forma massiva e em picos de consulta
• Features do Solr possibilitam queries mais avançadas
• Crie domínios “multi-tenant”, use filtros, diferentes
idiomas, etc.
Resumo