O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

Sistema de Bases de Datos AWS

430 visualizações

Publicada em

Sistema de Bases de Datos AWS - https://aws.amazon.com/es/products/databases/
Más informacion: http://aws.amazon.com/es/colombia/

Publicada em: Tecnologia
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sistema de Bases de Datos AWS

  1. 1. Raúl Frías, Solution Architect Manager Mayo, 2017 Sistema de Bases de Datos AWS
  2. 2. ¿Qué esperar de esta sesión? • Aprender la estrategia y visión general de nuestros servicios de datos • Conocer nuestra arquitectura y los clientes clave por servicio • Entender cuándo utilizar qué servicios para sus aplicaciones
  3. 3. Estrategia • Comenzar desde el cliente y retroceder. • Ofrecer servicios administrados. • Aprovechar la arquitectura de la nube. • Soportar la migración de aplicaciones y datos de/hacia sus centros de datos locales • Múltiples servicios, cada uno optimizado para diferentes casos de uso.
  4. 4. Portafolio de Productos Traditional Apps Relational Databases NoSQL & In-MemoryBig Data RDS Aurora Database Migration Service Bases de Datos Relacionales DynamoDB ElastiCache NoSQL y En Memoria Amazon Redshift EMR Data Pipeline Athena Big Data QuickSight Elasticsearch Amazon ML Analítica
  5. 5. Uso de servicios de Base de Datos • Amazon Aurora es el servicio de más rápido crecimiento en la historia de AWS • Se han migrado más de 20,000 bases de datos utilizando AWS Database Migration Service • En el “Prime Day” DynamoDB sirvió a más de 56,000 millones de solicitudes adicionales en todo el mundo en comparación con el mismo día de la semana anterior.
  6. 6. Clientes de Bases de Datos en AWS
  7. 7. Bases de Datos Relacionales Amazon RDS Amazon Aurora Database Migration Service
  8. 8. • Soporte de varios motores: Aurora, MySQL, MariaDB, PostgreSQL, Oracle, SQL Server • Aprovisionamiento automatizado, corrección, escalabilidad, respaldo/restauración, recuperación en caso de fallo • Uso con almacenamiento GP2 o con IOPS aprovisionados • Alta disponibilidad con RDS Multi-AZ – SLA de 99,95% para implementaciones de Multi-AZ Amazon RDS Amazon Aurora
  9. 9. Punto clave: las bases de datos relacionales son complejas • Nuestra experiencia con Amazon.com nos enseñó que las bases de datos relacionales pueden ser complicadas de gestionar y operar con alta disponibilidad • ¡Las bases de datos relacionales mal administradas son una de las causas principal de caídas en sistemas y por tanto de pérdida de sueño en el mundo de la tecnología!
  10. 10. • Menor TCO porque tenemos mejor control • Obtenga más apalancamiento de sus equipos de trabajo • Concéntrese en las cosas que lo diferencian • Alta disponibilidad y replicación en múltiples centros de datos incorporada. • Disponible en todos los motores, incluidas las ediciones básicas/estándar, no sólo para las ediciones empresariales • Cualquiera puede aprovechar múltiples centros de datos para diseñar aplicaciones con alta disponibilidad Hemos hecho las cosas más baratas, más fáciles y mejores
  11. 11. Solución de tolerancia a fallos de nivel empresarial para Bases de Datos en producción Recuperación de fallo automático Replicación síncrona Económico y habilitado con un solo clic Multi-AZ: Alta Disponibilidad
  12. 12. Clientes de Amazon RDS
  13. 13. • Airbnb migró su base de datos principal de MySQL a Amazon RDS con sólo 15 minutos de tiempo de ventana de cambio • RDS simplifica la mayor parte de las tareas administrativas relacionadas con las bases de datos para que los ingenieros puedan dedicar más tiempo a otras funciones • Utiliza la replicación maestro-esclavo asíncrona para mejorar el rendimiento del sitio web lanzado a través de la consola RDS o una llamada de API • Aprovecha la Multi-AZ para la alta disponibilidad Airbnb – Amazon RDS para MySQL
  14. 14. Reinventando las Bases de Datos Relacionales
  15. 15. Preguntas claves • ¿Qué pasaría si partiéramos de cero con la única limitación de que la base de datos fuera una base de datos relacional? • ¿Un rendimiento mucho mejor aprovechando la escala masiva de nuestra nube? • ¿Durabilidad diseñada indistinguible del 100% y disponibilidad del 99.99%? • ... ¿Mejores y más baratos que las bases de datos comerciales de 30 años de antigüedad en uso hoy en día?
  16. 16. Sí podemos. Respuesta: Amazon Aurora • Un nuevo motor de base de datos relacional, construido desde cero para aprovechar AWS • Para todas las nuevas aplicaciones que requieren lenguaje SQL, recomendamos Amazon Aurora • Rendimiento de calidad comercial y disponibilidad a precios de código abierto • Conserva la compatibilidad con MySQL 5.6
  17. 17. Amazon RDS para Aurora • Compatible con MySQL con hasta 5 veces mejor rendimiento en el mismo hardware: 100,000 escrituras/seg. y 500,000 lecturas/seg. • Escalable hasta 64 TB en una sola base de datos, hasta 15 réplicas de lectura • Capa de almacenamiento SSD de alta disponibilidad, duradera y tolerante a fallos: replicada 6 veces en 3 zonas de disponibilidad • Cifrado transparente para datos en reposo utilizando AWS KMS • Procedimientos almacenados en Amazon Aurora pueden invocar funciones AWS Lambda
  18. 18. Servicio con el crecimiento más rápido en la historia de AWS Clientes de Amazon Aurora
  19. 19. Amazon Aurora ahora compatible con PostgreSQL • Compatibilidad con PostgreSQL 9.6 con soporte para PostGIS • Todas las características que espera de Amazon Aurora incluyendo 15 réplicas de lectura con <10ms de retraso, almacenamiento compartido, recuperación en caso de errores sin pérdida de datos, 6 veces replicada en 3 Zonas de disponibilidad, encriptación con AWS KMS • Disponible ahora en ”Preview”
  20. 20. Simplifique el monitoreo desde la consola de administración de AWS  Carga de la base de datos: identifica los cuellos de botella de la base de datos  Fácil  Poderoso  Identifica la fuente del cuello de botella  “Top SQL”  Periodo de tiempo ajustable  Hora, día, semana y más Max CPU Información de rendimiento para Amazon RDS
  21. 21. AWS Database Migration Service • Servicio totalmente administrado para la migración desde el centro de datos local hasta la nube de AWS con un tiempo de inactividad mínimo • Migra datos desde y hacia todos los motores comerciales y de código abierto más utilizados • Herramienta de conversión de esquemas que convierte esquemas de base de datos, procedimientos almacenados y código de aplicación a un formato de destino diferente. • Soporta reproducción homogénea y heterogénea de datos • Una base de datos de terabytes puede ser migrada por tan solo unos $3
  22. 22. Capacidades de conversión de bases de datos en SCT Base de Datos Origen Base de Datos Destino Microsoft SQL Server  Amazon Aurora, MySQL, PostgreSQL MySQL  PostgreSQL Oracle  Amazon Aurora, MySQL, PostgreSQL Oracle Data Warehouse  Amazon Redshift PostgreSQL  Amazon Aurora, MySQL Teradata, Netezza, Greenplum  Amazon Redshift
  23. 23. Migración Heterogénea • Migró de Oracle a PostgreSQL RDS • Utilizó la herramienta ”AWS Schema Conversion Tool” para convertir su esquema de base de datos • Utilizó la replicación en curso (CDC) para mantener las bases de datos sincronizadas hasta que llegaron a la ventana de corte • Beneficios: • Mayor fiabilidad del entorno de la nube • Ahorros en los costos de licencias de Oracle • Informe de evaluación les permiten entender el alcance de la migración
  24. 24. NoSQL y En Memoria DynamoDB ElastiCache
  25. 25. Rápido, Flexible, Escalable NoSQL Amazon DynamoDB
  26. 26. Historia de NoSQL en Amazon
  27. 27. Preguntas claves • Aurora fue diseñada con una sola restricción • Compatibilidad con SQL y semántica de la base de datos relacional • ¿Y si dijéramos no a esta restricción? • No a SQL = NoSQL • ¿Podríamos eliminar las cosas que no nos gustan de las bases de datos relacionales?
  28. 28. Sí podemos. Respuesta = Amazon DynamoDB • Base de datos que puede escalamiento ilimitado • Puede comenzar de forma pequeña. No hay límite para el éxito de la aplicación. • Su aplicación se ejecuta rápidamente 10, 100, 1M, 10M o 100M de usuarios usando su aplicación. • Ofrece disponibilidad y durabilidad indistinguibles del 100%. • 99.99% y 60 segundos recuperación en caso de error no son lo suficientemente buenos • No tienes que administrar nada. Ni siquiera necesita saber qué es una instancia de base de datos. Solo crea una tabla • No hay esquema. Todo lo que necesitas para decirnos es el número de lecturas/seg. y escrituras/seg. que quieres ejecutar. • Nosotros hacemos el resto
  29. 29. Clientes con Amazon DynamoDB
  30. 30. Lyft escala fácilmente su sistema de localización utilizando DynamoDB Era tan fácil escalar. Teníamos dos controles. Uno era de lectura y otro de escritura. Chris Lambert CTO, Lyft ” “ • Lyft maneja hasta 8 veces más viajes durante las horas pico • La localización del GPS para todos los viajes fue registrada en el sistema de localización. • En junio de 2014, Lyft desplegó DynamoDB en producción. • Lyft ha movido desde entonces muchos de sus otras bases de datos a DynamoDB.
  31. 31. Big Data Amazon Redshift Amazon EMR Amazon Athena Data Pipeline
  32. 32. Amazon Redshift • Almacenamiento de datos relacional, MPP, y que soporta Petabytes de información • Totalmente administrado con plataformas SSD y HDD • Seguridad integrada de extremo a extremo, incluidas las claves gestionadas por el cliente • $1,000/TB/año; inicia en $0.25USD/hora
  33. 33. ¿Por qué creamos Amazon Redshift? • Los clientes estaban generando datos en la nube, pero moviéndolos a su centro de datos local para analizarlos. • Los clientes habían migrado todo a AWS, excepto sus almacenes de datos locales. • Querían cerrar estos centros de datos pero no podían hasta que les ofreciéramos una solución en la nube
  34. 34. Gartner: User Survey Analysis: Key Trends Shaping the Future of Data Center Infrastructure Through 2011 IDC: Worldwide Business Analytics Software 2012–2016 Forecast and 2011 Vendor Shares Disponibles para análisis Datos generados 1990 2000 2010 2020 Puntos claves: La mayoría de los datos caen al piso 90% de los datos en una compañía nunca son analizados Los altos costos y la complejidad de un almacén de datos tradicional hace complicado justificar el capital necesario que se debe invertir.
  35. 35. Preguntas claves • ¿Podríamos diseñar un sistema barato y suficientemente escalable para permitirle analizar todos sus datos? • ¿Podríamos construir un servicio que fuera más rápido, más barato y más fácil de usar que los sistemas de almacenamiento de datos tradicionales?
  36. 36. Sí podemos. Respuesta = Amazon Redshift • Un sistema de procesamiento masivamente paralelo (MPP) con hasta 128 nodos de poder de cómputo para almacenar y procesar hasta 2PB de datos comprimidos • A $1,000/TB/año, es tan barato que puedes analizar todos tus datos • Puede aprovisionar un petabyte en menos de tres minutos y pagar por hora • 10x de rendimiento y 1/10 del precio de otras soluciones • Totalmente administrado con el aprovisionamiento automatizado, la aplicación de parches, la seguridad, la copia de seguridad, la restauración y la tolerancia a errores integrada
  37. 37. Clientes de Amazon Redshift
  38. 38. NTT Docomo: el proveedor móvil más grande de Japón • 68 millones de clientes • 10s de TBs de datos por día a través de la red móvil • 6PB de datos totales (sin comprimir) • Ciencia de datos para operaciones de marketing, logística, etc. • Greenplum en su centro de datos local • 125 nodos DS2.8XL en el cluster • 4,500 vCPUs, 30TB RAM • 6PB de datos sin comprimir • Consultas analíticas 10x más rápidas • Reducción del 50% de tiempo para el despliegue de la nueva aplicación de BI. • Significativamente menos operaciones.
  39. 39. Amazon EMR • Hadoop, Hive, Presto, Spark, Tez, Impala etc. • Versión 5.2: Hadoop 2.7.3, Hive 2.1, Spark 2.02, Zeppelin, Presto, HBase 1.2.3 and HBase on S3, Phoenix, Tez, Flink • Nuevas aplicaciones agregadas dentro de los 30 días de su versión de código abierto • Completamente administrado, escalando automáticamente los clústeres con soporte para precios On-Demand y Spot • Soporte para sistemas de archivos HDFS y S3 que permiten el cálculo y almacenamiento de forma separada; Varios clústeres pueden ejecutarse sobre los mismos datos en S3 • Soporte para encriptación de extremo a extremo, IAM / VPC, encriptación de S3 con claves gestionadas por el cliente y AWS KMS
  40. 40. ¿Por qué construimos Amazon EMR? • Los clientes querían utilizar los últimos recursos analíticos de código abierto para analizar y transformar sus datos • Los clientes querían utilizar tecnologías como Spark y Presto en conjunto con servicios de AWS como Amazon S3 y funciones como EC2 Spot Instances • Los clientes querían beneficiarse de la elasticidad que AWS ofrece
  41. 41. Clientes de Amazon EMR
  42. 42. Amazon Athena • Servicio para consultar datos en S3 sin necesidad de administrar infraestructura • No se requiere carga de datos; consulta directamente desde Amazon S3 • Utilice consultas SQL ANSI estándar con soporte para joins, JSON y funciones de window. • Soporte para múltiples formatos incluyendo texto, CSV, TSV, JSON, Avro, ORC, Parquet • Pague por consulta sólo cuando esté ejecutando consultas; $5/TB escaneado; si comprime sus datos, sus consultas cuestan menos.
  43. 43. ¿Por qué construimos Amazon Athena? • Los clientes querían una forma fácil de ejecutar consultas sobre datos en Amazon S3 sin infraestructura que administrar • Los clientes querían un servicio que pudiera complementar el uso de Amazon Redshift y Amazon EMR • Los clientes querían dar esta capacidad a cualquier persona en su empresa y sólo pagar por consulta
  44. 44. Clientes de Amazon Athena
  45. 45. Analítica QuickSight Amazon ES Amazon ML
  46. 46. Como servicio nativo en la nube, QuickSight combina la velocidad, la escalabilidad y la facilidad de implementación de la que nuestros clientes han llegado a depender con el valor y la rentabilidad que usted espera de AWS. Amazon QuickSight Servicio de analítica de negocios rápido y fácil de usar a 1/10 del costo de las soluciones de BI tradicionales.
  47. 47. Amazon QuickSight • Reconocimiento automático de fuentes de datos AWS como Redshift de Amazon, RDS y S3 • Conectividad con recursos fuente de terceros como Excel, Salesforce, y otras bases de datos (en nube o en los centros de datos locales) • Rendimiento super rápido con SPICE • Visualizaciones instantáneas con Autograph • Comparte y colabora en análisis, paneles e historias de forma segura • Experiencia iPhone nativa y basado en web desde todos los demás dispositivos • Conjuntos de datos gobernados • Controles de acceso de usuario • Integración de Directorio Activo
  48. 48. ¿Qué servicio debería usar? Situación Solución Aplicación existente Use el motor actual en RDS • MySQL  Amazon Aurora, RDS para MySQL • PostgreSQL  RDS para PostgreSQL • Oracle, SQL Server  RDS para Oracle, RDS para SQL Server Aplicación nueva • Si puede evitar características relacionales  DynamoDB • Si necesita características relacionales  Amazon Aurora Almacén de datos (DWH) y BI • Amazon Redshift y Amazon QuickSight Análisis ad hoc de datos en S3 • Amazon Athena y Amazon QuickSight Spark, Hadoop, Hive, HBase • Amazon EMR Análisis de bitácoras, monitoreo operacional y búsqueda • Amazon Elasticsearch Service
  49. 49. Remember to complete your evaluations! Recuerde completar sus evaluaciones

×