Este documento descreve a intenção e ações que serão tomadas pelo serviço. Ele fornece detalhes sobre como o serviço irá operar e quais medidas serão implementadas.
Uma Arquitetura de Stream Processing e ETL Serverless na AWSMaycon Viana Bordin
Esta apresentação aborda a trajetória percorrida na implementação de uma arquitetura de stream processing e ETL serverless na AWS para ingestão, processamento e armazenamento de dados em tempo real e em micro-batch utilizando Kinesis, Lambda e S3.
Ela mostra os caminhos que levaram até a arquitetura atual, bem como os próximos passos na evolução de uma arquitetura serverless, trade-offs feitos na construção dela, e como essa infraestrutura se encaixa dentro do Data Lake como um todo (batch vs real-time).
Uma Arquitetura de Stream Processing e ETL Serverless na AWSMaycon Viana Bordin
Esta apresentação aborda a trajetória percorrida na implementação de uma arquitetura de stream processing e ETL serverless na AWS para ingestão, processamento e armazenamento de dados em tempo real e em micro-batch utilizando Kinesis, Lambda e S3.
Ela mostra os caminhos que levaram até a arquitetura atual, bem como os próximos passos na evolução de uma arquitetura serverless, trade-offs feitos na construção dela, e como essa infraestrutura se encaixa dentro do Data Lake como um todo (batch vs real-time).
Sendo o sistema operacional com maior presenc¸a entre os smartphones em todo o mundo, desenvolver aplicac¸oes para o Android tem se tor- ˜ nado cada vez mais interessante. Entretanto, para tirar o melhor proveito desta plataforma e importante conhecer como ela funciona internamente. Este ar- ´ tigo aborda os principais componentes que fazem parte do software stack do Android, comec¸ando pelo kernel Linux e a Dalvik VM ate os componentes prin- ´ cipais de uma aplicac¸ao. E mostra as estrat ˜ egias adotadas pela plataforma ´ para lidar com caracter´ısticas inerentes aos dispositivos moveis, como o tempo ´ de bateria e a baixa capacidade de memoria.
Desenvolvimento de uma Rede Social Baseada em GeolocalizaçãoMaycon Viana Bordin
Fóruns foram utilizados por muito tempo na Internet como principal ferramenta para criação de comunidades online e discussões sobre determinados assuntos. Com o surgimento das redes sociais, o foco de grande parte da Internet passou a ser o indivíduo e suas relações com outras pessoas. Com elas também foram introduzidas novas funcionalidades que melhoraram a experiência de seus usuários e possibilitaram uma melhor comunicação com outras pessoas. Este trabalho buscou unir algumas destas funcionalidades na tentativa de criar um fórum que se adequasse a realidade atual sem, entretanto perder as características básicas de um fórum. O serviço focou primeiramente dispositivos móveis, mantendo uma interface de usuário simples, reunindo todos os interesses em um único lugar e permitindo que usuários sigam interesses e filtrem conversas de acordo com a sua localização. Essas ações tornaram possível a criação de um fórum diferente e que pode ser útil e de fácil uso para as pessoas, mesmo com relação as redes sociais.
A Benchmark Suite for Distributed Stream Processing SystemsMaycon Viana Bordin
Recently a new application domain characterized by the continuous and low-latency processing of large volumes of data has been gaining attention. The growing number of applications of such genre has led to the creation of Stream Processing Systems (SPSs), systems that abstract the details of real-time applications from the developer. More recently, the ever increasing volumes of data to be processed gave rise to distributed SPSs.
Currently there are in the market several distributed SPSs, however the existing benchmarks designed for the evaluation this kind of system covers only a few applications and workloads, while these systems have a much wider set of applications. In this work a benchmark for stream processing systems is proposed. Based on a survey of several papers with real-time and stream applications, the most used applications and areas were outlined, as well as the most used metrics in the performance evaluation of such applications.
With these information the metrics of the benchmark were selected as well as a list of possible application to be part of the benchmark. Those passed through a workload characterization in order to select a diverse set of applications. To ease the evaluation of SPSs a framework was created with an API to generalize the application development and collect metrics, with the possibility of extending it to support other platforms in the future. To prove the usefulness of the benchmark, a subset of the applications were executed on Storm and Spark using the Azure Platform and the results have demonstrated the usefulness of the benchmark suite in comparing these systems.
Development of a Distributed Stream Processing System (DSPS) in node.js and ZeroMQ and demonstration of an application of trending topics with a dataset from Twitter.
Sendo o sistema operacional com maior presenc¸a entre os smartphones em todo o mundo, desenvolver aplicac¸oes para o Android tem se tor- ˜ nado cada vez mais interessante. Entretanto, para tirar o melhor proveito desta plataforma e importante conhecer como ela funciona internamente. Este ar- ´ tigo aborda os principais componentes que fazem parte do software stack do Android, comec¸ando pelo kernel Linux e a Dalvik VM ate os componentes prin- ´ cipais de uma aplicac¸ao. E mostra as estrat ˜ egias adotadas pela plataforma ´ para lidar com caracter´ısticas inerentes aos dispositivos moveis, como o tempo ´ de bateria e a baixa capacidade de memoria.
Desenvolvimento de uma Rede Social Baseada em GeolocalizaçãoMaycon Viana Bordin
Fóruns foram utilizados por muito tempo na Internet como principal ferramenta para criação de comunidades online e discussões sobre determinados assuntos. Com o surgimento das redes sociais, o foco de grande parte da Internet passou a ser o indivíduo e suas relações com outras pessoas. Com elas também foram introduzidas novas funcionalidades que melhoraram a experiência de seus usuários e possibilitaram uma melhor comunicação com outras pessoas. Este trabalho buscou unir algumas destas funcionalidades na tentativa de criar um fórum que se adequasse a realidade atual sem, entretanto perder as características básicas de um fórum. O serviço focou primeiramente dispositivos móveis, mantendo uma interface de usuário simples, reunindo todos os interesses em um único lugar e permitindo que usuários sigam interesses e filtrem conversas de acordo com a sua localização. Essas ações tornaram possível a criação de um fórum diferente e que pode ser útil e de fácil uso para as pessoas, mesmo com relação as redes sociais.
A Benchmark Suite for Distributed Stream Processing SystemsMaycon Viana Bordin
Recently a new application domain characterized by the continuous and low-latency processing of large volumes of data has been gaining attention. The growing number of applications of such genre has led to the creation of Stream Processing Systems (SPSs), systems that abstract the details of real-time applications from the developer. More recently, the ever increasing volumes of data to be processed gave rise to distributed SPSs.
Currently there are in the market several distributed SPSs, however the existing benchmarks designed for the evaluation this kind of system covers only a few applications and workloads, while these systems have a much wider set of applications. In this work a benchmark for stream processing systems is proposed. Based on a survey of several papers with real-time and stream applications, the most used applications and areas were outlined, as well as the most used metrics in the performance evaluation of such applications.
With these information the metrics of the benchmark were selected as well as a list of possible application to be part of the benchmark. Those passed through a workload characterization in order to select a diverse set of applications. To ease the evaluation of SPSs a framework was created with an API to generalize the application development and collect metrics, with the possibility of extending it to support other platforms in the future. To prove the usefulness of the benchmark, a subset of the applications were executed on Storm and Spark using the Azure Platform and the results have demonstrated the usefulness of the benchmark suite in comparing these systems.
Development of a Distributed Stream Processing System (DSPS) in node.js and ZeroMQ and demonstration of an application of trending topics with a dataset from Twitter.