Apache Spark Overview and Applications
•
0 gostou•83 visualizações
O documento discute as principais funcionalidades do Apache Spark, incluindo processamento de dados em larga escala, DataFrames, streaming de dados, machine learning e análise de grafos.
Denunciar
Compartilhar
Denunciar
Compartilhar
Baixar para ler offline
Recomendados
Pré processamento de grandes dados com Apache Spark
O documento apresenta o framework Apache Spark para pré-processamento de grandes dados, abordando conceitos como RDDs, DataFrames, UDFs e a biblioteca Spark ML. É demonstrado um estudo de caso completo de pré-processamento de um conjunto de dados de reviews da Amazon contendo 82 milhões de registros.
Hadoop MapReduce and Apache Spark on EMR: comparing performance for distribut...
O documento compara o desempenho do Hadoop MapReduce e do Apache Spark para cargas de trabalho distribuídas, usando duas tarefas: wordcount distribuído em um conjunto de dados de 18GB e clusterização K-means em um conjunto de dados de livros da Amazon de 15GB. O Spark mostrou desempenho superior, especialmente para tarefas iterativas como K-means. A configuração correta é importante para o desempenho, e o Spark se beneficiou da alocação dinâmica de recursos.
Apache spark intro
Apache Spark é um framework para processamento de dados distribuído que suporta processamento em lote e em streaming. Ele possui APIs para manipulação de dados estruturados e não estruturados de forma paralela em clusters. Apache Spark também fornece ferramentas para armazenamento, recuperação e análise de grandes volumes de dados.
Introdução ao ASP.NET 3.5 - Campus Party Brasil 2009
1) O documento resume as credenciais e experiência profissional de Ramon Durães como especialista em desenvolvimento .NET.
2) É descrito o histórico de versões do .NET Framework e recursos como LINQ, AJAX, Silverlight e Dynamic Data.
3) São apresentadas breves introduções a tópicos como LINQ to SQL, ASP.NET, Windows Presentation Foundation e integração com o IIS 7.
Uso de Anotações Semânticas para Exploração de Paralelismo em Workflows Inten...
SBBD 2016
Abstract: Applications that analyze large volumes of data are often modeled as interconnected activities (workflows) and executed on high-performance platforms. Data partitioning and replication can make the activities parallelizable. However, to define a model that results in an efficient use of the platform is not trivial. This work proposes semantic annotations to characterize the data processing in workflows activities, in order to automatically create strategies to parallelize the execution. In experiments with a workflow that handles 5.8 millions of data objects in a NoSQL system, the parallelism obtained from the annotations has reduced the makespan by 88.4% and the financial cost by 10.4%.
Full paper available on: http://sbbd2016.fpc.ufba.br/sbbd2016/sbbd/sbbd_s028.pdf
Python
O documento discute frameworks Python para desenvolvimento web. Apresenta Django como um framework que oferece agilidade, facilidade de uso, mapeamento de banco de dados, interface administrativa e um sistema de URLs limpo. Também explica que views são responsáveis por retornar respostas HTTP ou erros 404 e que templates permitem reutilização de código entre páginas.
Exemplos de uso de apache spark usando aws elastic map reduce
[1] O documento apresenta exemplos de uso do Apache Spark no AWS Elastic MapReduce (EMR), incluindo processamento em batch e streaming de dados. [2] Inclui detalhes sobre a criação de clusters no EMR e execução de códigos Spark tanto em modo batch quanto streaming. [3] Apresenta exemplos de códigos Spark para contagem de palavras em batch e contagem de tweets em streaming que podem ser executados no EMR.
UtilizandoJSF_no_Desenvolvimento_de_aplicacoes_web_by_Thales_Batista_de_Melo
O documento discute o framework JavaServer Faces (JSF) para desenvolvimento de aplicações web. Ele explica o que é JSF, sua estrutura, ciclo de vida, conversores e validadores, conjuntos de componentes disponíveis e as novidades do JSF 2.0 como anotações e melhor integração com Ajax.
Recomendados
Pré processamento de grandes dados com Apache Spark
O documento apresenta o framework Apache Spark para pré-processamento de grandes dados, abordando conceitos como RDDs, DataFrames, UDFs e a biblioteca Spark ML. É demonstrado um estudo de caso completo de pré-processamento de um conjunto de dados de reviews da Amazon contendo 82 milhões de registros.
Hadoop MapReduce and Apache Spark on EMR: comparing performance for distribut...
O documento compara o desempenho do Hadoop MapReduce e do Apache Spark para cargas de trabalho distribuídas, usando duas tarefas: wordcount distribuído em um conjunto de dados de 18GB e clusterização K-means em um conjunto de dados de livros da Amazon de 15GB. O Spark mostrou desempenho superior, especialmente para tarefas iterativas como K-means. A configuração correta é importante para o desempenho, e o Spark se beneficiou da alocação dinâmica de recursos.
Apache spark intro
Apache Spark é um framework para processamento de dados distribuído que suporta processamento em lote e em streaming. Ele possui APIs para manipulação de dados estruturados e não estruturados de forma paralela em clusters. Apache Spark também fornece ferramentas para armazenamento, recuperação e análise de grandes volumes de dados.
Introdução ao ASP.NET 3.5 - Campus Party Brasil 2009
1) O documento resume as credenciais e experiência profissional de Ramon Durães como especialista em desenvolvimento .NET.
2) É descrito o histórico de versões do .NET Framework e recursos como LINQ, AJAX, Silverlight e Dynamic Data.
3) São apresentadas breves introduções a tópicos como LINQ to SQL, ASP.NET, Windows Presentation Foundation e integração com o IIS 7.
Uso de Anotações Semânticas para Exploração de Paralelismo em Workflows Inten...
SBBD 2016
Abstract: Applications that analyze large volumes of data are often modeled as interconnected activities (workflows) and executed on high-performance platforms. Data partitioning and replication can make the activities parallelizable. However, to define a model that results in an efficient use of the platform is not trivial. This work proposes semantic annotations to characterize the data processing in workflows activities, in order to automatically create strategies to parallelize the execution. In experiments with a workflow that handles 5.8 millions of data objects in a NoSQL system, the parallelism obtained from the annotations has reduced the makespan by 88.4% and the financial cost by 10.4%.
Full paper available on: http://sbbd2016.fpc.ufba.br/sbbd2016/sbbd/sbbd_s028.pdf
Python
O documento discute frameworks Python para desenvolvimento web. Apresenta Django como um framework que oferece agilidade, facilidade de uso, mapeamento de banco de dados, interface administrativa e um sistema de URLs limpo. Também explica que views são responsáveis por retornar respostas HTTP ou erros 404 e que templates permitem reutilização de código entre páginas.
Exemplos de uso de apache spark usando aws elastic map reduce
[1] O documento apresenta exemplos de uso do Apache Spark no AWS Elastic MapReduce (EMR), incluindo processamento em batch e streaming de dados. [2] Inclui detalhes sobre a criação de clusters no EMR e execução de códigos Spark tanto em modo batch quanto streaming. [3] Apresenta exemplos de códigos Spark para contagem de palavras em batch e contagem de tweets em streaming que podem ser executados no EMR.
UtilizandoJSF_no_Desenvolvimento_de_aplicacoes_web_by_Thales_Batista_de_Melo
O documento discute o framework JavaServer Faces (JSF) para desenvolvimento de aplicações web. Ele explica o que é JSF, sua estrutura, ciclo de vida, conversores e validadores, conjuntos de componentes disponíveis e as novidades do JSF 2.0 como anotações e melhor integração com Ajax.
Introdução Play framework
Este documento apresenta o framework Play! e discute seus principais conceitos e componentes. Em 3 frases:
O Play! é um framework web full-stack para Java e Scala que utiliza arquitetura MVC e convenção sobre configuração. Ele possui componentes como rotas, controladores, modelos e views para construir aplicações web. O documento demonstra como criar um projeto Play! simples para gerenciar tarefas utilizando esses componentes.
Da Exploração à Produção - Inteligência Artificial com a plataforma Marvin
Marvin é um ambicioso projeto de código aberto que se concentra em ajudar equipes a entregar soluções de machine learning de maneira ágil. A plataforma oferece uma arquitetura padronizada e agnóstica de linguagem, de alta escala e baixa latência enquanto simplifica o processo de exploração e modelagem de projetos de IA.
[Datafest 2018] Apache Spark Structured Stream - Moedor de dados em tempo qua...
- O documento introduz o Apache Spark Structured Streaming, uma API para desenvolvimento de aplicações de processamento de dados em tempo real.
- Apresenta casos de uso com leitura de dados de arquivos CSV em streaming, processamento com Spark SQL e escrita dos resultados em uma tabela no banco de dados PostgreSQL.
- Detalha a arquitetura de uma aplicação que consolida métricas de transações financeiras em tempo real a partir de logs CSV, realizando filtros, agregações e janelas de 5 minutos.
Python e Django
O documento descreve o framework Django para desenvolvimento web em Python. Ele explica que Django foi criado para atender às necessidades de um jornal online, tornando-se um framework para desenvolvimento rápido. Também resume algumas características importantes do Django, como o padrão MVC, mapeamento objeto-relacional e interface administrativa.
Java Seminar
1. O documento descreve um seminário sobre Java oferecido pela Sun Microsystems, apresentando os cursos, palestrantes e agenda do evento.
2. A tecnologia Java é introduzida, destacando suas origens, conceitos como orientação a objetos, portabilidade, segurança e desempenho.
3. Instruções para instalação do Java Development Kit (JDK) são fornecidas para preparar os participantes para o desenvolvimento de aplicativos Java.
Surpreenda-se com o Silverlight 3
O documento resume as principais novidades do Silverlight 3, incluindo: (1) suporte a perspectiva 3D, (2) navegação aprimorada com deep linking e SEO, (3) aceleração gráfica por GPU. Demonstra essas funcionalidades e discute outras como animação, streaming, cache e suporte a formatos de vídeo.
JavaFX 8, Collections e Lambdas
JavaFX 8, Collections e Lambdas
Este documento introduz as principais melhorias do Java 8: JavaFX 8, Streams e expressões lambda. Apresenta uma visão geral de como JavaFX 2 funcionava anteriormente e como JavaFX agora é parte integrante do Java. Demonstra como streams e lambdas tornam o trabalho com collections e programação funcional mais simples e conciso.
JavaServer Faces
O documento discute JavaServer Faces (JSF), uma tecnologia que simplifica a construção de interfaces com o usuário em aplicações JavaServer Pages. JSF permite construir interfaces com componentes reutilizáveis conectados a fontes de dados, e direcionar eventos do navegador para classes no container JSP. JSF encapsula a funcionalidade dos componentes separando apresentação e lógica, permitindo aplicações que podem ser renderizadas em diferentes dispositivos.
Pegue tweets com Python e Spark Streaming
Um guia rápido de como criar um Twitter App, e utilizar a linguagem Python e as bibliotecas do Spark Streaming para extrair tweets e prepará-los para análise.
fonte: https://www.toptal.com/apache/apache-spark-streaming-twitter
Introdução ao Kafka
O documento apresenta Kafka, uma plataforma de streaming de dados em tempo real. Kafka foi criado pela LinkedIn para lidar com grandes volumes de dados com baixa latência. O documento discute conceitos como produtores, consumidores, tópicos e partições, além de apresentar ferramentas como Kafka Streams e Kafka Connectors.
Apresentação palestra ireport
Este documento fornece instruções sobre como gerar relatórios no IReport usando o banco de dados Firebird. Ele descreve o JasperReports, iReport e JDBC e como conectar ao Firebird para gerar relatórios.
Curso Enterprise Architect
Curso sobre a ferramenta Enterprise Architect ministrado como treinamento na Rede Adok de Tecnologia da Informação.
AnaliseDeDados_SQLSat906
Este documento apresenta uma introdução ao Machine Learning com Azure Machine Learning, R e Power BI. Ele discute brevemente o que é Machine Learning e como R e Power BI podem ser usados nesse processo. Também fornece uma visão geral do Azure Machine Learning Service, incluindo seus recursos e integrações com outras tecnologias como PyTorch e TensorFlow.
Python Brasil 2020 - Desmitificando pipeline de dados com Python: o que apren...
O documento discute a arquitetura de pipelines de dados, comparando as arquiteturas Lambda e Kappa. Apresenta qualidades essenciais de um bom pipeline de dados, como segurança, automação, monitoramento e testabilidade. Destaca também onde a linguagem Python é útil, incluindo ferramentas como PySpark, Pandas, Airflow e bibliotecas para testes e validação.
Processamento em Big Data
O documento discute várias tecnologias para processamento de big data, incluindo MapReduce, Hadoop, Apache Kafka, Apache Ignite, e Apache Spark. Ele fornece exemplos de código e exercícios para cada tecnologia e conclui discutindo outras opções como Apache Parquet e Apache Mesos.
Treinamento ASP.NET 2014
O documento resume o currículo de Eric Gallardo, um profissional de TI brasileiro com quase 20 anos de experiência em projetos para internet e gestão corporativa utilizando diversas linguagens e metodologias como .NET, Java, Scrum e ITIL. O treinamento aborda conceitos e frameworks como ASP.NET, MVC, WebForms, Entity Framework e AJAX/jQuery além de ferramentas como Visual Studio e plugins.
pgModeler: muito mais que um modelador de bancos de dados PostgreSQL
Apresentação feita na PGConf.Brasil 2018 detalhando alguns módulos e funcionamento da ferramenta pgModeler.
Pos-QCon-BigData
O documento discute o uso da ferramenta Apache Spark para analisar grandes volumes de dados gerados pelo sistema Catalog3D. Experimentos com o Spark mostraram que é uma solução viável para armazenar e processar os dados de inserção do Catalog3D de forma escalonável. A aplicação desenvolvida usou Spark SQL para identificar os itens mais inseridos em cada dia a partir dos dados estruturados em arquivos JSON.
JavaEE 7, na era do cloud computing
O documento discute as novidades da plataforma Java EE 7, incluindo o foco em serviços de computação em nuvem, auto provisionamento e multi-tenancy. A especificação Java EE 7 também trará melhorias em APIs existentes como JPA, JSF e JAX-RS e novas APIs como JSON-P e WebSocket. O lançamento está previsto para o primeiro semestre de 2013.
Framework web 01 - Aula UTFPR 2018
O documento apresenta um resumo sobre frameworks para desenvolvimento web em Java. Apresenta a estrutura do curso, dividido em 5 aulas, abordando tópicos como Maven, Spring, Spring Boot, Spring MVC, Spring Data e Spring Security. O objetivo é fornecer uma visão geral das principais ferramentas e frameworks para construção de aplicações web com Java.
Testes metamórficos em problemas complexos
Apresentação sobre o uso de testes metamórficos de software aplicados a problemas com alta complexidade ciclomática ou caixa opaca, como: APIs, contratos complexos, modelos de machine learning e deep learning. São mostrados exemplos do mundo real, ferramentas em python e a aplicação desse estilo de teste automatizado nesses casos de uso.
Paralelismo em machine learning e suas aplicações
Uma apresentação feita pelo time do Data Bootcamp.
Como funciona e aplicações de paralelismo em Machine Learning. Como funcionam as CPUs, GPUs e como os algoritmos de Machine Learning e Deep Learning se beneficiam disso.
No final temos um trabalho interessante que mostra como técnicas de Machine Learning têm sido usadas para melhorar o paralelismo de aplicações
Mais conteúdo relacionado
Semelhante a Apache Spark Overview and Applications
Introdução Play framework
Este documento apresenta o framework Play! e discute seus principais conceitos e componentes. Em 3 frases:
O Play! é um framework web full-stack para Java e Scala que utiliza arquitetura MVC e convenção sobre configuração. Ele possui componentes como rotas, controladores, modelos e views para construir aplicações web. O documento demonstra como criar um projeto Play! simples para gerenciar tarefas utilizando esses componentes.
Da Exploração à Produção - Inteligência Artificial com a plataforma Marvin
Marvin é um ambicioso projeto de código aberto que se concentra em ajudar equipes a entregar soluções de machine learning de maneira ágil. A plataforma oferece uma arquitetura padronizada e agnóstica de linguagem, de alta escala e baixa latência enquanto simplifica o processo de exploração e modelagem de projetos de IA.
[Datafest 2018] Apache Spark Structured Stream - Moedor de dados em tempo qua...
- O documento introduz o Apache Spark Structured Streaming, uma API para desenvolvimento de aplicações de processamento de dados em tempo real.
- Apresenta casos de uso com leitura de dados de arquivos CSV em streaming, processamento com Spark SQL e escrita dos resultados em uma tabela no banco de dados PostgreSQL.
- Detalha a arquitetura de uma aplicação que consolida métricas de transações financeiras em tempo real a partir de logs CSV, realizando filtros, agregações e janelas de 5 minutos.
Python e Django
O documento descreve o framework Django para desenvolvimento web em Python. Ele explica que Django foi criado para atender às necessidades de um jornal online, tornando-se um framework para desenvolvimento rápido. Também resume algumas características importantes do Django, como o padrão MVC, mapeamento objeto-relacional e interface administrativa.
Java Seminar
1. O documento descreve um seminário sobre Java oferecido pela Sun Microsystems, apresentando os cursos, palestrantes e agenda do evento.
2. A tecnologia Java é introduzida, destacando suas origens, conceitos como orientação a objetos, portabilidade, segurança e desempenho.
3. Instruções para instalação do Java Development Kit (JDK) são fornecidas para preparar os participantes para o desenvolvimento de aplicativos Java.
Surpreenda-se com o Silverlight 3
O documento resume as principais novidades do Silverlight 3, incluindo: (1) suporte a perspectiva 3D, (2) navegação aprimorada com deep linking e SEO, (3) aceleração gráfica por GPU. Demonstra essas funcionalidades e discute outras como animação, streaming, cache e suporte a formatos de vídeo.
JavaFX 8, Collections e Lambdas
JavaFX 8, Collections e Lambdas
Este documento introduz as principais melhorias do Java 8: JavaFX 8, Streams e expressões lambda. Apresenta uma visão geral de como JavaFX 2 funcionava anteriormente e como JavaFX agora é parte integrante do Java. Demonstra como streams e lambdas tornam o trabalho com collections e programação funcional mais simples e conciso.
JavaServer Faces
O documento discute JavaServer Faces (JSF), uma tecnologia que simplifica a construção de interfaces com o usuário em aplicações JavaServer Pages. JSF permite construir interfaces com componentes reutilizáveis conectados a fontes de dados, e direcionar eventos do navegador para classes no container JSP. JSF encapsula a funcionalidade dos componentes separando apresentação e lógica, permitindo aplicações que podem ser renderizadas em diferentes dispositivos.
Pegue tweets com Python e Spark Streaming
Um guia rápido de como criar um Twitter App, e utilizar a linguagem Python e as bibliotecas do Spark Streaming para extrair tweets e prepará-los para análise.
fonte: https://www.toptal.com/apache/apache-spark-streaming-twitter
Introdução ao Kafka
O documento apresenta Kafka, uma plataforma de streaming de dados em tempo real. Kafka foi criado pela LinkedIn para lidar com grandes volumes de dados com baixa latência. O documento discute conceitos como produtores, consumidores, tópicos e partições, além de apresentar ferramentas como Kafka Streams e Kafka Connectors.
Apresentação palestra ireport
Este documento fornece instruções sobre como gerar relatórios no IReport usando o banco de dados Firebird. Ele descreve o JasperReports, iReport e JDBC e como conectar ao Firebird para gerar relatórios.
Curso Enterprise Architect
Curso sobre a ferramenta Enterprise Architect ministrado como treinamento na Rede Adok de Tecnologia da Informação.
AnaliseDeDados_SQLSat906
Este documento apresenta uma introdução ao Machine Learning com Azure Machine Learning, R e Power BI. Ele discute brevemente o que é Machine Learning e como R e Power BI podem ser usados nesse processo. Também fornece uma visão geral do Azure Machine Learning Service, incluindo seus recursos e integrações com outras tecnologias como PyTorch e TensorFlow.
Python Brasil 2020 - Desmitificando pipeline de dados com Python: o que apren...
O documento discute a arquitetura de pipelines de dados, comparando as arquiteturas Lambda e Kappa. Apresenta qualidades essenciais de um bom pipeline de dados, como segurança, automação, monitoramento e testabilidade. Destaca também onde a linguagem Python é útil, incluindo ferramentas como PySpark, Pandas, Airflow e bibliotecas para testes e validação.
Processamento em Big Data
O documento discute várias tecnologias para processamento de big data, incluindo MapReduce, Hadoop, Apache Kafka, Apache Ignite, e Apache Spark. Ele fornece exemplos de código e exercícios para cada tecnologia e conclui discutindo outras opções como Apache Parquet e Apache Mesos.
Treinamento ASP.NET 2014
O documento resume o currículo de Eric Gallardo, um profissional de TI brasileiro com quase 20 anos de experiência em projetos para internet e gestão corporativa utilizando diversas linguagens e metodologias como .NET, Java, Scrum e ITIL. O treinamento aborda conceitos e frameworks como ASP.NET, MVC, WebForms, Entity Framework e AJAX/jQuery além de ferramentas como Visual Studio e plugins.
pgModeler: muito mais que um modelador de bancos de dados PostgreSQL
Apresentação feita na PGConf.Brasil 2018 detalhando alguns módulos e funcionamento da ferramenta pgModeler.
Pos-QCon-BigData
O documento discute o uso da ferramenta Apache Spark para analisar grandes volumes de dados gerados pelo sistema Catalog3D. Experimentos com o Spark mostraram que é uma solução viável para armazenar e processar os dados de inserção do Catalog3D de forma escalonável. A aplicação desenvolvida usou Spark SQL para identificar os itens mais inseridos em cada dia a partir dos dados estruturados em arquivos JSON.
JavaEE 7, na era do cloud computing
O documento discute as novidades da plataforma Java EE 7, incluindo o foco em serviços de computação em nuvem, auto provisionamento e multi-tenancy. A especificação Java EE 7 também trará melhorias em APIs existentes como JPA, JSF e JAX-RS e novas APIs como JSON-P e WebSocket. O lançamento está previsto para o primeiro semestre de 2013.
Framework web 01 - Aula UTFPR 2018
O documento apresenta um resumo sobre frameworks para desenvolvimento web em Java. Apresenta a estrutura do curso, dividido em 5 aulas, abordando tópicos como Maven, Spring, Spring Boot, Spring MVC, Spring Data e Spring Security. O objetivo é fornecer uma visão geral das principais ferramentas e frameworks para construção de aplicações web com Java.
Semelhante a Apache Spark Overview and Applications (20)
Da Exploração à Produção - Inteligência Artificial com a plataforma Marvin
Da Exploração à Produção - Inteligência Artificial com a plataforma Marvin
[Datafest 2018] Apache Spark Structured Stream - Moedor de dados em tempo qua...
[Datafest 2018] Apache Spark Structured Stream - Moedor de dados em tempo qua...
Python Brasil 2020 - Desmitificando pipeline de dados com Python: o que apren...
Python Brasil 2020 - Desmitificando pipeline de dados com Python: o que apren...
pgModeler: muito mais que um modelador de bancos de dados PostgreSQL
pgModeler: muito mais que um modelador de bancos de dados PostgreSQL
Mais de Diogo Munaro Vieira
Testes metamórficos em problemas complexos
Apresentação sobre o uso de testes metamórficos de software aplicados a problemas com alta complexidade ciclomática ou caixa opaca, como: APIs, contratos complexos, modelos de machine learning e deep learning. São mostrados exemplos do mundo real, ferramentas em python e a aplicação desse estilo de teste automatizado nesses casos de uso.
Paralelismo em machine learning e suas aplicações
Uma apresentação feita pelo time do Data Bootcamp.
Como funciona e aplicações de paralelismo em Machine Learning. Como funcionam as CPUs, GPUs e como os algoritmos de Machine Learning e Deep Learning se beneficiam disso.
No final temos um trabalho interessante que mostra como técnicas de Machine Learning têm sido usadas para melhorar o paralelismo de aplicações
MLOps: Transformando seus modelos de ml em produtos
O documento discute como transformar modelos de machine learning em produtos usando MLOps. Ele explica como organizar e modularizar notebooks de ML, testar módulos, versionar código, automatizar processos e testes, monitorar métricas e implantar modelos de forma automatizada e segura. Além disso, aborda tendências futuras como LGPD, explicabilidade de predições e SLA para predições de ML.
Desenvolvedor de software para Big Data
O documento discute os desafios de trabalhar com grandes volumes de dados e apresenta ferramentas de Big Data como HDFS, Kafka e Spark para armazenar, processar e analisar dados. O autor também apresenta algumas arquiteturas como Lambda e Kappa e encerra convidando o público para conferir seus cursos e vagas de emprego na empresa Globo.
Machine learning em Produção
Entender que Jupyter Notebooks são feitos para prototipação e como colocar modelos de forma resiliente e monitorados em ambientes de produção
Machine Learning integrado ao produto de software: No more XGH
Ao criar um novo modelo de Machine learning para resolver um problema, precisamos garantir para os clientes daquela solução o mesmo que garantimos quando desenvolvemos uma API ou qualquer outro produto de software. Por que achamos tão normal fazer Machine learning no modo XGH (eXtreme Go Horse)? Quais as melhores práticas? Como estamos começando a encarar os produtos na Globo.com? Qual a relação disso com a lei geral de proteção de dados (LGPD)?
Big Data na Globo.com
O documento descreve como a Globo usa big data para entender os interesses dos usuários em sua plataforma digital. A Globo captura bilhões de eventos de usuários diariamente e integra esses dados com dados de terceiros para criar perfis detalhados dos usuários. Eles usam esses perfis para fornecer conteúdo personalizado e recomendações aos usuários, sempre buscando melhorar a experiência do usuário em sua plataforma.
Conhecendo o desejo de mais de 10 milhões de usuários por dia
O documento discute como a Globo.com entrega publicidade para mais de 10 milhões de usuários por dia usando segmentação de usuários e análise de dados. Apresenta como a empresa cria segmentos baseados em navegação, entidades semânticas, notificações push e campanhas de assinatura para fornecer anúncios personalizados de forma assertiva. Também discute a necessidade de centralizar os perfis de usuários para melhor segmentação em tempo real.
Tutorial JupyterHub, Jupyter e PySpark (PythonSudeste)
O documento descreve um curso sobre análise de dados com Python e JupyterHub, incluindo a instalação e configuração do PySpark e JupyterHub, integração do PySpark com Pandas, e customização do Jupyter e JupyterHub. É explicado o que é Jupyter, PySpark, e como adicionar kernels, analisar dados, e administrar o JupyterHub.
Mais de Diogo Munaro Vieira (9)
MLOps: Transformando seus modelos de ml em produtos
MLOps: Transformando seus modelos de ml em produtos
Machine Learning integrado ao produto de software: No more XGH
Machine Learning integrado ao produto de software: No more XGH
Conhecendo o desejo de mais de 10 milhões de usuários por dia
Conhecendo o desejo de mais de 10 milhões de usuários por dia
Tutorial JupyterHub, Jupyter e PySpark (PythonSudeste)
Tutorial JupyterHub, Jupyter e PySpark (PythonSudeste)
Último
DESENVOLVIMENTO DE SOFTWARE I_aula1-2.pdf
A linguagem C# aproveita conceitos de muitas outras linguagens,
mas especialmente de C++ e Java. Sua sintaxe é relativamente fácil, o que
diminui o tempo de aprendizado. Todos os programas desenvolvidos devem
ser compilados, gerando um arquivo com a extensão DLL ou EXE. Isso torna a
execução dos programas mais rápida se comparados com as linguagens de
script (VBScript , JavaScript) que atualmente utilizamos na internet
Logica de Progamacao - Aula (1) (1).pptx
A palavra
lógica está
normalmente
relacionada
com o modo
de pensar de
um indivíduo
em termos de
racionalidade
e coerência
PRODUÇÃO E CONSUMO DE ENERGIA DA PRÉ-HISTÓRIA À ERA CONTEMPORÂNEA E SUA EVOLU...
Este artigo tem por objetivo apresentar como ocorreu a evolução do consumo e da produção de energia desde a pré-história até os tempos atuais, bem como propor o futuro da energia requerido para o mundo. Da pré-história até o século XVIII predominou o uso de fontes renováveis de energia como a madeira, o vento e a energia hidráulica. Do século XVIII até a era contemporânea, os combustíveis fósseis predominaram com o carvão e o petróleo, mas seu uso chegará ao fim provavelmente a partir do século XXI para evitar a mudança climática catastrófica global resultante de sua utilização ao emitir gases do efeito estufa responsáveis pelo aquecimento global. Com o fim da era dos combustíveis fósseis virá a era das fontes renováveis de energia quando prevalecerá a utilização da energia hidrelétrica, energia solar, energia eólica, energia das marés, energia das ondas, energia geotérmica, energia da biomassa e energia do hidrogênio. Não existem dúvidas de que as atividades humanas sobre a Terra provocam alterações no meio ambiente em que vivemos. Muitos destes impactos ambientais são provenientes da geração, manuseio e uso da energia com o uso de combustíveis fósseis. A principal razão para a existência desses impactos ambientais reside no fato de que o consumo mundial de energia primária proveniente de fontes não renováveis (petróleo, carvão, gás natural e nuclear) corresponde a aproximadamente 88% do total, cabendo apenas 12% às fontes renováveis. Independentemente das várias soluções que venham a ser adotadas para eliminar ou mitigar as causas do efeito estufa, a mais importante ação é, sem dúvidas, a adoção de medidas que contribuam para a eliminação ou redução do consumo de combustíveis fósseis na produção de energia, bem como para seu uso mais eficiente nos transportes, na indústria, na agropecuária e nas cidades (residências e comércio), haja vista que o uso e a produção de energia são responsáveis por 57% dos gases de estufa emitidos pela atividade humana. Neste sentido, é imprescindível a implantação de um sistema de energia sustentável no mundo. Em um sistema de energia sustentável, a matriz energética mundial só deveria contar com fontes de energia limpa e renováveis (hidroelétrica, solar, eólica, hidrogênio, geotérmica, das marés, das ondas e biomassa), não devendo contar, portanto, com o uso dos combustíveis fósseis (petróleo, carvão e gás natural).
TOO - TÉCNICAS DE ORIENTAÇÃO A OBJETOS aula 1.pdf
As classes de modelagem podem ser comparadas a moldes ou
formas que definem as características e os comportamentos dos
objetos criados a partir delas. Vale traçar um paralelo com o projeto de
um automóvel. Os engenheiros definem as medidas, a quantidade de
portas, a potência do motor, a localização do estepe, dentre outras
descrições necessárias para a fabricação de um veículo
Segurança Digital Pessoal e Boas Práticas
Em um mundo cada vez mais digital, a segurança da informação tornou-se essencial para proteger dados pessoais e empresariais contra ameaças cibernéticas. Nesta apresentação, abordaremos os principais conceitos e práticas de segurança digital, incluindo o reconhecimento de ameaças comuns, como malware e phishing, e a implementação de medidas de proteção e mitigação para vazamento de senhas.
Último (8)
PRODUÇÃO E CONSUMO DE ENERGIA DA PRÉ-HISTÓRIA À ERA CONTEMPORÂNEA E SUA EVOLU...
PRODUÇÃO E CONSUMO DE ENERGIA DA PRÉ-HISTÓRIA À ERA CONTEMPORÂNEA E SUA EVOLU...
Apache Spark Overview and Applications
- 1. Apache Spark is a unified analytics engine for large-scale data processing. Diogo Munaro Vieira https://spark.apache.org/
- 2. Apache Spark
- 3. Hadoop?
- 6. Arquitetura
- 8. Execução de código (Python)
- 10. Spark Context
- 11. UI do Spark
- 12. Spark DataFrames
- 13. Vendo Schema de dados
- 14. Vendo 2 primeiras linhas
- 17. Agrupando dados
- 18. Criando View e usando SQL puro
- 19. UDF (User Defined Function)
- 20. UDAF (User Defined Aggregate Function)
- 21. UDAF (User Defined Aggregate Function)
- 26. Word Count no Socket
- 30. Checkpoint
- 31. Exemplo Checkpoint com Kafka
- 32. Usando Janela de Tempo
- 33. Usando Janela de Tempo Janela Slide
- 35. Dados atrasados (Watermark) Janela Slide
- 36. Spark MLib
- 38. TF-IDF nos termos extraídos
- 39. Aplicando modelo
- 40. Avaliação de resultados do modelo
- 41. Spark GraphX
- 42. Carregando grafo
- 43. Agregando informação no grafo
- 44. Pagerank em subgrafo Vai brincar lá: http://ampcamp.berkeley.edu/big-data-mini-course/graph-analytics-with-graphx.html
- 45. Submetendo Jobs
- 46. Monitorar Jobs