O documento apresenta uma palestra sobre arquitetura e processamento de dados em tempo real. A palestra discute a diferença entre data lake e data warehouse, introduz a arquitetura lambda proposta por Nathan Marz para big data e realiza uma demonstração.
Apresentação sobre Data warehouse e Data mining do curso de Gestão da Informação UFPR. Matéria Informática aplicada II (Business Intelligence).
Autores: Cassius Busemeyer, Cristiane Aparecida Luquetta, Rafael Slonik
Apresentação que visa demonstrar resumidamente os conceitos básicos de um repositório de dados Data Warehouse. Assim explicando a estrutura e os resultados esperados de um Data Warehouse.
Apresentação realizada a disciplina de Gestão da Informação. Buscou-se destacar as principais características, contexto histórico e um case de implantação de Data Warehouse.
Módulo 12 - Introdução aos sistemas de informaçãoLuis Ferreira
1. Necessidade das bases de dados.
2. Sistemas de gestão de bases de dados.
3. Os modelos como métodos de conceção de sistemas.
4. Modelos utilizados na gestão de bases de dados (Relacional, Hierárquico, Rede).
Como Evitar que o seu Data Lake vire um Data SwampThiago Chiarato
Atualmente o grande desafio não é mais ter dados para analisar. Mas sim organizar esse volume gigantestco de informações que recebemos diariamente de uma maneira organizada paraser utilizada no futuro.
Você sabe o que é um Data Lake? Como organizar um DL para que ele não vire um Data Swamp?
Apresentação sobre Data warehouse e Data mining do curso de Gestão da Informação UFPR. Matéria Informática aplicada II (Business Intelligence).
Autores: Cassius Busemeyer, Cristiane Aparecida Luquetta, Rafael Slonik
Apresentação que visa demonstrar resumidamente os conceitos básicos de um repositório de dados Data Warehouse. Assim explicando a estrutura e os resultados esperados de um Data Warehouse.
Apresentação realizada a disciplina de Gestão da Informação. Buscou-se destacar as principais características, contexto histórico e um case de implantação de Data Warehouse.
Módulo 12 - Introdução aos sistemas de informaçãoLuis Ferreira
1. Necessidade das bases de dados.
2. Sistemas de gestão de bases de dados.
3. Os modelos como métodos de conceção de sistemas.
4. Modelos utilizados na gestão de bases de dados (Relacional, Hierárquico, Rede).
Como Evitar que o seu Data Lake vire um Data SwampThiago Chiarato
Atualmente o grande desafio não é mais ter dados para analisar. Mas sim organizar esse volume gigantestco de informações que recebemos diariamente de uma maneira organizada paraser utilizada no futuro.
Você sabe o que é um Data Lake? Como organizar um DL para que ele não vire um Data Swamp?
Introdução ao Banco de dados - Prof. Daniel BrandãoDaniel Brandão
Slides revisados sobre introdução ao estudo de Banco de dados, feito especificamente para atender a grade do curso de Análise e Desenvolvimento de Sistemas da faculdade AVEC.
Em um mundo movido por dados, a capacidade de extrair valor de vastos repositórios é fundamental. Nesse contexto, o Dremio Data Lake se destaca como uma solução inovadora, oferecendo uma abordagem ágil e eficiente para a gestão e análise de dados em ambientes de lakehouses e data lakes.
O Dremio Data Lake emerge como uma solução robusta e ágil para as demandas crescentes de gestão e análise de dados em ambientes complexos. Ao unificar lakehouses e data lakes, acelerar o acesso aos dados, oferecer conectividade ampla e garantir segurança e governança, o Dremio se posiciona como uma escolha valiosa para organizações que buscam desbloquear o verdadeiro potencial de seus repositórios de dados distribuídos.
Trabalho apresentado ao Prof. Alexandre Ribeiro Afonso, da Faculdade de Informação e Comunicação da Universidade Federal de Goiás, Como requisito parcial para obtenção de nota na disciplina de Tópicos Especiais em GI 1. Tema do trabalho (BANCO DE DADOS RELACIONAIS)
Aprenda a como criar Dashboards matadores com Microsoft Power BI, Storytelling é um recurso que, quando bem usado, enriquece o seus Painéis.
Para consultoria ou Treinamento >>> paulo@paulorsantos.com
Você obterá uma visão geral sobre Big Data!
(O que é Big Data?
Como esta o mercado de trabalho?
Quem está falando sobre o tema?
O que vem sendo feito nas indústrias e empresas?
Por onde começar?
Contatos:
Facebook: fb.com/PauloRicardovds
Linkedin:/in/pauloricardovds
Github:/pauloricardovds
Youtube: /user/pauloricardodba
Site: http://www.paulorsantos.com
Email: Paulo@paulorsantos.com
Desmistificando o Big Data com o Microsoft Azure HD Insight + Power BIPaulo Ricardo Santos
Nesta palestra falaremos sobre o Big Data no Microsoft Azure HDInsight com o ecossistema Apache Spark e Zeppelin, onde mostrarei como processar grandes quantias de dados e fazer a integração direto com o Power BI service de maneira simples.
Contatos:
Facebook: https://www.facebook.com/PauloRicardovds
linkedin: https://www.linkedin.com/in/pauloricardovds
Github: https://github.com/pauloricardovds
Site: http://www.paulorsantos.com
ARQUITETURA LAMBDA EM BIG DATA E PROCESSAMENTO EM TEMPO REAL COM STREAM ANALY...Paulo Ricardo Santos
Nesta palestra, você aprenderá quais artefatos utilizar em uma arquiteta Lambda de Big Data para processante de dados em tempo real, e quais as principais diferenças de uma arquitetura de BI para Big Data e como criar uma arquiteta de processamento de Streaming na nuvem da Microsoft Azure.
Link de live: https://www.youtube.com/watch?v=vmgg5g88rOI
site: paulorsantos.com
Projeto git:https://github.com/pauloricardovds/azure-iot-sdk-csharp
Curso da Udemy:http://bit.ly/2R0nxQ9
Processamento de dados em tempo real com Azure IoT Hub, Stream Analytics e Po...Paulo Ricardo Santos
Gostaria de saber como processar grandes volumes de dados em tempo real para criar novas insights e entender com funcionado o universo de Big Data e IoT na plataforma de dados Microsoft Azure utilizando as ferramentas Azure IoT Hub, Stream Analytics e Power BI, e como podemos aplicar isso na indústria 4.O?
Link para o material:https://medium.com/@pauloricardovds/processamento-de-dados-em-tempo-real-com-azure-iot-hub-stream-analytics-e-power-bi-sqlsaturday-7e24ffbcd685
¿Cómo influye el Internet de las cosas en nuestra vida? Y como crear su prim...Paulo Ricardo Santos
se ha hablado sobre cómo el IoT / Big Data está cambiando la forma en que dormimos, comemos y realizamos diversas actividades de nuestro día a día, haciendo nuestra vida más fácil y práctica y cómo crear un proyecto
Vamos aprender alguns conceitos de Big Data e arquitetura Lambda, onde mostrarei algumas ferramentas que possibilita a construção de uma arquitetura lambda do universo Big Data.
Iot e Big Data na Indústria 4.0: O Futuro da Indústria ConectadaPaulo Ricardo Santos
Nesta palestra vamos entender a importância do Big Data e IoT para a Indústria 4.0, e que está a cada dia mais presente na vida das pessoas e indústrias. A previsão é de que essa revolução tecnológica mude para sempre a forma como os produtos são manufaturados, impactando setores da economia e do mercado.
Desmistificando o Big Data com o Microsoft Azure HDInsight + PowerBIPaulo Ricardo Santos
Nesta palestra falamos sobre o Big Data no Microsoft Azure HDInsight com o ecossistema Apache Spark e Hive, onde mostrarei como processar grandes quantias de dados e fazer a integração direto com o Power BI Service de maneira simples.
2. SOBRE MIM
Paulo Ricardo Santos
Pós-Graduado Business intelligence
pauloricardodba@gmail.com
Linkedin: pauloricardovds
3. AGENDA
Data Lake x Data Warehouse
Arquitetura de Business Intelligence
Introdução ao Big Data
Arquitetura Big Data - Lambda
Demo
4. DEFINIÇÃO DE DATA LAKE
“If you think of a datamart as a store of bottled water –
cleansed and packaged and structured for easy consumption –
the data lake is a large body of water in a more natural state.
The contents of the data lake stream in from a source to fill the
lake, and various users of the lake can come to examine, dive
in, or take samples.”
Segundo Tamara Dull:
Um Data Lake é um repositório de armazenamento que contém uma
grande quantidade de dados brutos em seu formato nativo, incluindo
dados estruturados, semi-estruturados e não estruturados. A estrutura e
os requisitos de dados não são definidos até que os dados sejam
necessários.
7. NÃO CUSTA NADA LEMBRAR?
Big Data é o termo que descreve o imenso volume de dados –
estruturados e não estruturados – que impactam os negócios no dia
dia. Mas o importante não é a quantidade de dados, e sim o que as
empresas fazem com os dados que realmente importam.