Palestra apresentado no The Developers Conference - São Paulo de 2017, um evento que aborda diversas tecnologias. A palestra foi uma apresentação sobre a tecnologia Elasticsearch na versão 5.X abordando pequenas questões arquiteturais do cluster e da sua utilização.
Como o elasticsearch salvou minhas buscasWaldemar Neto
O documento discute como o Elasticsearch salvou as buscas do autor ao fornecer um mecanismo de pesquisa de texto completo escalável e em tempo real que permitiu indexar e buscar milhares de documentos com tempos de resposta baixos. O autor também aborda como integrou com segurança o Elasticsearch em seu sistema usando proxies e autenticação para proteger o servidor.
Este documento apresenta os principais conceitos do Elasticsearch, incluindo sua arquitetura orientada a documentos, indexação, buscas, failover e escalabilidade. Demonstra também a instalação, interação via API e indexação de documentos no Elasticsearch.
1) O documento discute o banco de dados PostgreSQL, incluindo sua história, como se conectar ao servidor, e como os dados são organizados. 2) É apresentado um cronograma com tópicos como trabalhar com objetos do banco de dados, o catálogo, e testes de desempenho. 3) Há detalhes sobre a estrutura de arquivos do PostgreSQL e como os objetos como esquemas, tabelas e índices são organizados.
O documento apresenta uma introdução ao Elasticsearch, descrevendo suas principais características como base de dados NoSQL para conteúdos JSON, indexação rápida e distribuída. Explica a estrutura de clusters, índices, tipos e documentos, além de operações como pesquisa, atualização e remoção.
Palestra apresentada na PHP Conference 2014. Introdução ao ElasticSearch, com sua configuração, conceitos e uso. Exemplos de uso do API com o PHP e melhores práticas.
O documento apresenta uma introdução ao Elasticsearch, descrevendo seus principais conceitos como documentos, índices, tipos, shards e clusters. Também resume os processos de instalação, mapeamento, analisadores, aplicações, documentação, SDKs e plugins. Apresenta brevemente ferramentas como Logstash e Kibana e menciona a realização de treinamentos.
Workshop Elasticsearch - Android Dev Conference 2016Thiago Barradas
Workshop apresentado no Android Dev Conference de 2016, um evento da iMasters. O Workshop foi uma apresentação sobre a tecnologia Elasticsearch na versão 2.X e abordando exemplos práticos. A duração da palestra foi de 2h, como era a última e o público pediu, estendemos com mais conteúdo prático. a duração real foi de 2h40.
Elasticsearch - O motor de busca que está mudando o mercado! @ PHPeste 2019Thiago Barradas
O Elasticsearch é uma plataforma de busca e análise distribuída, de código aberto e altamente escalável. Ele fornece funcionalidades como armazenamento e indexação de documentos, buscas full-text e geolocalização, agregações, alertas e classificação. Sua arquitetura distribuída permite alta disponibilidade e fácil escalabilidade.
Como o elasticsearch salvou minhas buscasWaldemar Neto
O documento discute como o Elasticsearch salvou as buscas do autor ao fornecer um mecanismo de pesquisa de texto completo escalável e em tempo real que permitiu indexar e buscar milhares de documentos com tempos de resposta baixos. O autor também aborda como integrou com segurança o Elasticsearch em seu sistema usando proxies e autenticação para proteger o servidor.
Este documento apresenta os principais conceitos do Elasticsearch, incluindo sua arquitetura orientada a documentos, indexação, buscas, failover e escalabilidade. Demonstra também a instalação, interação via API e indexação de documentos no Elasticsearch.
1) O documento discute o banco de dados PostgreSQL, incluindo sua história, como se conectar ao servidor, e como os dados são organizados. 2) É apresentado um cronograma com tópicos como trabalhar com objetos do banco de dados, o catálogo, e testes de desempenho. 3) Há detalhes sobre a estrutura de arquivos do PostgreSQL e como os objetos como esquemas, tabelas e índices são organizados.
O documento apresenta uma introdução ao Elasticsearch, descrevendo suas principais características como base de dados NoSQL para conteúdos JSON, indexação rápida e distribuída. Explica a estrutura de clusters, índices, tipos e documentos, além de operações como pesquisa, atualização e remoção.
Palestra apresentada na PHP Conference 2014. Introdução ao ElasticSearch, com sua configuração, conceitos e uso. Exemplos de uso do API com o PHP e melhores práticas.
O documento apresenta uma introdução ao Elasticsearch, descrevendo seus principais conceitos como documentos, índices, tipos, shards e clusters. Também resume os processos de instalação, mapeamento, analisadores, aplicações, documentação, SDKs e plugins. Apresenta brevemente ferramentas como Logstash e Kibana e menciona a realização de treinamentos.
Workshop Elasticsearch - Android Dev Conference 2016Thiago Barradas
Workshop apresentado no Android Dev Conference de 2016, um evento da iMasters. O Workshop foi uma apresentação sobre a tecnologia Elasticsearch na versão 2.X e abordando exemplos práticos. A duração da palestra foi de 2h, como era a última e o público pediu, estendemos com mais conteúdo prático. a duração real foi de 2h40.
Elasticsearch - O motor de busca que está mudando o mercado! @ PHPeste 2019Thiago Barradas
O Elasticsearch é uma plataforma de busca e análise distribuída, de código aberto e altamente escalável. Ele fornece funcionalidades como armazenamento e indexação de documentos, buscas full-text e geolocalização, agregações, alertas e classificação. Sua arquitetura distribuída permite alta disponibilidade e fácil escalabilidade.
Android DevConference - Elastic Search como ferramenta de busca em aplicações...iMasters
Thiago Barradas e Brunelli Cupello, MundiPagg, falam sobre Elastic Search como ferramenta de busca em aplicações Android no Android DevConference 2016. Saiba mais em:http://androidconference.com.br/
Desenvolvendo um buscador com PHP e Elasticsearch - Fernando Silva - Tchelinu...Tchelinux
Este documento discute o desenvolvimento de um buscador com PHP e Elasticsearch. Ele aborda a comunidade Elasticsearch, as características e arquitetura do Elasticsearch, exemplos de uso com PHP e ferramentas como o Docker. Além disso, apresenta um caso de uso para um sistema de planejamento acadêmico que indexa dados de cursos e instituições no Elasticsearch.
TDC2016POA | Trilha PHP - Desenvolvendo um buscador com PHP e Elasticsearchtdc-globalcode
Este documento fornece uma visão geral de como desenvolver um buscador com PHP e Elasticsearch. Ele discute a comunidade Elasticsearch, as tecnologias da stack Elastic, características e arquitetura do Elasticsearch, conceitos básicos de cluster, índice e documentos, instalação e configuração do Elasticsearch, e exemplos de uso do cliente Elasticsearch para PHP.
O documento fornece uma introdução geral sobre o banco de dados Caché, incluindo sua história, características, plataformas suportadas e clientes. Também discute conceitos como objetos, linguagens, arquitetura e segurança do banco de dados.
MongoDB: Uma forma diferente de pensar no desenvolvimento Marcos Thomaz
Apresentação sobre MongoDB, seus recursos, exemplos de uso e um comparativo de performance. Apresenta modelos e comandos básicos, porém úteis, comparando-os com comandos de bancos de dados relacionais, trazendo um comparativo básico de desempenho.
O documento descreve como criar um data lake na AWS para armazenar e analisar dados de forma flexível e de baixo custo. Os principais componentes discutidos incluem armazenamento em larga escala na AWS S3, processamento de dados em streaming com Kinesis, catálogo e busca de metadados com DynamoDB e Lambda, e sistema de permissões com IAM."
O documento descreve a instalação e configuração do Hibernate, incluindo o uso do banco de dados HSQLDB e a criação de um projeto Hibernate usando o Ant.
O documento fornece uma visão geral do Apache Solr, uma plataforma de busca open source. Ele discute o que é Solr e como ele se relaciona com Lucene, seus requisitos, como configurar esquemas de documentos, adicionar, buscar e remover documentos, e como integrar Solr com Java e PHP. Ele também aborda propriedades como faceting e pivot, instalação, limitações e alternativas.
O documento descreve como Fluentd, Logstash, Elasticsearch e Kibana podem ser usados juntos para análise de logs em tempo real. Fluentd coleta logs de aplicações e os envia para Logstash ou diretamente para Elasticsearch. Logstash filtra e transforma os dados antes de enviá-los para Elasticsearch. Elasticsearch armazena os dados de forma a permitir pesquisas rápidas. Kibana fornece uma interface para visualização e análise dos dados armazenados no Elasticsearch.
Detectando e Respondendo Incidentes de Segurança em Frontends Nginx utilizand...Jeronimo Zucco
O documento descreve como a UCS implementou a pilha ELK (Elasticsearch, Logstash, Kibana) para centralizar logs, criar dashboards de monitoramento e detectar incidentes de segurança nos frontends Nginx. Ele detalha a estrutura de rede da UCS, a rotina inicial de notificação de incidentes, a centralização de logs com ELK e como configurar o Nginx para bloquear ataques e extrair logs para notificação via Kibana.
1) O Hibernate é uma ferramenta que mapeia classes Java para tabelas de banco de dados e controla o ciclo de vida dos objetos entre os dois ambientes. 2) Ele implementa padrões como DAO e Work-Of-Unit e pode ser usado como JPA. 3) O Hibernate oferece recursos como mapeamento, herança, relacionamentos, consultas e transações.
The document discusses consuming REST web services with Android. It covers:
1) The need to have an online application, data formats like JSON and XML, and types of web services like SOAP and REST.
2) Transforming data received from web services into Java objects using libraries like Spring, Volley, and Google Gson.
3) Making HTTP requests to REST services and handling responses.
O documento fornece uma introdução sobre Infraestrutura como Código (IaC) e ferramentas relacionadas como Terraform, Terragrunt e Atlantis. O Terraform é apresentado como uma ferramenta open-source para IaC usando a linguagem HCL. O Terragrunt é um wrapper para o Terraform que ajuda a manter a configuração DRY. O Atlantis automatiza o Terraform através de pull requests no controle de versão.
O Este documento apresenta os conceitos básicos de persistência de dados e o framework Hibernate, que implementa a especificação JPA (Java Persistence API). O documento discute os objetivos da persistência, conceitos como mapeamento objeto-relacional e tipos de persistência. Também resume os principais recursos do JPA e Hibernate como configuração, mapeamento de classes e relacionamentos.
O Java Persistence API(JPA) é um framework utilizado para realizar a persistência dos objetos Java, com ele foi possível obter uma padronização na forma de persistir os dados. A implementação mais conhecida atualmente é o Hibernate, onde é possível diminuir a complexidade de uma aplicação Java – baseada no modelo Orientado a Objetos – para banco de dados que utilizam uma abordagem relacional.
O documento discute as principais diferenças entre o PostgreSQL e Oracle, incluindo: 1) sintaxe SQL, 2) objetos como tabelas e funções, 3) armazenamento e backup, 4) segurança. Também fornece dicas para migrar de Oracle para PostgreSQL.
Este documento fornece uma introdução a três projetos de código aberto para recuperação de informação: Nutch, Lucene e Solr. O Nutch é um sistema de busca na web que faz indexação e clustering de documentos. O Lucene é uma biblioteca de pesquisa de texto de alto desempenho. O Solr é um servidor de pesquisa empresarial que usa o Lucene como motor de pesquisa subjacente.
A gestão de ciência tem ganho, nos últimos anos, um papel cada vez mais importante pois a mesma tem o potencial de permitir: aceder a informação relevante, gerir e reportar, optimizar o processo de financiamento, medir e analisar a actividade de investigação, descobrir tecnologias e ideias inovadoras, identificar da concorrência, aceder a informação fidedigna, completa e atualizada sobre as instituições onde se pratica investigação.
Este workshop está organizado em duas partes. A primeira visa traçar um panorama sobre os sistemas de gestão de ciência e o referencial normativo necessário para os interligar. A segunda visa explicar o papel dos repositórios no ecossistema de gestão de ciência e as boas práticas para assegurar uma interação neste ecossistema.
O documento apresenta o AWS Lake Formation como uma solução gerenciada para construir data lakes limpos e seguros na nuvem AWS de forma rápida. O Lake Formation permite registrar dados existentes no Amazon S3, importar dados de fontes variadas usando crawlers e blueprints, e fornece ferramentas de governança e segurança para controlar o acesso aos dados.
Este certificado confirma que Gabriel de Mattos Faustino concluiu com sucesso um curso de 42 horas de Gestão Estratégica de TI - ITIL na Escola Virtual entre 19 de fevereiro de 2014 a 20 de fevereiro de 2014.
PRODUÇÃO E CONSUMO DE ENERGIA DA PRÉ-HISTÓRIA À ERA CONTEMPORÂNEA E SUA EVOLU...Faga1939
Este artigo tem por objetivo apresentar como ocorreu a evolução do consumo e da produção de energia desde a pré-história até os tempos atuais, bem como propor o futuro da energia requerido para o mundo. Da pré-história até o século XVIII predominou o uso de fontes renováveis de energia como a madeira, o vento e a energia hidráulica. Do século XVIII até a era contemporânea, os combustíveis fósseis predominaram com o carvão e o petróleo, mas seu uso chegará ao fim provavelmente a partir do século XXI para evitar a mudança climática catastrófica global resultante de sua utilização ao emitir gases do efeito estufa responsáveis pelo aquecimento global. Com o fim da era dos combustíveis fósseis virá a era das fontes renováveis de energia quando prevalecerá a utilização da energia hidrelétrica, energia solar, energia eólica, energia das marés, energia das ondas, energia geotérmica, energia da biomassa e energia do hidrogênio. Não existem dúvidas de que as atividades humanas sobre a Terra provocam alterações no meio ambiente em que vivemos. Muitos destes impactos ambientais são provenientes da geração, manuseio e uso da energia com o uso de combustíveis fósseis. A principal razão para a existência desses impactos ambientais reside no fato de que o consumo mundial de energia primária proveniente de fontes não renováveis (petróleo, carvão, gás natural e nuclear) corresponde a aproximadamente 88% do total, cabendo apenas 12% às fontes renováveis. Independentemente das várias soluções que venham a ser adotadas para eliminar ou mitigar as causas do efeito estufa, a mais importante ação é, sem dúvidas, a adoção de medidas que contribuam para a eliminação ou redução do consumo de combustíveis fósseis na produção de energia, bem como para seu uso mais eficiente nos transportes, na indústria, na agropecuária e nas cidades (residências e comércio), haja vista que o uso e a produção de energia são responsáveis por 57% dos gases de estufa emitidos pela atividade humana. Neste sentido, é imprescindível a implantação de um sistema de energia sustentável no mundo. Em um sistema de energia sustentável, a matriz energética mundial só deveria contar com fontes de energia limpa e renováveis (hidroelétrica, solar, eólica, hidrogênio, geotérmica, das marés, das ondas e biomassa), não devendo contar, portanto, com o uso dos combustíveis fósseis (petróleo, carvão e gás natural).
Mais conteúdo relacionado
Semelhante a Palestra Elasticsearch - The Developers Conference - São Paulo - 2017
Android DevConference - Elastic Search como ferramenta de busca em aplicações...iMasters
Thiago Barradas e Brunelli Cupello, MundiPagg, falam sobre Elastic Search como ferramenta de busca em aplicações Android no Android DevConference 2016. Saiba mais em:http://androidconference.com.br/
Desenvolvendo um buscador com PHP e Elasticsearch - Fernando Silva - Tchelinu...Tchelinux
Este documento discute o desenvolvimento de um buscador com PHP e Elasticsearch. Ele aborda a comunidade Elasticsearch, as características e arquitetura do Elasticsearch, exemplos de uso com PHP e ferramentas como o Docker. Além disso, apresenta um caso de uso para um sistema de planejamento acadêmico que indexa dados de cursos e instituições no Elasticsearch.
TDC2016POA | Trilha PHP - Desenvolvendo um buscador com PHP e Elasticsearchtdc-globalcode
Este documento fornece uma visão geral de como desenvolver um buscador com PHP e Elasticsearch. Ele discute a comunidade Elasticsearch, as tecnologias da stack Elastic, características e arquitetura do Elasticsearch, conceitos básicos de cluster, índice e documentos, instalação e configuração do Elasticsearch, e exemplos de uso do cliente Elasticsearch para PHP.
O documento fornece uma introdução geral sobre o banco de dados Caché, incluindo sua história, características, plataformas suportadas e clientes. Também discute conceitos como objetos, linguagens, arquitetura e segurança do banco de dados.
MongoDB: Uma forma diferente de pensar no desenvolvimento Marcos Thomaz
Apresentação sobre MongoDB, seus recursos, exemplos de uso e um comparativo de performance. Apresenta modelos e comandos básicos, porém úteis, comparando-os com comandos de bancos de dados relacionais, trazendo um comparativo básico de desempenho.
O documento descreve como criar um data lake na AWS para armazenar e analisar dados de forma flexível e de baixo custo. Os principais componentes discutidos incluem armazenamento em larga escala na AWS S3, processamento de dados em streaming com Kinesis, catálogo e busca de metadados com DynamoDB e Lambda, e sistema de permissões com IAM."
O documento descreve a instalação e configuração do Hibernate, incluindo o uso do banco de dados HSQLDB e a criação de um projeto Hibernate usando o Ant.
O documento fornece uma visão geral do Apache Solr, uma plataforma de busca open source. Ele discute o que é Solr e como ele se relaciona com Lucene, seus requisitos, como configurar esquemas de documentos, adicionar, buscar e remover documentos, e como integrar Solr com Java e PHP. Ele também aborda propriedades como faceting e pivot, instalação, limitações e alternativas.
O documento descreve como Fluentd, Logstash, Elasticsearch e Kibana podem ser usados juntos para análise de logs em tempo real. Fluentd coleta logs de aplicações e os envia para Logstash ou diretamente para Elasticsearch. Logstash filtra e transforma os dados antes de enviá-los para Elasticsearch. Elasticsearch armazena os dados de forma a permitir pesquisas rápidas. Kibana fornece uma interface para visualização e análise dos dados armazenados no Elasticsearch.
Detectando e Respondendo Incidentes de Segurança em Frontends Nginx utilizand...Jeronimo Zucco
O documento descreve como a UCS implementou a pilha ELK (Elasticsearch, Logstash, Kibana) para centralizar logs, criar dashboards de monitoramento e detectar incidentes de segurança nos frontends Nginx. Ele detalha a estrutura de rede da UCS, a rotina inicial de notificação de incidentes, a centralização de logs com ELK e como configurar o Nginx para bloquear ataques e extrair logs para notificação via Kibana.
1) O Hibernate é uma ferramenta que mapeia classes Java para tabelas de banco de dados e controla o ciclo de vida dos objetos entre os dois ambientes. 2) Ele implementa padrões como DAO e Work-Of-Unit e pode ser usado como JPA. 3) O Hibernate oferece recursos como mapeamento, herança, relacionamentos, consultas e transações.
The document discusses consuming REST web services with Android. It covers:
1) The need to have an online application, data formats like JSON and XML, and types of web services like SOAP and REST.
2) Transforming data received from web services into Java objects using libraries like Spring, Volley, and Google Gson.
3) Making HTTP requests to REST services and handling responses.
O documento fornece uma introdução sobre Infraestrutura como Código (IaC) e ferramentas relacionadas como Terraform, Terragrunt e Atlantis. O Terraform é apresentado como uma ferramenta open-source para IaC usando a linguagem HCL. O Terragrunt é um wrapper para o Terraform que ajuda a manter a configuração DRY. O Atlantis automatiza o Terraform através de pull requests no controle de versão.
O Este documento apresenta os conceitos básicos de persistência de dados e o framework Hibernate, que implementa a especificação JPA (Java Persistence API). O documento discute os objetivos da persistência, conceitos como mapeamento objeto-relacional e tipos de persistência. Também resume os principais recursos do JPA e Hibernate como configuração, mapeamento de classes e relacionamentos.
O Java Persistence API(JPA) é um framework utilizado para realizar a persistência dos objetos Java, com ele foi possível obter uma padronização na forma de persistir os dados. A implementação mais conhecida atualmente é o Hibernate, onde é possível diminuir a complexidade de uma aplicação Java – baseada no modelo Orientado a Objetos – para banco de dados que utilizam uma abordagem relacional.
O documento discute as principais diferenças entre o PostgreSQL e Oracle, incluindo: 1) sintaxe SQL, 2) objetos como tabelas e funções, 3) armazenamento e backup, 4) segurança. Também fornece dicas para migrar de Oracle para PostgreSQL.
Este documento fornece uma introdução a três projetos de código aberto para recuperação de informação: Nutch, Lucene e Solr. O Nutch é um sistema de busca na web que faz indexação e clustering de documentos. O Lucene é uma biblioteca de pesquisa de texto de alto desempenho. O Solr é um servidor de pesquisa empresarial que usa o Lucene como motor de pesquisa subjacente.
A gestão de ciência tem ganho, nos últimos anos, um papel cada vez mais importante pois a mesma tem o potencial de permitir: aceder a informação relevante, gerir e reportar, optimizar o processo de financiamento, medir e analisar a actividade de investigação, descobrir tecnologias e ideias inovadoras, identificar da concorrência, aceder a informação fidedigna, completa e atualizada sobre as instituições onde se pratica investigação.
Este workshop está organizado em duas partes. A primeira visa traçar um panorama sobre os sistemas de gestão de ciência e o referencial normativo necessário para os interligar. A segunda visa explicar o papel dos repositórios no ecossistema de gestão de ciência e as boas práticas para assegurar uma interação neste ecossistema.
O documento apresenta o AWS Lake Formation como uma solução gerenciada para construir data lakes limpos e seguros na nuvem AWS de forma rápida. O Lake Formation permite registrar dados existentes no Amazon S3, importar dados de fontes variadas usando crawlers e blueprints, e fornece ferramentas de governança e segurança para controlar o acesso aos dados.
Semelhante a Palestra Elasticsearch - The Developers Conference - São Paulo - 2017 (20)
Este certificado confirma que Gabriel de Mattos Faustino concluiu com sucesso um curso de 42 horas de Gestão Estratégica de TI - ITIL na Escola Virtual entre 19 de fevereiro de 2014 a 20 de fevereiro de 2014.
PRODUÇÃO E CONSUMO DE ENERGIA DA PRÉ-HISTÓRIA À ERA CONTEMPORÂNEA E SUA EVOLU...Faga1939
Este artigo tem por objetivo apresentar como ocorreu a evolução do consumo e da produção de energia desde a pré-história até os tempos atuais, bem como propor o futuro da energia requerido para o mundo. Da pré-história até o século XVIII predominou o uso de fontes renováveis de energia como a madeira, o vento e a energia hidráulica. Do século XVIII até a era contemporânea, os combustíveis fósseis predominaram com o carvão e o petróleo, mas seu uso chegará ao fim provavelmente a partir do século XXI para evitar a mudança climática catastrófica global resultante de sua utilização ao emitir gases do efeito estufa responsáveis pelo aquecimento global. Com o fim da era dos combustíveis fósseis virá a era das fontes renováveis de energia quando prevalecerá a utilização da energia hidrelétrica, energia solar, energia eólica, energia das marés, energia das ondas, energia geotérmica, energia da biomassa e energia do hidrogênio. Não existem dúvidas de que as atividades humanas sobre a Terra provocam alterações no meio ambiente em que vivemos. Muitos destes impactos ambientais são provenientes da geração, manuseio e uso da energia com o uso de combustíveis fósseis. A principal razão para a existência desses impactos ambientais reside no fato de que o consumo mundial de energia primária proveniente de fontes não renováveis (petróleo, carvão, gás natural e nuclear) corresponde a aproximadamente 88% do total, cabendo apenas 12% às fontes renováveis. Independentemente das várias soluções que venham a ser adotadas para eliminar ou mitigar as causas do efeito estufa, a mais importante ação é, sem dúvidas, a adoção de medidas que contribuam para a eliminação ou redução do consumo de combustíveis fósseis na produção de energia, bem como para seu uso mais eficiente nos transportes, na indústria, na agropecuária e nas cidades (residências e comércio), haja vista que o uso e a produção de energia são responsáveis por 57% dos gases de estufa emitidos pela atividade humana. Neste sentido, é imprescindível a implantação de um sistema de energia sustentável no mundo. Em um sistema de energia sustentável, a matriz energética mundial só deveria contar com fontes de energia limpa e renováveis (hidroelétrica, solar, eólica, hidrogênio, geotérmica, das marés, das ondas e biomassa), não devendo contar, portanto, com o uso dos combustíveis fósseis (petróleo, carvão e gás natural).
As classes de modelagem podem ser comparadas a moldes ou
formas que definem as características e os comportamentos dos
objetos criados a partir delas. Vale traçar um paralelo com o projeto de
um automóvel. Os engenheiros definem as medidas, a quantidade de
portas, a potência do motor, a localização do estepe, dentre outras
descrições necessárias para a fabricação de um veículo
Em um mundo cada vez mais digital, a segurança da informação tornou-se essencial para proteger dados pessoais e empresariais contra ameaças cibernéticas. Nesta apresentação, abordaremos os principais conceitos e práticas de segurança digital, incluindo o reconhecimento de ameaças comuns, como malware e phishing, e a implementação de medidas de proteção e mitigação para vazamento de senhas.
7. Sobre o Elasticsearch
É um motor de buscas distribuído;
Alta disponibilidade;
Facilmente escalável;
Desenvolvido em Java;
Baseado no Apache Lucene;
Open Source;
Comunicação API Rest (Json/HTTP);
Armazenamento de Documentos;
SDK para diversas linguagens;
8. Sobre o Elasticsearch
Recuperação rápida de documentos;
Análise de Logs;
Buscas full-text / geolocation;
Aggregations & Analytics;
Alerta e Classificação;
Score Functions;
Autocomplete e highlight;
Documentação bem completa;
Curva de aprendizado fácil;
11. Documentos
É armazenado sob um Id único;
Documentos são objetos Json;
Tipos de Dados:
String (text / keyword);
Number;
Geopoint;
Geoshape;
Bool;
Date;
Ipv4;
Array;
Object;
12. Indíce e Tipos
Banco Relacional Elasticsearch
Banco Índice
Tabela Tipo
Índice Token, Indíce
Um índice é um container de dados. Cada nó pode hospedar diversos índices;
Um tipo representa uma classe de documentos semelhantes, mesma estrutura;
Um tipo possui seus campos definidos e seus campos possuem tokens
(índices) que fazem referência ao documento;
Analogia com banco relacional para facilitar o entendimento:
13. Cluster, Nós e Shards
Cluster é um conjunto de nós trabalhando juntos;
Todos os nós se comunicam entre si;
Shard é um “pedaço” único de um índice, que pode estar em quaquer nó;
Um shard também pode (e deve) possuir réplicas espalhadas em outros nós;
15. Linux (Ubuntu)
> sudo add-apt-repository ppa:webupd8team/java
> sudo apt-get update
> sudo apt-get install oracle-java7-installer
Instalando o Java
> wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.3.2.deb
> sudo dpkg -i elasticsearch-5.3.2.deb
Instalando o ElasticSearch
> sudo service elasticsearch start
Iniciando o serviço
16. Windows
Instalando o Java
Download:
https://java.com/pt_BR/download/
Após a instalação, definir variável de ambiente do windows
JAVA_HOME com o caminho da instalação do JRE.
Instalando o ElasticSearch
Download ZIP https://www.elastic.co/downloads/elasticsearch
Descomprimir arquivo, acessar o diretório /bin
> .elasticsearch-service.bat install
> .elasticsearch-service.bat start
19. Mapping
É o processo de definição de como um documento e
seus campos são armazenados e indexados;
Define os tipos de dados dos campos (text, keyword,
date, integer, etc);
É possível definir o tipo da string entre text
(analisável) e keyword (não-analisável);
Permite a criação de sub campos;
Permite a definição de templates para campos
adicionados dinamicamente;
20. Analyzer
São responsáveis por tratar os dados e
gerar os índices associados a eles;
O dado é quebrado em diversos tokens a
partir dos Tokenizers e Token Filters;
Os tokens são normalizados;
Esse processo é aplicado tanto na
indexação dos documentos quanto na
busca;
Existem diversos tipos de analisadores,
para idiomas específicos, etc, e com
possibilidade de customização;
21. Índice Invertido
Projetado para permitir uma busca full-text
extremamente rápida;
Consiste em uma lista única com todas as palavras que
aparecem nos documentos e para cada palavra uma
lista de documentos que ela aparece;
Exemplo:
The quick brown fox jumped over the lazy dog
Quick brown foxes leap over lazy dogs in summer
22. Índice Invertido
Exemplo:
The quick brown fox jumped over the lazy dog
Quick brown foxes leap over lazy dogs in summer
Uma busca por “quick brown”
42. Logstash
“Collect, Enrich & Data Transport”
Processa quaisquer dado, de diversas fontes;
Centralizar o processamento de dados de todos os tipos;
Normalizar variando esquema e formatos;
Customização rápida para formatos de log;
Permite facilmente adicionar plugins para fontes de dados personalizados;
43. Beats
“Lightweight Data Shippers”
Carrega dados com um único propósito;
Agentes leves para tarefas específicas;
Alta capacidade de processamento e carga;
Customização rápida para formatos de log;
Arquivos de log, métricas, dados da rede, registros de eventos do
windows, monitoramento de tempo de atividade;
44. Kibana
“Explore & Visualize Your Data”
Dashboard para visualização de dados;
Flexibilidade de análise e plataforma para visualização;
Resumo em real-time e gráficos de streaming de dados;
Interface intuitiva para uma variedade de usuários;
Compartilhamento instantâneo e incorporação de dashboards;
47. Alerting
“Alerting for Elasticsearch”
Alerta e notificação;
Analisar histórico de eventos e dados;
Definição de condições, cronograma, ações;
Integração com diversas ferramentas como JIRA, HipChat e Slack;
48. Security
“Security for Elasticsearch”
Provedor de segurança avançada ao seu cluster;
Acesso autenticado para diversos usuários;
Recursos avançados de criptografia;
Acesso com base em funções/permissões, IP;
Pode ser integrado ao AD /LDAP;
Logs de auditoria com acessos e sessões (HIPAA, PCI DSS, FISMA, ISO);