Transferir como PDF, PPTX
![Globalcode – Open4education
Retention Polices (RP)
CREATE RETENTION POLICY <rp-name> ON <db-name>
DURATION <duration> REPLICATION <n> [DEFAULT]
ex:
CREATE RETENTION POLICY high_precision ON mydb
DURATION 7d REPLICATION 3 DEFAULT](https://image.slidesharecdn.com/tdc2016-trilha-banco-influx-160711141552/75/InfluxDb-como-monitorar-milhares-de-dados-por-segundo-em-real-time-28-2048.jpg)
Carregado porUmbler
InfluxDb: como monitorar milhares de dados por segundo em real time
O documento apresenta uma visão geral sobre o uso de bancos de dados de séries temporais (TSDB) e destaca o InfluxDB, suas características e benefícios, como alta performance e facilidade de agregação de dados. São discutidas práticas de escrita e consulta no InfluxDB, além de uma breve introdução a ferramentas relacionadas, como Telegraf e Kapacitor. O autor também menciona a expectativa de crescimento da Globalcode, com mais de 26 mil usuários e 23 mil sites hospedados.
InfluxDb: como monitorar milhares de dados por segundo em real time
- 1. Globalcode – Open4education Trilha– Banco de dados Marcos Vinicius Ribeiro Artigas Software Engineer na Umbler
- 2. Globalcode – Open4education Oinício, o cenário...
- 3. Globalcode – Open4education 1ano e 3 meses :) + de 26 mil usuários + de 23 mil sites hospedados + de 20 mil contas de e-mail + de 3 mil servidores liberados + de 15 mil bancos de dados criados Previsão para o próximo ano é de triplicar esses valores.
- 4. Globalcode – Open4education Encontramosuma necessidade
- 5. Globalcode – Open4education 1ªTentativa + +
- 6. Globalcode – Open4education 2ªTentativa Elasticsearch Watcher+
- 7. Globalcode – Open4education 3ªe última tentativa
- 8. Globalcode – Open4education Então, oque é um banco de dados de série temporal? (TSDB)
- 9. Globalcode – Open4education Tá, maso que são dados de séries temporais? (Time Series Data )
- 10. Globalcode – Open4education Exemplodo que é!
- 11. Globalcode – Open4education Exemplodo que não é!
- 12. Globalcode – Open4education Ondegeralmente se utiliza?
- 13. Globalcode – Open4education Ondegeralmente se utiliza?
- 14. Globalcode – Open4education Ondegeralmente se utiliza?
- 15. Globalcode – Open4education Ondegeralmente se utiliza?
- 16. Globalcode – Open4education Equais as vantagens mesmo? • Alta performance • Banco dedicado a resolver um único problema • Facilidade para agregação de dados • Rotatividade dos dados
- 17. Globalcode – Open4education Ok,quais TSDB existem? e muitos outros ... Atlas
- 18.
- 19.
- 20. Globalcode – Open4education ●Fundada em 2012. ● Desde 2015 possui sua própria stack para suporte ao InfluxDB, ela se chama TICK. ● Produtos OpenSource e gratuitos. ● Comunidade aquecida e suportada pela própria empresa. ● Seus produtos estão na versão 0.13. Paul Dix
- 21. Globalcode – Open4education Principaiscaracterísticas ● Alta performance para gravação de dados. ● Escrita e leituras realizadas através de uma HTTP API. ● Linguagem de consulta (InfluxQL) parecida com SQL. ● Tags, permitem indexação de séries para consultas rápidas e eficientes. ● Políticas de retenção e consultas contínuas. ● Bibliotecas de client desenvolvidas para as principais linguagens. ● Interface de administração web.
- 22. Globalcode – Open4education Comparaçãocom SQL • Measurements = Tabelas • Tags = Colunas indexadas no SQL • Fields = Colunas não indexadas no SQL • Points = Rows no SQL O Resto é basicamente tudo igual.. ex: CREATE DATABASE teste
- 23. Globalcode – Open4education Escrevendono InfluxDB curl -i -XPOST 'http://localhost:8086/write?db=mydb' --data-binary 'cpu,host=server01 value=9.64 143405556200’ URL da HTTP API de escrita + nome do banco.
- 24. Globalcode – Open4education Escrevendono InfluxDB curl -i -XPOST 'http://localhost:8086/write?db=mydb' --data-binary 'cpu,host=server01 value=9.64 14340555620’ cpu = measurement
- 25. Globalcode – Open4education Escrevendono InfluxDB curl -i -XPOST 'http://localhost:8086/write?db=mydb' --data-binary 'cpu,host=server01 value=9.64 14340555620’ host = tag server01 = valor da tag
- 26. Globalcode – Open4education Escrevendono InfluxDB curl -i -XPOST 'http://localhost:8086/write?db=mydb' --data-binary 'cpu,host=server01 value=9.64 143405556200’ value = field 9.64 = valor da medição
- 27. Globalcode – Open4education Escrevendono InfluxDB curl -i -XPOST 'http://localhost:8086/write?db=mydb' --data-binary 'cpu,host=server01 value=9.64 143405556200’ Data e hora em formato Epoch Time
- 28. Globalcode – Open4education RetentionPolices (RP) CREATE RETENTION POLICY <rp-name> ON <db-name> DURATION <duration> REPLICATION <n> [DEFAULT] ex: CREATE RETENTION POLICY high_precision ON mydb DURATION 7d REPLICATION 3 DEFAULT
- 29. Globalcode – Open4education Consultandono InfluxDb curl -GET 'http://localhost:8086/query?pretty=true' --data-urlencode "db=mydb" --data-urlencode "q=SELECT value FROM cpu WHERE host='server01'"
- 30.
- 31.
- 32. Globalcode – Open4education Aggregates SELECTMEAN(value) FROM cpu WHERE time > now() - 1h GROUP BY time(10m)
- 33. Globalcode – Open4education SchemaExploration • SHOW DATABASES • SHOW RETENTION POLICIES • SHOW SERIES • SHOW MEASUREMENTS • SHOW TAG KEYS • SHOW TAG VALUES • SHOW FIELD KEYS
- 34. Globalcode – Open4education Functions •min / max • percentile • first / last • mean • count • sum • median • distinct • difference • moving_average
- 35. Globalcode – Open4education ContinuousQueries CREATE CONTINUOUS QUERY "cpu_10min" ON mydb BEGIN SELECT mean(value) INTO media_cpu_10_min FROM cpu GROUP BY time(10m) END;
- 36. Globalcode – Open4education Administração •Relay • Cluster • Backup • Restore
- 37.
- 38. Globalcode – Open4education Étipo ELK?
- 39. Globalcode – Open4education Telegraf •+ 50 plugins de input ex: Docker, Linux, Redis, Apache, PHP-FPM, Windows e etc. • + 15 plugins de output ex: InfluxDB, Datadog, File, OpenTSDB, Prometheus e etc.
- 40.
- 41.
- 42. Globalcode – Open4education Kapacitor Kapacitoré uma estrutura de processamento de dados Open Source que facilita a criação de alertas sobre estruturas de dados temporais e detecção de anomalias.
- 43. Globalcode – Open4education Exemplode um .tick stream |from() .measurement('cpu') |window() .period(10m) .every(5m) |alert() .warn(lambda: "value" > 80) .crit(lambda: "value" > 90) .log('/tmp/alerts.log') .slack() .channel(“#alerts”)
- 44. Globalcode – Open4education InfluxDb+ Kapacitor
- 45. Globalcode – Open4education Maisinformações Documentação e Slack da InfluxData: https://docs.influxdata.com/ https://gophers.slack.com/messages/influxdb/
- 46. Globalcode – Open4education Perguntas? Obrigado! Meuscontatos: marcos@umbler.com amigos@umbler.com