1) O documento apresenta uma oficina sobre PostgreSQL avançado ministrada por Fabrízio de Royes Mello. 2) A agenda inclui tópicos como preparação de servidor, usuários e permissões, backup e restore, e rotinas de manutenção básicas. 3) O documento fornece detalhes sobre como configurar e gerenciar bancos de dados, usuários, permissões, backups e tarefas de manutenção no PostgreSQL.

1. CONSEGI 2010 Oficina PostgreSQL Avançado Fabrízio de Royes Mello [email_address]

2. Apresentação Fabrízio de Royes Mello ( [email_address] )

3. Gerente de Tecnologia

4. Bacharel em Informática pela URCAMP

5. Experiência Profissional 5 anos como Gerente de CPD Prefeitura

6. DBSeller desde 2005

7. Desenvolvimento de Software desde 1993

8. Experiência em PostgreSQL desde 1999

9. Experiência em PHP desde 2002

10. Desenvolvedor do Software Público e-cidade

11. Agenda Preparação Servidor

12. Usuários e Permissões

13. Backup e Restore

14. Rotinas de Manutenção

15. Básico sobre Monitoramento

16. Ambiente Oficina Ubuntu 10.04 Desktop

17. PostgreSQL 8.4

18. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Preparação Servidor Instalação e Configuração

19. Usuário ”postgres” sistema Operacional

20. Entendendo e Trabalhando com Clusters

21. Iniciando/Parando o Servidor PostgreSQL

22. Instalação e Configuração Repositórios Ubuntu 10.04 $ su – serpro (senha no quadro)

23. $ sudo apt-get install postgresql-8.4 Verificando se as coisas estão OK! $ pg_lsclusters Listar Bases de Dados $ psql -U postgres -l

24. Oops... erro autenticação!!!!

25. Instalação e Configuração Configurar pg_hba.conf $ sudo vim /etc/postgresql/8.4/main/pg_hba.conf

26. Trocar ident e md5 por ”trust” e salvar

27. $ sudo /etc/init.d/postgresql-8.4 reload Listar Bases de Dados (novamente) $ psql -U postgres -l ( gravem isso !!)

28. Agora sim!!!!

29. Usuário ”postgres” S.O. Encapsular atividades em um único usuário Usuário ”postgres” que executa binários

30. Arquivos de configuração e datafiles tem owner e group = ”postgres” Uma breve ”verificação” $ ls -al /etc/postgresql/8.4/main

31. $ ls -al /var/lib/postgresql/8.4

32. $ ps aux | egrep '^postgres'

33. Entendendo e Trabalhando com Clusters Cluster = agrupamento de bancos de dados

34. Gerenciado por um ”processo servidor"

35. Listar clusters (debian based - pg_common) $ pg_lsclusters Criar clusters (debian based - pg_common) $ pg_createcluster http://www.postgresql.org/docs/8.4/static/app-initdb.html

36. Apagar clusters (debian based - pg_common) $ pg_dropcluster

37. Entendendo e Trabalhando com Clusters Exercício Criar um cluster chamado ”consegi”

38. Criar um cluster chamado ”oficina”

39. Configurar autenticação clusters (pg_hba.conf)

40. Listar clusters

41. Apagar cluster ”oficina” Respostas

42. $ sudo pg_createcluster 8.4 consegi

43. $ sudo pg_createcluster 8.4 oficina

44. $ sudo vim /etc/postgresql/8.4/**/pg_hba.conf

45. $ pg_lsclusters

46. $ sudo pg_dropcluster --stop 8.4 oficina

47. Iniciando/Parando Servidor PostgreSQL Iniciando Servidor $ sudo /etc/init.d/postgresql-8.4 start Parando Servidor $ sudo /etc/init.d/postgresql-8.4 stop Reiniciando Servidor $ sudo /etc/init.d/postgresql-8.4 restart Recarregando Configurações $ sudo /etc/init.d/postgresql-8.4 reload http://www.postgresql.org/docs/8.4/static/app-pg-ctl.html

48. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Usuários e Permissões Preparando Ambiente

49. Criando Usuários

50. Grupos de Usuários

51. Definindo Permissões

52. Autenticação (pg_hba.conf)

53. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Preparando Ambiente wget -c http://bit.ly/aXIywX createdb -U postgres consegi2010 bunzip2 -c dump_consegi2010.sql.bz2 | psql -U postgres consegi2010 psql -U postgres -l psql -U postgres consegi2010 consegi2010=# \d

54. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Criando Usuários Considerações Usuários e Grupos no PostgreSQL são chamados ROLES Usuário = Role Com Login

55. Grupo = Role Sem Logim São GLOBAIS para o Cluster inteiro

56. Podem receber permissões (USAGE, INSERT, UPDATE, DELETE, etc) ou ”herdar” permissões de outras roles http://www.postgresql.org/docs/8.4/static/user-manag.html

57. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Criando Usuários Utilitário ”createuser” $ createuser -U postgres -P consegi http://www.postgresql.org/docs/8.4/static/app-createuser.html

58. SQL ”CREATE ROLE” $ psql -U postgres

59. postgres=# CREATE ROLE consegi LOGIN PASSWORD 'consegi'; http://www.postgresql.org/docs/8.4/static/sql-createrole.html

60. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Grupos de Usuários Utilitário ”createuser” $ createuser -U postgres -L grupo_consegi http://www.postgresql.org/docs/8.4/static/app-createuser.html

61. SQL ”CREATE ROLE” $ psql -U postgres

62. postgres=# CREATE ROLE grupo_consegi NOLOGIN; http://www.postgresql.org/docs/8.4/static/sql-createrole.html

63. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Definindo Permissões GRANT - Concedendo Permissões $ psql -U postgres consegi2010

64. consegi2010=# GRANT SELECT ON customer TO consegi; http://www.postgresql.org/docs/8.4/interactive/sql-grant.html

65. REVOKE - Revogando Permissões $ psql -U postgres consegi2010

66. consegi2010=# REVOKE SELECT FROM customer TO consegi; http://www.postgresql.org/docs/8.4/interactive/sql-revoke.html

67. Exercícios Criar 2 Usuários

68. Criar 1 Grupo

69. Conceder permissão de SELECT e INSERT para um usuário criado

70. Conceder permissão de UPDATE para o grupo criado

71. Conceder permissão do Grupo criado para o outro usuário

72. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Autenticação (pg_hba.conf) Localização $ psql -U postgres consegi2010

73. consegi2010=# SHOW hba_file;

74. hba_file

75. --------------------------------------

76. /etc/postgresql/8.4/main/pg_hba.conf

77. (1 linha) http://www.postgresql.org/docs/8.4/interactive/client-authentication.html

78. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Autenticação (pg_hba.conf) Editar

79. $ sudo vim /etc/postgresql/8.4/main/pg_hba.conf

80. Opções Type

81. Database

82. User

83. CIDR-ADDRESS

84. Method

85. Options

86. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Rotinas de Manutenção A rotina de ”Vacuum”

87. O processo ”autovacuum”

88. A rotina de ”reindex”

89. Manutenção arquivo de log

90. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com A rotina de ”Vacuum” Recuperar espaço em disco perdido por DELETEs/UPDATEs

91. Atualizar estatísticas do planejador de consultas (+ANALYZE)

92. Prevenir falha de ”ID wraparound” XID de uma transação é sempre no futuro

93. Valor de 32bits

94. Erro ocore qdo ocorrer mais de4 bilhões de transações sem rodar um VACUUM

95. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com A rotina de ”Vacuum” Utilitário ”vacuumdb” $ vacuumdb -U postgres -v -z consegi2010 http://www.postgresql.org/docs/8.4/interactive/app-vacuumdb.html

96. SQL ”VACUUM” $ psql -U postgres consegi2010

97. consegi2010=# VACUUM ANALYZE VERBOSE; http://www.postgresql.org/docs/8.4/interactive/sql-vacuum.html

98. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com O processo autovacuum Realiza manutenção regular de acordo com uso das ”relações” da base de dados

99. Configuração (postgresql.conf)

100. Como isso ocorre?

101. limiar_vacuum = autovacuum_vacuum_threshold + autovacuum_vacuum_scale_factor * reltuples

102. if (pg_stat_*_tables.n_dead_tup > limiar_vacuum)

103. execute o VACUUM

104. O mesmo vale para o ANALYZE!!

105. http://listas.postgresql.org.br/pipermail/pgbr-geral/2010-July/022088.html

106. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com A rotina ”reindex” Diminuir inchaço (bloat) dos índices

107. Melhorar acesso ao índice

108. Porque? Uma página de disco contém várias chaves

109. Se uma chave não for eliminada a página inteira continua alocada

110. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com A rotina ”reindex” Utilitário ”reindexdb” $ reindexdb -U postgres consegi2010 http://www.postgresql.org/docs/8.4/interactive/app-reindexdb.html

111. SQL ”REINDEX” $ psql -U postgres consegi2010

112. consegi2010=# REINDEX DATABASE consegi2010; http://www.postgresql.org/docs/8.4/interactive/sql-reindex.html

113. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Manutenção arquivo de log Onde estão os logs?

114. psql -U postgres consegi2010 -c ”

115. select name, setting

116. from pg_settings

117. where name in ( 'data_directory', 'log_directory',

118. 'log_filename') ”

119. name | setting

120. ----------------+--------------------------------

121. data_directory | /var/lib/postgresql/8.4/main

122. log_directory | pg_log

123. log_filename | postgresql-%Y-%m-%d_%H%M%S.log

124. http://www.postgresql.org/docs/8.4/interactive/logfile-maintenance.html

125. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Backup e Restore Backup Físico off-line

126. Backup Lógico (plain-sql)

127. Backup Binário (dump)

128. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Backup Físico off-line Backup: $ sudo /etc/init.d/postgresql-8.4 stop $ time sudo tar cjvf /tmp/pgbkp-fisico-main-20100820.tar.bz2 /var/lib/postgresql/8.4/main /etc/postgresql/8.4/main ATENÇÃO!!! INCLUIR TABLESPACES, SE EXISTIR!!!

129. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Backup Físico off-line Restore: $ sudo /etc/init.d/postgresql-8.4 stop $ sudo mv /etc/postgresql/8.4/main /etc/postgresql/8.4/main.old $ sudo mv /var/lib/postgresql/8.4/main /var/lib/postgresql/8.4/main.old $ cd / $ time sudo tar xjvf /tmp/pgbkp-fisico-main-20100820.tar.bz2 $ sudo /etc/init.d/postgresql-8.4 start Atenção, pode ser necessário ajustar permissões caso seja uma instalação diferente!

130. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Backup Lógico (plain-sql) Backup: $ time pg_dump -U postgres consegi2010 | bzip2 -c > /tmp/pgbkp-logico-consegi2010-20100820.sql.bz2 Restore: $ createdb -U postgres consegi2010-restore-logico $ time bunzip2 -c /tmp/pgbkp-logico-consegi2010-20100820.sql.bz2 | psql -U postgres consegi2010-restore-logico 2> /tmp/erros1.txt

131. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Backup Binário (dump) Backup: $ time pg_dump -U postgres -Fc -Z9 consegi2010 -f /tmp/pgbkp-binario-consegi2010-20100820.backup Restore: $ createdb -U postgres consegi2010_restore_bin $ time pg_restore -U postgres -Fc -v -d consegi2010_restore_bin /tmp/pgbkp-binario-consegi2010-20100820.backup

132. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Básico sobre Monitoramento Ferramentas padrões *nix

133. O coletor de estatísticas

134. Configurando o coletor de estatísticas

135. Consultando estatísticas coletadas

136. Uso do disco

137. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Ferramentas padrões *nix Verificar espaço em Disco df -h du Manipulação de processos top (ver processos, alterar prioridade, kill) ps, pg_top kill ( NUNCA -9 no postmaster ) Utilitários find, grep

138. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com O coletor de estatísticas Processo $ ps aux | grep ^postgres | grep "stats ” Configuração $ sudo vim /etc/postgresql/8.4/main/postgresql.conf http://www.postgresql.org/docs/8.4/interactive/monitoring-stats.html http://www.postgresql.org/docs/8.4/interactive/runtime-config-statistics.html

139. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Consultando estatísticas coletadas Visões pg_stat_* SELECT * FROM pg_stat_activity; SELECT * FROM pg_stat_user_tables; http://www.postgresql.org/docs/8.4/interactive/monitoring-stats.html

140. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Uso do disco Sistema Operacional df -h du PostgreSQL psql -U postgres consegi2010 consegi2010=# SELECT pg_database_size('consegi2010'); consegi2010=# SELECT relname, pg_relation_size(relname) FROM pg_class WHERE relkind = 'r'; http://www.postgresql.org/docs/8.4/interactive/functions-admin.html#FUNCTIONS-ADMIN-DBSIZE

141. Algumas Referências! Nacionais

142. http://www.postgresql.org.br

143. https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

144. Internacionais

145. http://www.postgresql.org ( Site oficial )

146. http://www.postgresql.org/community/lists/

147. Dúvidas/Críticas/Sugestões!!! Fabrízio de Royes Mello [email_address] http://fabriziomello.blogspot.com