3. Nos presentamos
Joan Valduvieco
joan.valduvieco@ofertix.com
Jordi Llonch
jordi.llonch@ofertix.com
@jordillonch

4. ¿Qué es?

5. vendemos productos y
servicios a precios
interesantes por
internet

6. cada día abrimos 2-6
pequeñas tiendas
durante 3-4 días

8. vendemos
oportunidades de ocio

10. perfumería y cosmética

12. productos de
temporada

14. hasta tenemos una
tienda de las de toda la
vida...

16. en todos los proyectos
IT está en el camino
crítico

17. vale pues tendréis un
equipo de IT grande y a
picar código, no?

18. bueno...

19. venimos de un equipo
pequeño...

20. que hacía software...

21. era

22. ágil

23. rápido

24. barato

25. luego el proyecto fue
creciendo

26. pero no queríamos
perder los orígenes...

27. por eso empezamos
con...

28. continuous deployment

29. requisitos ágiles

30. pequeños pasos hacia el
objetivo

31. KISS

32. test mínimo
pero suficiente para
nosotros

33. pero hoy hablaremos
de...

34. MONITORIZACIÓN

35. y de cómo y porqué
monitorizamos

36. Para nosotros es vital

37. nuestro proyecto
está vivo

38. cada día cambia
MUCHO
en un año hemos añadido 3
líneas de negocio

39. así que los tests quedan
obsoletos muy rápido

40. Cuando algo va mal

41. si no lo vemos no pasa
para
nosotros ...

42. en producción
SIEMPRE
hay fallos
Aunque haya
mucho test

43. las cosas se estropean

44. pero al final los
usuarios son los que lo
“sufren”

45. y normalmente no
llaman para quejarse

46. si sabemos que las
cosas se rompen o que
a veces la liamos...

47. como mínimo
intentemos tardar poco
en arreglarlo

48. podriamos ser instaladores
de antenas...

49. y eso nos haría poco
ágiles

50. pero tenemos la suerte
de desarrollar webs

51. así que podemos...

52. actualizar el código de
la web en minutos

53. y hacer rollback en
segundos
... si algo va mal...

54. tenemos la mayoría de
código en un mismo
sitio

55. sólo una versión del
código en producción

56. tenemos conexión
directa con los clientes

57. y miles de clientes
usando nuestro código

58. ¡usemos esas
ventajas para ser
más eficientes!

59. un día decidimos que...

60. íbamos a buscar el
balance entre test y
monitorización

61. actualizaríamos
producción
con mucha frecuencia

62. haríamos cambios
pequeños

63. y si algo iba mal, lo
arreglaríamos rápido

64. pero para darnos
cuenta, necesitábamos...

65. ¡MONITORIZAR!

66. vaaaale,
¡monitorizaremos!

67. al monitorizar nos
damos cuenta de que...

68. ¿3.2 es normal?

69. si no tenemos histórico
no sabemos si lo que
vemos es normal

70. así que es mejor
empezar temprano a
monitorizar

71. también tendremos
falsas alarmas...

72. realmente
inoportunas

73. pero si no monitorizas
no te das cuenta

74. hasta que es demasiado
tarde

75. “Ui, al reiniciar algo no
va bien”

76. es mejor que

77. “Ui, se nos ha caído
todo”

78. al principio se ven
muchos fallos
¡paciencia y a solventarlos!

79. vale, usamos nagios,
munin, etc...
y ya lo tenemos, ¿no?

80. bueno...

81. nosotros usamos estas
herramientas pero no
nos sirven para todo

82. vamos a hablar de
nuestro sistema de
monitorización

83. ¿pero por qué os hacéis un
nuevo sistema de
monitorización?

84. Sobretodo para
conocer los eventos de
la aplicación y
enlazarlos con los
eventos del sistema

85. minimizar tecnologías
KISS

86. adaptado a nuestras
necesidades:

87. monitorizar logs
parsear y actuar rápido!

88. deploy continuo
monitorización en
tiempo real
y aviso sonoro

89. relacionar eventos
con medidas
gráficas con
flags de eventos

90. todo el equipo tiene
acceso a la
monitorización

91. Miquel monitoriza

92. Jordi monitoriza

93. Dani también
monitoriza

94. todos
monitorizamos

95. ¡venga al lío!

96. Componentes del
sistema

97. obtien
LogMonitor PublisherCli en
datos
PUB
PUB
RabbitMQ
SUB
SUB
Collector WebUIMonitor
utiliza
n
los da
tos
WebUIStats
MongoDB

98. LogMonitor
obtien
LogMonitor PublisherCli en
datos
PUB
PUB
PUB
PUB
RabbitMQ
SUB
SUB
SUB
SUB
Collector WebUIMonitor
utiliza
n
los da
tos
WebUIStats
MongoDB

99. ¿qué es?

100. parsea archivos de log

101. publica errores y valores
estadísticos

102. ¿cómo funciona?

103. kernel
tail -f
archivo.log
parser
actores

104. ¿qué necesita para
funcionar?

105. test_error_access_log.yml
upstreamerrors:
file: 'test/error.log'
file_stat: 'test/error.log.sdf'
parser: LogMonitorParsersNginxErrorParser
actors:
- LogMonitorActorsErrorsErrorPhpActor
- LogMonitorActorsErrorsErrorSqlActor
- LogMonitorActorsErrorsErrorSymfonyActor
actor_config:
name: '[test] error.log'
publishers:
publisher_1:
class: LogMonitorPublishersRabbitMQ
config:
host: localhost
port: 5672
user: guest
pass: guest
vhost: /
exchange: myproject_errors

106. ejemplo de código

107. Parser

108. Actor

109. PublisherCli
obtien
LogMonitor PublisherCli en
datos
PUB
PUB
PUB
PUB
RabbitMQ
SUB
SUB
SUB
SUB
Collector WebUIMonitor
utiliza
n
los da
tos
WebUIStats
MongoDB

110. ¿qué es?

111. publica eventos o valores desde
la línea de comandos

112. está autocontenido en:
publisher_cli.phar

113. unos ejemplos

114. evento: ¡OJO iniciamos
backup!
php publisher_cli.phar --name="backup
started" --event

115. publicar valor desde shell
script
php publisher_cli.phar --name=log_length
--types=value
--value=”$(cat /tmp/file.log|grep error|wc -l)”

116. publicar valor desde STDIN
while true; do ls | wc -l | php
publisher_cli.phar --name=num_files
--types=time --value=STDIN;sleep 5;done

117. obtien
en
Collector
LogMonitor PublisherCli
datos
PUB
PUB
PUB
PUB
RabbitMQ
SUB
SUB
SUB
SUB
Collector WebUIMonitor
utiliza
n
los da
tos
WebUIStats
MongoDB

118. ¿qué es?

119. se suscribe al canal dónde se
publican los valores estadísticos

120. almacena valores estadísticos

121. ofrece una API para consultar
estadística

122. un ejemplo

123. storage:
storage_1:
class: StatsStorageMongoFactory
config:
server: 'mongodb://localhost:27017'
default_database: 'stats_myproject'
autorotate: false
events_time_to_store: 365 # days
output:
storage: storage_1
channel:
class: StatsChannelRabbitMQ
config:
debug: false
host: localhost
port: 5672
user: guest
pass: guest
vhost: /
exchanges:
- myproject_stats

124. stats:
default_types:
time:
operations:
- 'median'
- 'percentile_95'
- 'max'
- 'min'
retentions:
- '60s:1d'
counter:
operations:
- 'count'
retentions:
- '60s:1d'
- '1h:15d'

125. obtien
en
WebUIStats
LogMonitor PublisherCli
datos
PUB
PUB
PUB
PUB
RabbitMQ
SUB
SUB
SUB
SUB
Collector WebUIMonitor
utiliza
n
los da
tos
WebUIStats
MongoDB

126. ¿qué es?

127. genera un UI web con
gráficos interactivos de tus
estadísticas

128. un ejemplo

129. charts:
chart1:
title: 'Sentinel 7 days'
options:
xAxis:
maxZoom: 3600000 # 1h
tooltip:
yDecimals: 2
series:
serie1:
title: 'myweb average time (s)'
url: 'http://localhost/Collector/web/stats_events/
sys_myweb_sentinel_myweb_60s_7d/median/2/0'
serie2:
title: 'google average time (s)'
url: 'http://localhost/Collector/web/stats_events/
sys_myweb_sentinel_google_60s_7d/median/2/0'
interval: 10
display:
title: 'Sentinel'
template: tpl_1_1
charts:
- chart1

130. demo

131. WebUIMonitor
obtien
LogMonitor PublisherCli en
datos
PUB
PUB
PUB
PUB
RabbitMQ
SUB
SUB
SUB
SUB
Collector WebUIMonitor
utiliza
n
los da
tos
WebUIStats
MongoDB

132. ¿qué es?

133. UI que muestra errores y eventos
en tiempo real y reproduce un
sonido para errores críticos

134. 2 partes

135. servidor websocket en PHP atendiendo a
los clientes websocket y suscrito al canal de
errores (RabbitMQ)

136. cliente Javascript que conecta con el
servidor websocket y muestra los errores y
reproduce sonidos

137. ¿qué pinta tiene?

138. WebUIMonitor

139. Tecnologías utilizadas
O... qué juguetes nuevos tendré...

141. nuestro lenguaje base

143. ClassLoader

144. YAML

145. Console

147. mecanismo estándar de
comunicación entre
componentes

149. almacenamos valores
estadísticos

151. pantallas de usuario
ricas

153. comunicación
bidireccional

154. enviamos errores y
eventos en tiempo real
al navegador

156. gráficas interactivas

157. permite mostrar
marcas de eventos

158. y hacer zoom

159. ¿Qué monitorizamos?

160. errores php, php-fpm,
symfony, mysql, redis,
404...

161. tiempo de login

162. tiempo renderizado de
páginas clave

163. número de logins por
minuto

164. número de productos
añadidos al carrito por
minuto

165. número compras por
minuto

166. etc...

167. ¿de qué nos ha servido
todo esto?

168. nos dice cuando es
importante no fallar...

169. picos de compra

170. nos damos cuenta
cuando nos pasamos...

171. el deploy satura algo

172. previene desastres

173. algo se está rompiendo por momentos...

174. en general nos avisa de que
hay algo para investigar

175. y nos conecta con la
realidad de nuestro
sistema

177. componente
de alertas

178. persistencia
en el LogMonitor

179. errores producidos en
el navegador

180. métricas desde el
punto de vista del
navegador

181. mejoras en la
arquitectura

182. conclusión

183. ¡MONITORIZA!

184. https://github.com/ofertix
¡muchas
gracias!

185. Fuentes imágenes
http://all-that-is-interesting.com/fixing-an-antennae-on-the-empire-state-building
http://fountainxm.en.alibaba.com/column/207827945/Quality.html
http://gooddeedaday.wordpress.com/2010/02/23/day-540-once-was-blind-but-now-i-see/
http://www.squidoo.com/dangerous-bugs
http://www.veryicon.com/icons/object/lifesaver/red-life-saver.html
http://www.etsy.com/listing/38951509/white-beach-pebbles-engraved-stone-trio
http://www.fastinternetbrowser.net/
http://livewareis.blogspot.com.es/2011/07/mejora-de-procesos-una-opcion-para.html
http://www.asianhealthsecrets.com/letha/?p=2314
http://chocolatey.org/packages/mongodb