Este documento fornece uma introdução aos conceitos de profiling, debug e tracing de aplicações Python. Ele discute ferramentas como pdb, cProfile, line_profiler, disptrace e memory_profiler, mostrando exemplos de como cada uma delas pode ser usada para analisar o desempenho e depurar aplicações. O documento também aborda conceitos como debugging, profiling, tracing e análise de memória, além de responder possíveis dúvidas sobre o tema.

1. Como medir a sua
aplicação
Introdução à conceitos de profiling, debug e tracing
Mauro Baraldi - Python Brasil 2012

2. Quem sou eu?

3. http://www.66batman.com/cgi-bin/yabb2/YaBB.pl?num=1296085129

4. Mauro Navarro Baraldi
Programando em Python desde 2001
Desenvolvedor
Mais

5. Pai da Maria Eduarda,
do João Fernando
e marido da Camila

6. Tópicos
- Conceitos
- Por que monitorar uma aplicação
- Debugging
- Profiling
- Tracing
- Memory Profiling
- Holly Grail
- Dúvidas?

7. Conceitos
- Debug: Metodo de Investigação do sistema
(em execução) em busca do problema/erro.
- Profiling: Análise dinâmica de um sistema
para medir recursos usado por ele no sistema.
- Tracing: Processo de gravar o
comportamento de runtime do sistema para
análise (debug/profiling)

8. Porque monitorar uma aplicação
- Aprendizado
- Bugs
- Segurança
- Desempenho

9. Premature optimization is the root of all evil.
Tony Hoare
http://www.turing100.manchester.ac.uk/index.php/speakers/invited-list/11-speakers/39

10. Debugging
http://static.ddmcdn.com/gif/myths-everyday-science-1.jpg

11. pdb
Biblioteca da padrão para debugging de código
Prós:
- fácil
- simples
- nativa
Contras:
- IMHO nenhum!

12. debug_app.py
#!/usr/bin/env python
from pdb import set_trace
def debug_me(value):
set_trace() # Aqui ativa-se o debug
if value > 0:
print 'positivo'
elif value < 0:
print 'negativo'
else:
print 'zero'
if __name__ == '__main__':
debug_me(0)

13. resultado do pdb
mauro@r2d2:~/projetos/pythonbrasil8$ python pdb_app.py
> /home/mauro/projetos/pythonbrasil8/pdb_app.py(9)debug_me()
-> if value > 0:
(Pdb) n
> /home/mauro/projetos/pythonbrasil8/pdb_app.py(11)debug_me()
-> elif value < 0:
(Pdb) n
> /home/mauro/projetos/pythonbrasil8/pdb_app.py(14)debug_me()
-> return 'zero'
(Pdb) n
--Return--
> /home/mauro/projetos/pythonbrasil8/pdb_app.py(14)debug_me()->'zero'
-> return 'zero'
(Pdb) n
--Return--
> /home/mauro/projetos/pythonbrasil8/pdb_app.py(17)<module>()->None
-> debug_me(0)
(Pdb) n

14. Profiling
http://www.guardian.co.uk/books/booksblog/2012/oct/30/scary-stories-halloween-francis-marion-crawford

15. Standard Library
http://aidsource.ning.com/page/resource-library

16. cProfile
Biblioteca padrão para profiling
Prós:
- standard lib
- baixo impacto na execução.
- usa extensão em C
Contras:
- só funciona com metodos
- não há suporte para gráficos (nativo)

17. profile_app.py
#!/usr/bin/env python
def profile_me(limit):
counter = 0
while counter <= limit:
counter = counter + 1
if __name__ == '__main__':
profile_me(10)

18. resultado do profile
mauro@r2d2:~/projetos/pythonbrasil8$ python -m cProfile profile_app.py
1 function calls in 0.000 seconds
Ordered by: standard name
ncalls tottime percall cumtime percall filename:lineno(function)
1 0.000 0.000 0.000 0.000 {method 'disable' of '_lsprof.Profiler' objects}
8 function calls in 0.001 seconds
Ordered by: standard name
ncalls tottime percall cumtime percall filename:lineno(function)
1 0.000 0.000 0.001 0.001 cProfile.py:132(run)
1 0.000 0.000 0.001 0.001 cProfile.py:137(runctx)
1 0.000 0.000 0.001 0.001 cProfile.py:14(run)
1 0.000 0.000 0.000 0.000 cProfile.py:5(<module>)
1 0.000 0.000 0.000 0.000 cProfile.py:66(Profile)
1 0.000 0.000 0.001 0.001 profile_app.py:3(<module>)
1 0.000 0.000 0.000 0.000 profile_app.py:5(profile_me)
1 0.001 0.001 0.001 0.001 {method 'enable' of '_lsprof.Profiler' objects

19. resultado do profile - legenda
ncalls: numero de chamados
tottime: tempo total gasto na função dada (excluindo o tempo feito nas
chamadas para sub-funções)
percall: tottime/ncalls
cumtime: tempo total gasto nesta e todas as subrotinas
percall: cumtime/ncalls
filename:lineno(function): dados respectivos de cada função

20. profile
Outra biblioteca inspirada na cProfile (Pure Python)
Prós:
- standard lib
Contras:
- os mesmo da cProfile
- impacto significante na execução.
Usada para extender as funcionalidades do profiler default (cProfile).

21. hotshot
Biblioteca para profiling em alto desempenho
Prós:
- standard lib
- baixo impacto na execução, cProfile.
Contras:
- mais lento na geração dos dados
- não funciona bem com threads
- será descontinuado em breve.

22. Bibliotecas e
Aplicações
Externas

23. line_profiler
Profiling linha a linha
Prós:
- simples e fácil
- usa a cProfile
- visão detalhada da execução do código.
Contras:
- desempenho inferior ao cProfile
- resultado resumido

24. resultado do line_profiler
mauro@r2d2:~/projetos/pythonbrasil8$ kernprof.py -l line_profile_app.py
Wrote profile results to line_profile_app.py.lprof
mauro@r2d2:~/projetos/pythonbrasil8$ python -m line_profiler line_profile_app.py.lprof
Timer unit: 1e-06 s
File: line_profile_app.py
Function: profile_me at line 3
Total time: 1e-05 s
Line # Hits Time Per Hit % Time Line Contents
==============================================================
3 @profile
4 def profile_me(limit):
5
6 1 1 1.0 10.0 counter = 0
7
8 12 5 0.4 50.0 while counter <= limit:
9 11 4 0.4 40.0 counter = counter + 1

25. Análise
http://blog.hubspot.com/blog/tabid/6307/bid/31619/How-to-Conduct-Competitive-Analysis-to-Step-Up-Your-Content-Strategy.aspx

26. RunSnakeRun
Analise de dados gerados a partir do profiler.
http://mg.pov.lt/run-snake-run.png

27. runsnakerun_app.py
#!/usr/bin/env python
def print_function(data):
print data
def char2ord(char):
return ord(char)
def profile_me(word):
for char in word:
num = char2ord(char)
print_function('Ordinal from %s is %i' % (char, num))
if __name__ == '__main__':
profile_me("Python Brasil 8")
gerando os dados de análise
$ python -m cProfile -o snake.data runsnakerun_app.py

28. visualização da análise

29. Tracing
http://cavemanreflections.blogspot.com.br/p/follow-yellow-brick-road.html

30. trace
Biblioteca da padrão para tracing de código
Prós:
- fácil
- simples
- nativa
Contras:
- IMHO nenhum!

31. trace_app.py
#!/usr/bin/env python
def trace_me(value):
if value > 0:
return 'positivo'
elif value < 0:
return 'negativo'
else:
return 'zero'
if __name__ == '__main__':
trace_me(0)

32. resultado do line_profiler
$ python -m trace --trace trace_app.py
--- modulename: trace_app, funcname: <module>
trace_app.py(3): def trace_me(value):
trace_app.py(12): if __name__ == '__main__':
trace_app.py(13): trace_me(0)
--- modulename: trace_app, funcname: trace_me
trace_app.py(5): if value > 0:
trace_app.py(7): elif value < 0:
trace_app.py(10): return 'zero'
--- modulename: trace, funcname: _unsettrace
trace.py(80): sys.settrace(None)

33. disptrace
Tracing de código exportando a saida para HTML
Prós:
- exporta em um formato visual
Contras:
- roda dentro de um contexto da app

34. disptrace_app.py
import disptrace
def browse_disptrace(dt):
import tempfile, webbrowser, urllib, os
html = dt.render()
tempfiledes, temppath = tempfile.mkstemp(suffix='.html')
tempfile = os.fdopen(tempfiledes, "w")
tempfile.write(html)
tempfile.close()
tempurl = "file://{}".format(urllib.pathname2url(temppath))
webbrowser.get(None).open_new(tempurl)
def if_test(a, b, c):
if a > 10:
print "this"
elif b > 10:
print "that"
else:
print "result is", b*c
t = disptrace.DispTrace()
t.runfunc(if_test, 1, 2, 3)
browse_disptrace(t)

35. visualização da análise

36. Memory Profiling
http://spectrum.ieee.org/semiconductors/memory/the-quest-for-a-universal-memory

37. memory profiler
Profiling de memoria
Prós:
- facil
- simples
- integração com pdb
Contras:
- Não encontrei

38. memory_profiler_app.py
@profile
def potencia(expoente):
for i in range(expoente):
print '2^%i = %i' % (i, pow(2,i))
if __name__ == '__main__':
potencia(10)

39. resultado do memory_profiler
$ python -m memory_profiler memory_profile_app.py
Filename: memory_profile_app.py
Line # Mem usage Increment Line Contents
================================================
3 @profile
4 9.00 MB 0.00 MB def potencia(expoente):
5 9.00 MB 0.00 MB for i in range(expoente):
6 print '2^%i = %i' % (i, pow(2,i))

40. All together
http://janeaustenfilmclub.blogspot.com.br/2011/06/monty-python-and-holy-grail.html

41. Holly Grail
http://www.shopping.com/Toy-Vault-Monty-Python-s-Holy-Grail-Plush/info

42. psutils
biblioteca de monitoramento de recursos do sistema
Prós:
- multi-plataforma
- fácil
- resultados em estruturas de dados Python
- monitora:
- cpu/processos
- memoria/discos,
- rede
- usuarios

43. Referencias
Módulos e aplicações
pdb: http://docs.python.org/2/library/pdb.html
cProfile: http://docs.python.org/2/library/profile.html
line_profiler: http://packages.python.org/line_profiler/
RunSnakeRun: http://www.vrplumber.com/programming/runsnakerun/
trace: http://docs.python.org/2/library/trace.html
disp_trace: https://github.com/atsuoishimoto/disptrace
memory_profiler: https://github.com/fabianp/memory_profiler
psutil: http://code.google.com/p/psutil/
Mais
Code Profiling: http://en.wikipedia.org/wiki/Code_profiling
Python Profiling: http://wiki.python.org/moin/PythonSpeed/PerformanceTips#Profiling_Code
Profile Hooks (decorators for Python profiling): http://mg.pov.lt/profilehooks/

44. Dúvidas?
http://fogsmoviereviews.com/2012/06/24/movies-that-everyone-should-see-monty-python-and-the-holy-grail/

45. Source Code
https://github.com/maurobaraldi/pybr8

46. Thank You
http://spectrumculture.com/2010/01/film-dunce-monty-python-and-the-holy-grail.html/