O documento discute a arquitetura da plataforma DeskMetrics, que fornece informações sobre o uso de softwares em tempo real. A plataforma usa Python e MongoDB no backend, com Python sendo usado para quase toda a lógica de negócios devido à sua facilidade de uso, e MongoDB armazenando os dados de forma desnormalizada para melhor desempenho. A infraestrutura é hospedada na nuvem do Rackspace e enfrenta desafios de desempenho relacionados à memória e disco.

1. Arquitetura, Python e NoSQL | Herberth Amaral
DeskMetrics’ CTO
Julho de 2011

2. About
 DeskMetrics' CodeMonkey
 Atual responsável pelo produto

3. A DeskMetrics
É uma plataforma que fornece, em tempo real,
informações estratégicas sobre como um
determinado software está sendo utilizado.

5. Qual problema resolvemos?
 Falta de informações
sobre o uso de software
desktop
- Alcance
- Volume

6. Backend

7. Integração
Dados Anônimos e Encriptados
Componente Segurança e Confiabilidade
<150 KB ONLINE CLOUD
SOFTWARE
Informações em Tempo Real
Sistemas Operacionais Linguagens Suportadas
• Windows • Adobe AIR/Flex
• Mac OS • C/C++
• Linux • Delphi
• Java
• Objective-C
• .NET/Mono

8. Infraestrutura
5 máquinas no Rackspace Cloud
 1 GB RAM Frontend (Website e Analytics)
 1 GB RAM Webservice (incluindo workers)
 2x 4GB RAM MongoDB (gargalo)
 1x 256 MB RAM MySQL (dá e sobra ;)
 Capacidade de processamento:
400 datapoints/segundo, com bursts de até 1000
em curtos intervalos de tempo (10 a 20s).

9. Python | vantagens
100% do backend
 Fácilidade de escrita e leitura;
 Suficientemente rápida para 95% dos casos;
 Familiaridade

10. Python | desvantagens
Para os outros 5% dos casos
 CPython é lento e consome muita memória.
 Avaliando PyPy e Scala ou Jython (JVM) como alternativas.

11. MongoDB | vantagens
 Fácil integração com qualquer plataforma
 Boa solução para realtime analytics
Vejam http://bit.ly/yA27D
 Desnormalização salva nossa vida
Sem blobs.
Armazenamento de dados de relatórios.
 Banco em memória = Rápido bagaraio

12. MongoDB | desvantagens
Problemas com memória
 High-memory instances no Rackspace são caras.
 Dataset com 80 GB.
 Sem sharding ainda.
Problemas com disco
 Atualmente o maior gargalo.

13. Planos Futuros
 Migrar para Amazon AWS;
 Sharding no Mongo;
 Substituir tornado por gevent;
 Realizar experimentos com RabbitMQ;
 Abusar um pouco mais do memcached;
 Contratar gente bacana :-)

14. deskmetrics.com
Herberth Amaral deskmetrics.com/blog
herberth@deskmetrics.com @DeskMetrics
Twitter: @herberthamaral @DeskMetricsBR
DeskMetrics.com | contato@deskmetrics.com | +55 (31) 3318-5990
Internacional: +1 (415) 655-1990 | +1 (888) 848-2918 Obrigado!
Rua Viçosa, n° 43, 701 - Savassi - Belo Horizonte - MG - Brasil