O documento discute o uso de armazenamento de objetos (Object Storage) para armazenar e entregar 30 milhões de arquivos estáticos de forma escalável e de baixo custo. Ele explica como o Object Storage organiza e armazena dados como objetos ao invés de arquivos, permitindo escalabilidade horizontal e distribuída. Apresenta o OpenStack Swift como um exemplo de plataforma de Object Storage open source e realiza uma demonstração ao vivo de suas operações básicas de GET, PUT e DELETE.

1. Globalcode – Open4education
Trilha – Infraestrutura ágil
Nelson Marcos
Sysadmin / Devops

2. globo
.com
Armazenar e entregar
30 milhões de estáticos
por Nelson Marcos

3. Olá pessoal!

4. Segunda-feira, 9:00

5. -Temos um novo
projeto!

6. - Jenial* né?

7. 10 milhões de usuários
100 milhões de fotos/dia

8. Quarta!

9. SEM $$$!

11. Frameworks não são
uma boa opção

12. para entrega de
conteúdo estático.

13. Vamos ao sysadmin…

14. (ou seria devops?)

15. Com armazenar e
recuperar milhões de
imagens?

16. Organização

17. Escalabilidade

18. Custo

19. Replicação

20. Consistência

21. Não entre em pânico!

22. Object Storage

23. - Object o que?
- Storage.
- Puxa!

24. Recapitulando
- Organização
- Escalabilidade
- Custo
- Replicação
- Consistência

25. OBJECT STORAGE

26. ARQUIVO:
Conjuntos de dados com
começo meio e fim, acessados
através de uma árvore de
diretórios.

27. OBJETO:
Conjuntos de dados com
começo meio e fim…

28. + metadados sobre esses
dados…

29. + um identificador único.

30. File system
hierarquico
Object Storage
Estrutura Hierárquica Plana
Arquitetura Centralizada Distribuida
Escalabilidade Vertical Horizontal

31. File system
hierarquico
Object Storage
Estrutura Hierárquica Plana
Arquitetura Centralizada Distribuida
Escalabilidade Vertical Horizontal

32. File system
hierarquico
Object Storage
Estrutura Hierárquica Plana
Arquitetura Centralizada Distribuida
Escalabilidade Vertical Horizontal

33. -Tem como citar uma
aplicação?

34. Openstack Swift

36. 100% independente

37. API REST(QUASE)

38. GET
PUT/POST
DELETE

39. GET - Recupera um objeto
PUT/POST - Escreve um objeto
DELETE - apaga um objeto

40. http://dominio/account/container/objeto

41. http://dominio/account/container/objeto

42. http://dominio/account/container/objeto

43. http://dominio/account/container/objeto

44. http://dominio/account/container/objeto

45. LIVE DEMO

46. curl -v
-H 'X-Storage-User: test:tester'
-H 'X-Storage-Pass: testing'
http://127.0.0.1:8080/auth/v1.0

47. curl -v
-H 'X-Storage-User: test:tester'
-H 'X-Storage-Pass: testing'
http://127.0.0.1:8080/auth/v1.0

48. curl -v
-H 'X-Storage-User: test:tester'
-H 'X-Storage-Pass: testing'
http://127.0.0.1:8080/auth/v1.0

49. curl -v
-H 'X-Storage-User: test:tester'
-H 'X-Storage-Pass: testing'
http://127.0.0.1:8080/auth/v1.0

50. HTTP/1.1 200 OK
X-Storage-Url: http://127.0.0.1:8080/v1/AUTH_test
X-Auth-Token-Expires: 53642
X-Auth-Token: AUTH_tk7a322459cb054775962fd9c57cdf1f62

51. curl -v
-T got.jpg
-H 'X-Auth-Token:4jke7fhejo...'
http://127.0.0.1:8080/AUTH_test/
test/got.jpg

52. curl -v
-T got.jpg
-H 'X-Auth-Token:4jke7fhejo...'
http://127.0.0.1:8080/AUTH_test/
test/got.jpg

53. curl -v
-T got.jpg
-H 'X-Auth-Token: j1ke7fhej...'
http://127.0.0.1:8080/AUTH_test/
test/got.jpg

54. curl -v
-T got.jpg
-H 'X-Auth-Token:4jke7fhejo...'
http://127.0.0.1:8080/AUTH_test/
test/got.jpg

55. Como?

56. Proxy

57. Proxy
Storage Nodes Storage Nodes Storage Nodes

58. Proxy
Storage Nodes Storage Nodes Storage Nodes
Storage Nodes Storage Nodes Storage Nodes

59. RING

60. Lista de servidores e
discos

61. Local de cada arquivo

62. Recapitulando
- Organização
- Escalabilidade
- Custo
- Replicação
- Consistência

63. Recapitulando
- Organização
- Escalabilidade
- Custo
- Replicação
- Consistência

64. Recapitulando
- Organização
- Escalabilidade
- Custo
- Replicação
- Consistência

65. Recapitulando
- Organização
- Escalabilidade
- Custo
- Replicação
- Consistência

66. Recapitulando
- Organização
- Escalabilidade
- Custo
- Replicação
- Consistência

67. Consistência

68. Replicator

69. Auditor

70. Recapitulando
- Organização
- Escalabilidade
- Custo
- Replicação
- Consistência

71. Slide bônus

72. - Opensource
- Free
- Python
- Erasuse code
- Comunidade

73. http://github.com/nelsonmarcos/swift-vagrant

74. Perguntas?

75. globo
.com Swift na Globo.com

76. Começo…

77. Proxy
Storage Nodes

78. FE
PROXY

79. 3 Points of Presence
(POP)

80. Home Cartola FC
Globo Esporte G1

81. 30 milhões de objetos

83. CONTATO
nelsonmarcos@gmail.com
@marcosrj21

84. PERGUNTAS

86. OBRIGADO!