— Реальная история из жизни о том, как мы внедряли Docker; — Хочешь чтобы все коллеги узнавали тебя? Займись внедрением Docker в своей компании!; — Собрать все шишки? Легко… или «Даунтайм, как неотъемлемая часть внедрения»; — Будь сильным и смелым, если уверен в перспективах и необходимости своего внедрения; — «Делать новое не ломая старого» – основная цель любого внедрения; — Чекпоинт, как инструмент промежуточной оценки результатов; — Как растут наши аппетиты или о новых инфраструктурных идеях; — Мы сделали это, значит это вполне осуществимо; — Самое сложное позади или какие приятные результаты вас ожидают, если все пошло правильно.

1. Docker в Badoo:
ПМЖ или временная регистрация
Антон Турецкий

2. Our Infrastructure
~ 3000 servers
C/Go
9%
PHP32%
Other22%
Photos
15%
MySQL22%

3. Всё просто,
понятно и
очевидно
где подвох?

4. Docker
✦ 2013 год

5. Docker
✦ 2013 год
✦ “Наброс” коллеги…

6. Docker
✦ 2013 год
✦ “Наброс” коллеги…
✦ У нас проблемы?

7. Setup
Monitoring
Support
Servers Network
Our Main Tasks

8. Our tools
✦ xCAT: Servers installation
✦ GLPI: Infrastructure inventory
✦ Puppet: Support infrastructure

9. Почему и зачем
мне “набросили”
про Docker?
ну давай посмотрим…

10. What is that?
Reminder: 2013 year

11. Фигня какая-то…
Выводы

12. Фигня какая-то…
У меня много
задач и нет
времени на
развлечения
Выводы

13. Фигня какая-то…
У меня много
задач и нет
времени на
развлечения
“Потом”
посмотрю…
попозже
Выводы

14. Время быстро пролетело и
“потом” настало

15. Where is the right place for Docker?
C/Go
9%
PHP32%
Other22%
Photos
15%
MySQL22%

16. Where is the right place for Docker?
C/Go
9%
PHP32%
Other22%
Photos
15%
MySQL22%

17. Что мы хотели?
✦ Одинаковое окружение для сервиса

18. Что мы хотели?
✦ Одинаковое окружение для сервиса
✦ Упрощение процедур:
деплой, обновление, откат

19. Что мы хотели?
✦ Одинаковое окружение для сервиса
✦ Упрощение процедур:
деплой, обновление, откат
✦ Сохранение обратной совместимости

20. Поехали!

21. Подготовка инфраструктуры
✦ “Старое” ядро на SLE-11

22. Подготовка инфраструктуры
✦ “Старое” ядро на SLE-11
✦ Выбор storage driver для Docker

23. Подготовка инфраструктуры
✦ “Старое” ядро на SLE-11
✦ Выбор storage driver для Docker
✦ Сеть в Docker

24. Первый
блин комом
как стать знаменитым внутри компании

25. Devicemapper / LVM
Downtime “по-взрослому”

26. Devicemapper / LVM
Network:
nf_conntrack
Downtime “по-взрослому”

27. Devicemapper / LVM
Network:
nf_conntrack
Во всех бедах
виноват Docker
Downtime “по-взрослому”

28. Отступать – не наш метод.
Делаем выводы.

29. First conclusions
✦ BTRFS as storage driver

30. First conclusions
✦ BTRFS as storage driver
✦ Disable connection tracking:
use “--net=host”

31. First conclusions
✦ BTRFS as storage driver
✦ Disable connection tracking:
use “--net=host”
✦ We need it in our infrastructure

32. Мы начали переносить свои сервисы в
Docker, с парадигмой
“один сервис – один контейнер”

33. Нам нужно >1 службы в
контейнере
(исторически сложилось).
“Костылим” entrypoint.

34. Second checkpoint
✦ We need “init system” inside our containers

35. Second checkpoint
✦ We need “init system” inside our containers
✦ We need to send services’s logs outside our
containers

36. Init inside
containers
s6
small
supervision
suite

37. Logs collection
interesting quest with syslog

38. Что я там про
“обратную совместимость”
говорил?

39. Puppet
Badoo Port Map
Badoo Services Map
Управление инфрастуктурой

40. Наши дни

41. Latest Stable
✦ SLE-12 + kernel 4.4.0 (SLE-11 + kernel 3.16)

42. Latest Stable
✦ SLE-12 + kernel 4.4.0 (SLE-11 + kernel 3.16)
✦ OverlayFS as storage driver (BTRFS)

43. Latest Stable
✦ SLE-12 + kernel 4.4.0 (SLE-11 + kernel 3.16)
✦ OverlayFS as storage driver (BTRFS)
✦ “--net=host” for network

44. Latest Stable
✦ SLE-12 + kernel 4.4.0 (SLE-11 + kernel 3.16)
✦ OverlayFS as storage driver (BTRFS)
✦ “--net=host” for network
✦ Puppet for build Docker Images

45. Latest Stable
✦ SLE-12 + kernel 4.4.0 (SLE-11 + kernel 3.16)
✦ OverlayFS as storage driver (BTRFS)
✦ “--net=host” for network
✦ Puppet for build Docker Images
✦ baDocker for orchestration

46. Latest Stable
✦ SLE-12 + kernel 4.4.0 (SLE-11 + kernel 3.16)
✦ OverlayFS as storage driver (BTRFS)
✦ “--net=host” for network
✦ Puppet for build Docker Images
✦ baDocker for orchestration
✦ Our own tool for monitoring containers

47. 2013
C/Go
9%
PHP32%
Other22%
Photos
15%
MySQL22%

48. 2016
C/Go
9%
PHP32%
Other22%
Photos
15%
MySQL22%

49. Планы на ближайшее будущее

50. Our Future
✦ All services in containers

51. Our Future
✦ All services in containers
✦ baDocker improvements

52. Our Future
✦ All services in containers
✦ baDocker improvements
✦ Dynamic configs for services

53. The original, largest and leading
dating network

54. Спасибо!
Антон Турецкий
a.turetsky@corp.badoo.com
@tyrchenok
@BadooDev
http://habrahabr.ru/company/badoo/
https://tech.badoo.com/
предыдущие доклады про Docker: https://goo.gl/KcIhwG