OTUS Infrastructure as Code

Инфраструктура
как код
Игорь Курочкин
Express 42

Введение
2
Infrastructure as a Service
Platform as a Service
Culture
Continuous Delivery
InfrastructureasCode
Applications
Production/SRE
MonitoringandObservability

Инфраструктура как
код
3
Culture
Continuous Delivery
Applications
Production/SRE

План
• Проблемы, история и цели
• Определение, принципы и подходы
• Практики из разработки
• Инструменты
Надежные решения для сложной инфраструктуры
4

План
5

Проблемы
• Server Sprawl (рост числа серверов)
• Conﬁguration drift (неконсистентное состояние)
• Snowﬂake servers (сервера снежинки)
• Fragile infrastructure (хрупкая инфраструктра)
• Erosion (эрозия)
• Automation Fear (страх автоматизации)
6

История
• …
• CFEngine (1993), Puppet (2005)
• AWS (2006), Chef/Opscode (2009)
• DevOps (2009)
• Vagrant (2010), CloudFormation (2011)
• Salt (2011), Ansible (2012), HashiCorp (2012)
• Docker (2013), Terraform (2014), Kubernetes (2014)
• Vespene (2018), OpsMop (2018)
7

Книги
• 2011 Managing Infrastructure with Puppet
• 2011 Test-Driven Infrastructure with Chef
• 2014 Customizing Chef
• 2015 Ansible: Up and Running
• 2015 Salt Essentials
• 2016 Infrastructure as Code
• 2017 Terraform: Up and Running
• 2018 Puppet Best practices
8

Индустрия
• Технологический радар:
• 2012 Manual infrastructure management HOLD
• 2012 Infrastructure as code ADOPT
• 2013 Immutable servers ADOPT
• 2016 Docker ADOPT
• 2017 Pipelines as Code ADOPT
• 2018 Pipelines for Infrastructure as Code TRIAL
9

Цели
• Ускорение процесса поставки
• Снижение количества ошибок
• Улучшение взаимодействия команд
10

код
11
Culture
Continuous Delivery
Applications
Production/SRE

План
12

код
13
•Автоматизация инфраструктуры с
использованием практик из разработки

Общие принципы
• Воспроизводимая инфраструктура
• Повторяемые процессы
• Изменяемая инфраструктура и процессы
14

Подходы
15
• Модели управления инфраструктурой
• Инфраструктурный код
• Инфраструктурный репозиторий
• Инфраструктурные слои (stack/layers)
• Общий язык общения

Модели управления
инфраструктурой
16
• Ad Hoc
• Conﬁguration synchronisation
• Immutable Infrastructure
• Immutable Delivery (Containerized Services)

Инфраструктурный
код
17
• Код, шаблоны, конфигурация:
• YAML, JSON, HCL
• DSL (Chef, Puppet, RSpec*)
• Erb, Epp, j2, tpl
• Ruby, Python, Go, PowerShell, …

Инфраструктурный
репозиторий
• Репозиторий с инфраструктурным кодом
• Иерархия и слои - окружения, роли, модули
• Внешние зависимости
• Переменные
• Инструменты и конфигурация для инструментов
• Тесты и документация
18

Инфраструктурные
слои
19
Base
Service
Culture
Continuous Delivery
Application
Production/SRE

Общий язык
общения
• Инфраструктурный код
• Общие инструменты и модули
• Практики из разработки:
• Pull requests и diff изменений
• API и development kit (Среда разработки)
20

План
21

Практики из
разработки
22
• Организация кода
• Политики версионирования и ветвления
• Управление артефактами и внешние зависимости
• Тестирование и ревью изменений
• CI/CD для инфраструктурного кода
• Среда разработки

23

Структура
репозиториев
• Моно репозиторий
• Мульти репозиторий
• Инфраструктурный код:
• вместе с кодом приложений
• отдельно
24

Иерархия
• На уровне практик:
• Отдельные репозитории
• На уровне инструментов:
• Environments, Roles, Proﬁles, Groups, ENC
25

Chef
26

Puppet
27

28

Версионирование
• Semantic Versioning 2.0.0 https://semver.org
• Tom Preston-Werner (GitHub)
• X.X.X:
• MAJOR - несовместимые изменения
• MINOR - новый функционал
• PATCH - исправления
29

Ветвление
30
• Trunk Based Development
• https://trunkbaseddevelopment.com
• GitHub Flow
• Gitﬂow

31

Управление артефактами
и внешние зависимости
32
• Инфраструктурный модуль как артефакт
• Сборка, публикация и хранение модулей
• Маркетплейс инфраструктурных модулей
• Управление внешними зависимостями

33

Тестирование
34
• Стиль языка и инфраструктурного кода
• Валидацию шаблонов и кода
• Функционал
• Результат

Стиль языка
35
• Линтеры для языка:
• Rubocop (Ruby)
• Pylint, ﬂake8 (Python)
• Надстройки для Chef, Puppet, Salt, Ansible:
• Cookstyle

Стиль кода
36
• Проверяем соответствие Style Guides
• Линтеры для кода:
• Chef Foodcritic
• Puppet-lint
• Ansible-lint
• Salt-lint

Валидация
37
•Валидация ERB, JSON, YAML
•puppet parser validate, puppet-syntax, metadata-json-
lint
•ansible-playbook --syntax-check
•salt-call

Функциональные
тесты
38
•Тестируем функционал:
•ChefSpec
•rspec-puppet, rspec-puppet-facts, puppet-retrospec
•Ansible script, stat, uri, assert

Интеграционные
тесты
39
• Проверяем результат:
• Serverspec (Ruby)
• InSpec (Ruby)
• Testinfra (Python)
• Goss (Go)

40

CI/CD для
инфраструктрного кода
• Pipeline для модуля
• Pipeline для инфраструктурного репозитория
• Pipeline для внешних зависимостей
• Pipeline для сборки образов
• Pipeline для создания окружений
• …
41

CI/CD для
инфраструктрного кода
42
• Инструменты:
• Vagrant
• Test Kitchen (Chef, …)
• Molecule (Ansible)
• Beaker (Puppet)

43

Проблемы
44
• Разные версии инструментов
• Разные практики из разработки

Development Kit
• Локальная разработка и тестирование
• Одно окружение для Linux, OS X, Windows
• Набор CLI инструментов, библиотек и API
• Workﬂows и best practices
• Часть CI
45

Chef DK
46

Puppet DK
47

Puppet DK
48

План
49

Проблемы с
инструментами
50
•Какие инструменты выбрать?
•Как их сравнить?
•Какие границы применимости?
•Как их использовать совместно?

Инструменты
51
•Dynamic Infrastructure Platforms
•Infrastructure deﬁnition
•Server conﬁguration
•Infrastructure services

Инструменты
52
•Dynamic Infrastructure Platforms (Cloud)
•Infrastructure deﬁnition (Terraform, CloudFormation)
•Server conﬁguration (Chef, Puppet, Ansible, Salt)
•Infrastructure services (…)

Система управления
конфигурацией
• DSL, декларативное или императивное описание
• Push или Pull модель
• Встроенные модули и ресурсы
• Иерархия, изоляция, сбор фактов
• Шаблонизаторы
• Идемпотентность
53

Жизненный цикл
54

Как выбрать?
• Посмотреть на индустрию
• Оценить самостоятельно
• Сделать MVP
55

Индустрия
56

Оценка
57
• Язык программирования и DSL

• Опыт работы

• Модель управления

• Иерархия и изоляция

• Безопасность

• Масштабирование

• Интеграция в текущий стек

• Наличие инструментария

• Поддержка community

• Поддержка практик из разработки

• Командная работа

• Примеры из индустрии и сложные кейсы

• …

Границы
применимости
58
•Уровни Base, Service, Application
•Service Discovery и Failover
•Управление секретами
•Деплой
•Cloud, Database, Security, Containers

Современный стек
59
• Chef 14
• Puppet 6
• Ansible 2.7
• Salt 2018
• Terraform 0.12

Кейсы
• Смена стека или передача сервиса
• Новый дата-центр
• Синхронизация окружений
• Тестовые окружения по требованию
• API инфраструктурной платформы и командная работа
• Мониторинг в виде кода
• …
60

Итого
• Автоматизация инфраструктуры с использованием
практик из разработки
• Помогает:
• Ускорить процесс поставки
• Снизить количество ошибок
• Улучшить взаимодействие команд
61

Онлайн курс OTUS
62
•DevOps практики и инструменты:
•20 ноября - День открытых дверей
•27 ноября - Начало занятий
•5 месяцев - Длительность курса

Вакансия
63
• Мы ищем людей, которым это интересно
• Пишите на dontpanic@express42.com

Ссылки
64
• Митапы DevOps Meetup Moscow
• Подкаст и телеграм канал DevOps Deﬂope
• Конференции по DevOps
• Книги из презентации
• Рассылка DevOps Weekly

OTUS Infrastructure as Code

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (19)

Semelhante a OTUS Infrastructure as Code

Semelhante a OTUS Infrastructure as Code (20)

OTUS Infrastructure as Code