Why it's a good idea choose Yandex Cloud for industrial IoT and ML projects

1. Почему для проектов
индустриального IoT и ML
сейчас лучше выбирать облако
Максим Хлупнов
Архитектор облачных решений

2. 2
Краткое содержание
1. Чем промышленные решения расширенной аналитики и индустриального
ML отличаются от привычной цифровизации производственных процессов
2. Слагаемые успешного внедрения индустриального ML
3. Почему облако — лучший выбор для старта проекта
индустриального ML/AI. Особенно сейчас
4. С чего начать проект, какие сценарии наиболее актуальны

3. 3
Облачные технологии помогают
успевать за стремительными
изменениями на рынке
Физические активы
Произведённая продукция
Сырьё и комплектующие
Производственные процессы
Склады
Интеллектуальное
производство
Цифровые активы
Цифровые продукты
Цифровые способы
взаимодействия с рынком
Данные, цифровые процессы
и приложения
Корпоративная культура
В числе крупнейших
компаний мира остались
только цифровые компании.
Крупнейшая по капитализации
российская компания —
цифровая.
НИОКР
Снабжение
Маркетинг
Продажи
Сервис
Производство

4. 4
Простой цифровизации
процессов уже недостаточно.
От внедрения ML ждут
качественно новой
эффективности бизнеса
Традиционные ИТ уже адаптировали облачные
технологии. Индустриальный сектор ждёт
инновационной отдачи от внедрения ML/AI

5. 5
Внедрение индустриального ML
подразумевает выполнение двух проектов
Удалённый мониторинг —
сбор и хранение
производственных данных
Подключайтесь к оборудованию
и собирайте данные о его состоянии,
чтобы анализировать фактические данные
и улучшать бизнес-показатели благодаря
оптимизации процессов
Управление
на основе данных
Прогнозируйте потребности в обслуживании
и предупреждайте простой за счёт
подключения к устройствам
и мониторинга их состояния

6. 6
Слагаемые успешного ML-проекта
Инфраструктура
Специалисты
Модели
и ML-аппарат
Данные
Процессы
Обновлённые
данные
Промышленные системы
и производственные процессы
Результаты
применения
модели
Разработка
модели
Переобучение
Применение
модели
Подготовка
данных

7. 7
Почему внедрение ML в процессы
промышленных предприятий пока
не стало массовым?
Отсутствие качественных данных
Сложность и высокая стоимость
систем сбора данных с оборудования
Необходимость объединить усилия специалистов
прикладной области, ИТ-специалистов
и специалистов по Data Science
Высокие требования к защите данных
и безопасности системы
Проектные риски и сложно
предсказуемый экономический эффект

8. Требуются специалисты для всех уровней,
включая платформенные сервисы
Требуются инвестиции сразу в объёме
продуктивного развёртывания
Заказ дополнительного оборудования —
это долго, дорого, спецификация неясна.
GPU труднодоступны
Изменения в архитектуре решения
крайне болезненны
8
Реализация проекта на on-prem
в текущих условиях
Требуется длительный цикл согласований Привлекать внешних подрядчиков сложно,
так как работы ведутся во внутренней
инфраструктуре

9. 9
Почему облако —
лучший выбор
для старта проекта
индустриального ML/AI
Особенно сейчас

10. Готовая платформа данных и платформа ML/AI в облаке

11. Гибкий процесс разработки
ML-решений, снижающий риски
Начинаем с экспериментов
Если нужно, проверяем удачный эксперимент
на большом наборе данных
Внедряем работающую модель в рабочие
процессы. Решаем задачи с регулярным запуском
модели, мониторингом моделей, отправкой
модели на переобучение при падении качества
Важные элементы работы модели
«До» (входные данные): наладили регулярную
поставку и обработку данных для модели
«После»: результаты работы модели
забираем в необходимый процесс компании
или блок работы с данными

12. Готовая среда
для экспериментов
Не нужно тратить время
на установку и настройку
необходимого окружения
• Поддерживаются все популярные библиотеки
Включая TensorFlow, PyTorch, Keras
• Список предустановленных библиотек
постоянно расширяется
• Можно обновить библиотеки до нужной версии
Upgrade и downgrade
• Есть возможность установить свои библиотеки
• Платите только за время вычислений

13. Готовый процесс
коллективной работы
над проектами
Различные варианты
совместной работы — удобное
привлечение подрядчика
• Интеграция с Git и DVC
• Возможность поделиться ноутбуком в формате HTML
• Возможность скачать ноутбук
• Возможность экспорта проекта в формате ZIP
• Экспорт и импорт контрольных точек (версий) проекта

14. 14
Эксперимент превращается в процесс
В рамках функциональности Deploy моделей DataSphere
Управление моделями
Обучение моделей
Операционализация
моделей
Исполнение моделей
Валидация
и мониторинг
моделей
Deploy

15. Готовый процесс
применения
моделей
Сервис разбирается
на отдельные фрагменты
Фрагменты связаны
между собой через общие ресурсы
Порядок исполнения сервисов зависит
от запроса и координируется единым
механизмом
15

16. 16
Наиболее распространённые сценарии
Предиктивное
обслуживание
Через сколько циклов запуска
откажет данный узел?
Я могу провести
предупредительный ремонт
и предотвратить отказ
Оптимизация
процессов
При каких значениях
технологических параметров
работы установка потребляет
наименьшее количество
электроэнергии?
Я могу определить передовой
опыт и выделить ресурсы
на его тиражирование
Контроль качества
Будет ли выпущено бракованное
изделие в ближайший цикл?
Я могу переделать продукт,
процесс, обучение
Прогноз нагрузки
Какие объёмы использования
оборудования и запчастей
я могу ожидать?
Я могу оптимизировать
своё штатное расписание
и использование активов
Отклонения
и аномалии
Какие машины работают
неправильно?
Я могу немедленно начать
обследование
Оптимизация
поставок
Каковы требования и поставщик
для запчасти?
Я могу упростить
и оптимизировать закупки
Эффективные
устройства
Могут ли мои здания, установки
и оборудование работать
с максимальной
эффективностью?
Я могу уменьшить ненужные
затраты

17. 17
Разработка в облаке, прод в on-prem
Уровень 0
Технологический процесс
Уровень 1
Контрольно-измерительные приборы и аппаратура
Уровень 2
АСУТП
Уровень 3
Граничный шлюз
и адаптер протокола
Уровень 4
Транспорт
и маршрутизация
потоков данных
Apache Kafka
connector
Уровень 5
Хранилище
данных АСУТП
(historian)
Apache Kafka
уровня предприятия
Clickhouse Kafka
Table Engine
Уровень цеха Уровень предприятия Уровень группы
OPC UA (DA/HDA)
zc-a Alive
zc-b Alive
Zookeeper
zc-a Alive
zc-b Alive
Zookeeper
hstNa Alive
hstNb Alive
ClickHouse
Shard N
hst1a Alive
hst1b Alive
ClickHouse
Shard 1
zc-c Alive
hst2a Alive
hst2b Alive
ClickHouse
Shard 2
hst1a Alive
hst1b Alive
ClickHouse
Shard 1
Apache Kafka
уровня предприятия
abok.ru/news.php?id=4150
ClickHouse
Kafka Table
Engine
Входящие потоки от всех
предприятий группы
Confluent Mirror
Maker

18. Выводы
19
1 2
Yandex Cloud
предоставляет сервисы
платформы данных и ML,
которые легко
интегрируются
Проекты
индустриального ML
требуют наличия
качественных данных
3 4
Готовые процессы и гибкие
сценарии использования
результатов — применение
в облаке или в своей
инфраструктуре
Yandex Cloud позволяет
снизить технические
риски, стоимость проекта
и time to market.
Доступ к нужным
сервисам по требованию
Почему для проектов индустриального IoT и ML
сейчас лучше выбирать облако

19. Спасибо!
Вопросы?
Максим Хлупнов
Архитектор облачных решений
makhlu@yandex-team.ru
t.me/M_Khlu